从阿里云日志服务 sls 导出到 oss

背景

sls 收费存储和索引各占一部分，而且索引的收费不便宜，毕竟查看很久之前的历史数据是比较低频的操作。

为节约费用，可以将日志直接导出到归档规格的 oss，sls 本身只保留较短时间即可(比如一周)。需要查看历史日志时，再创建个临时 project 将日志从 oss 导入 sls，看完删除即可。

一、新写入日志导出到 oss

sls 可以直接开启投递到 oss，但是只支持新写入的日志

1. 点开 logstore，在导出中选择 OSS(对象存储)
   
2. 点击开启投递
   
3. 填写用于保存日志的 OSS 信息
   

二、历史日志导出到 oss

准备信息：

• 源 sls 的 project
• 目标 oss 的 bucket
• AccessKey ID 和 AccessKey Secret

历史日志导出到 oss 目前只能借助 dataworks 来实现

1. 开通 dataworks 服务，在空间列表创建新工作空间
   

   点击数据集成

   

2. 进入数据源管理
   

3. 点击新增数据源
   

4. 添加 sls 数据源，选择 loghub，网络选择阿里云 vpc，其他根据具体信息填写即可

5. 添加 oss 数据源，网络选择阿里云 vpc，其他根据具体信息填写即可

6. 进入数据开发页面

7. 点击带"+"的图标，创建业务流程

8. 创建离线同步，目标文件夹中就是刚才创建的业务流程

9. 配置同步信息

来源选择 loghub(sls)

• 注意时间戳格式

去向选择 oss

• 文本类型选择 text

• 列分隔符配置一个日志内容中不会包含的字符，可以用生僻汉字组合的 unicode

• 并发数根据情况设置，公共资源组的机器网络能力都是共享的 高峰时段资源会有争抢的情况，任务快慢和资源组网络能力、源、目标负载都有关系
  

  

点击保存，运行，不要点击提交，否则会周期性运行。

三、从 oss 把日志导入 sls

oss 导入到 sls 有 2 个入口：

• project/接入数据

1. 打开 project，点击右侧的接入数据

2. 选择 OSS-对象存储
   
3. 如果之前 OSS 使用的规格是归档型，这里要打开解冻，填好信息点击预览，然后点击下个配置
   

如果选择 oss region 时提示没有权限，需要点击提示连接授权后再继续操作

4. 点击测试，显示结果后点击下个配置
5. 导入间隔改成 5 分钟，打开立即执行，点击下一步
6. 打开索引
7. 点击下一步后提示完成接入配置

• logstore/导入

1. 打开 logstore，点击数据导入右边的"+"

2. 点击 OSS-对象存储，后面的步骤一样

参考资料

实时日志，可以在日志服务控制台开启 oss 数据投递

将日志服务数据投递到OSS - 日志服务 - 阿里云

dataworks 创建同步任务

创建同步任务 - DataWorks - 阿里云

dataworks 来做数据同步：

LogHub Reader

LogHub Reader - DataWorks - 阿里云

OSS Writer

https://help.aliyun.com/knowledge_detail/137765.html

dataworks 产生的费用： 开通 DataWorks 按量计费就可以，dataworks 提供了免费额度 https://help.aliyun.com/document_detail/118599.html

sls 新版预付资源包折扣策略说明

包年包月（新版资源包） - 日志服务 - 阿里云

sls 存储空间使用情况

账单详情里可以看到，登录 https://usercenter2.aliyun.com/finance/expense-report/expense-detail-by-instance 选择“计费项”和“明细”，切记，注意！ 产品选择日志服务，将 csv 导出，这里能看到每个 logstore 的日志 size。

sls 导入 oss 数据

导入OSS数据 - 日志服务 - 阿里云

开启并配置索引

配置索引 - 日志服务 - 阿里云