从阿里云日志服务sls导出到oss

2020-10-29

背景

sls收费存储和索引各占一部分,而且索引的收费不便宜,毕竟查看很久之前的历史数据是比较低频的操作。

为节约费用,可以将日志直接导出到归档规格的oss,sls本身只保留较短时间即可(比如一周)。需要查看历史日志时,再创建个临时project将日志从oss导入sls,看完删除即可。

一、新写入日志导出到oss

sls可以直接开启投递到oss,但是只支持新写入的日志

  1. 点开logstore,在导出中选择OSS(对象存储)
    1.png
  2. 点击开启投递
    2.png
  3. 填写用于保存日志的OSS信息
    3.png

二、历史日志导出到oss

准备信息:

  • 源sls的project
  • 目标oss的bucket
  • AccessKey ID 和 AccessKey Secret

历史日志导出到oss目前只能借助dataworks来实现

  1. 开通dataworks服务,在空间列表创建新工作空间
    4.png

    点击数据集成

    5.png

  2. 进入数据源管理
    6.png

  3. 点击新增数据源
    7.png

  4. 添加sls数据源,选择loghub,网络选择阿里云vpc,其他根据具体信息填写即可

8.png

9.png

  1. 添加oss数据源,网络选择阿里云vpc,其他根据具体信息填写即可10.png

11.png

  1. 进入数据开发页面12.png

13.png

  1. 点击带"+"的图标,创建业务流程14.png

15.png

  1. 创建离线同步,目标文件夹中就是刚才创建的业务流程16.png

17.png

  1. 配置同步信息

来源选择loghub(sls)

  • 注意时间戳格式

去向选择oss

  • 文本类型选择text

  • 列分隔符配置一个日志内容中不会包含的字符,可以用生僻汉字组合的unicode

  • 并发数根据情况设置,公共资源组的机器网络能力都是共享的 高峰时段资源会有争抢的情况,任务快慢和资源组网络能力、源、目标负载都有关系
    18.png

    19.png

点击保存,运行,不要点击提交,否则会周期性运行。
20.png

三、从oss把日志导入sls

oss导入到sls有2个入口:

  • project/接入数据
  1. 打开project,点击右侧的接入数据

21.png

  1. 选择OSS-对象存储
    22.png
  2. 如果之前OSS使用的规格是归档型,这里要打开解冻,填好信息点击预览,然后点击下个配置
    23.png

如果选择oss region时提示没有权限,需要点击提示连接授权后再继续操作
24.png

  1. 点击测试,显示结果后点击下个配置25.png
  2. 导入间隔改成5分钟,打开立即执行,点击下一步26.png
  3. 打开索引27.png
  4. 点击下一步后提示完成接入配置28.png
  • logstore/导入
  1. 打开logstore,点击数据导入右边的"+"

29.png

  1. 点击OSS-对象存储,后面的步骤一样30.png

参考资料

实时日志,可以在日志服务控制台开启oss数据投递

https://help.aliyun.com/document_detail/29002.html

dataworks创建同步任务

https://help.aliyun.com/document_detail/85555.html

dataworks来做数据同步:

LogHub Reader

https://help.aliyun.com/knowledge_detail/137732.html

OSS Writer

https://help.aliyun.com/knowledge_detail/137765.html

dataworks产生的费用: 开通DataWorks按量计费就可以,dataworks提供了免费额度 https://help.aliyun.com/document_detail/118599.html

sls新版预付资源包折扣策略说明

https://help.aliyun.com/document_detail/173043.html

sls存储空间使用情况

账单详情里可以看到,登录https://usercenter2.aliyun.com/finance/expense-report/expense-detail-by-instance 选择“计费项”和“明细”,切记,注意! 产品选择日志服务,将csv导出,这里能看到每个logstore的日志size。

sls导入oss数据

https://help.aliyun.com/document_detail/147923.html

开启并配置索引

https://help.aliyun.com/document_detail/90732.html


标题:从阿里云日志服务sls导出到oss
作者:fish2018
地址:http://www.devopser.org/articles/2020/10/29/1603963576993.html