从阿里云日志服务sls导出到oss
背景
sls收费存储和索引各占一部分,而且索引的收费不便宜,毕竟查看很久之前的历史数据是比较低频的操作。
为节约费用,可以将日志直接导出到归档规格的oss,sls本身只保留较短时间即可(比如一周)。需要查看历史日志时,再创建个临时project将日志从oss导入sls,看完删除即可。
一、新写入日志导出到oss
sls可以直接开启投递到oss,但是只支持新写入的日志
- 点开logstore,在导出中选择OSS(对象存储)
- 点击开启投递
- 填写用于保存日志的OSS信息
二、历史日志导出到oss
准备信息:
- 源sls的project
- 目标oss的bucket
- AccessKey ID 和 AccessKey Secret
历史日志导出到oss目前只能借助dataworks来实现
-
开通dataworks服务,在空间列表创建新工作空间
点击数据集成
-
进入数据源管理
-
点击新增数据源
-
添加sls数据源,选择loghub,网络选择阿里云vpc,其他根据具体信息填写即可
- 添加oss数据源,网络选择阿里云vpc,其他根据具体信息填写即可
- 进入数据开发页面
- 点击带"+"的图标,创建业务流程
- 创建离线同步,目标文件夹中就是刚才创建的业务流程
- 配置同步信息
来源选择loghub(sls)
- 注意时间戳格式
去向选择oss
-
文本类型选择text
-
列分隔符配置一个日志内容中不会包含的字符,可以用生僻汉字组合的unicode
-
并发数根据情况设置,公共资源组的机器网络能力都是共享的 高峰时段资源会有争抢的情况,任务快慢和资源组网络能力、源、目标负载都有关系
点击保存,运行,不要点击提交,否则会周期性运行。
三、从oss把日志导入sls
oss导入到sls有2个入口:
- project/接入数据
- 打开project,点击右侧的接入数据
- 选择OSS-对象存储
- 如果之前OSS使用的规格是归档型,这里要打开解冻,填好信息点击预览,然后点击下个配置
如果选择oss region时提示没有权限,需要点击提示连接授权后再继续操作
- 点击测试,显示结果后点击下个配置
- 导入间隔改成5分钟,打开立即执行,点击下一步
- 打开索引
- 点击下一步后提示完成接入配置
- logstore/导入
- 打开logstore,点击数据导入右边的"+"
- 点击OSS-对象存储,后面的步骤一样
参考资料
实时日志,可以在日志服务控制台开启oss数据投递
https://help.aliyun.com/document_detail/29002.html
dataworks创建同步任务
https://help.aliyun.com/document_detail/85555.html
dataworks来做数据同步:
LogHub Reader
https://help.aliyun.com/knowledge_detail/137732.html
OSS Writer
https://help.aliyun.com/knowledge_detail/137765.html
dataworks产生的费用: 开通DataWorks按量计费就可以,dataworks提供了免费额度 https://help.aliyun.com/document_detail/118599.html
sls新版预付资源包折扣策略说明
https://help.aliyun.com/document_detail/173043.html
sls存储空间使用情况
账单详情里可以看到,登录https://usercenter2.aliyun.com/finance/expense-report/expense-detail-by-instance 选择“计费项”和“明细”,切记,注意! 产品选择日志服务,将csv导出,这里能看到每个logstore的日志size。
sls导入oss数据
https://help.aliyun.com/document_detail/147923.html
开启并配置索引