project
待更新
logstore
原本logstore数据不能满足当前需求时,解决办法:
1.在日志服务对原本的logstore进行数据加工,新建logstore,进行数据新数据对接存储
2.在Maxcompute里面进行数据加工处理(这种方案,需要先对源数据导入,再进行加工处理,而且每一个字段需要进行加工处理,不建议)
目前对新建logstore 满足的需求:
原本的logstore里面的数据是json格式,无法直接提取,需要新建logstore对数据进行加工处理
新建logstore ,如下图,除了名称自定义以外,默认配置就可以
2.将原来的logstore打开,点开右上方的数据加工
3.在空白处编写数据加工语句,详细语句根据原来的数据源提取相应的数据进行编写所需要的加工语句,详细函数参考-数据加工语法-函数总览
网址:函数总览
4.编写后,将原始日志选择片段进行测试,选择加入测试数据,自动跳转到测试数据,点击右上方预览数据,检测加工情况,符合预期即可点击–保存数据加工,填入加工名称,授权方式,这边是自定义角色,填入相应的ARN
选择之前建好的logstore,选择时间进行导入保存即可。
5.打开我们加工后新数据存放的logstore,点击右上角开启索引
6.选择全文索引,自动生成索引,一定要数清楚所对应的字段数目,有时候会缺少,就需要追加字段,补全缺少字段,要么之后导入maxcompute就会缺少某个字段数据,会很麻烦