日志服务数据加工最佳实践: 使用搜索映射做高级数据富化

成喆 2019-08-02

python 服务器 mysql RDS 搜索 etl 函数 日志 日志服务 配置 aliyun 模糊匹配 数据加工 数据富化

普通映射 vs 搜索映射

典型映射方式不能满足富化需求时, 可以使用搜索映射, 搜索映射与传统方式映射的区别在于匹配方式不同.

普通映射方式

一般映射使用文本完全匹配方式来映射, 例如NGNIX日志中, 需要将状态码转换为一个文本表示:

状态码文本
200成功
300跳转
400请求错误
500服务器错误

下面规则调用e_dict_map将字段status中的http请求状态码转化为文本描述, 放入字段status_desc.

e_dict_map({"400": "请求错误", "500": "服务器错误", "300": "跳转", "200": "成功"}, "status", "status_desc")

实际上, NGNIX的HTTP请求的状态是不止上述4种, 当status值是401, 404时, 需要更新字典覆盖, 否则会匹配不上. 参考

登录 后评论
下一篇
冒顿单于
10702人浏览
2019-08-28
相关推荐
日志服务数据加工:概念篇
1419人浏览
2019-07-18 23:21:46
日志服务数据加工:功能概述
11312人浏览
2019-06-10 05:47:16
日志服务数据加工:原理篇
9900人浏览
2019-07-18 23:25:12
0
0
0
1187