日志服务数据加工最佳实践: 构建字典与表格做数据富化

成喆 2019-08-02

python mysql RDS etl 函数 日志 日志服务 配置 aliyun lookup 数据加工 数据孵化 维表


字典和表格是数据富化(映射)过程中主要使用的两种数据结构,本文主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。

字典构建

直接构建

e_dict_map({"400": "错误", "200": "正常", "*": "其他"}, "status", "message")

优点: 直观、简单、方便.

从任务配置资源构建

e_dict_map(res_local("http_code_map"), "status", "message")

其中http_code_map是任务高级配置项, 值为:

{"400": "错误", "200": "正常", "*": "其他"}

优点: 如果内容较多, 且经常修改的话, 更易于维护.

从表格构建

使用tab_to_dict从表格构建, 而表格的构建参考本文后续的表格构建.

e_dict_map(t
登录 后评论
下一篇
corcosa
8683人浏览
2019-10-08
相关推荐
日志服务数据加工:概念篇
1551人浏览
2019-07-18 23:21:46
日志服务数据加工:功能概述
11732人浏览
2019-06-10 05:47:16
日志服务数据加工:原理篇
10006人浏览
2019-07-18 23:25:12
0
0
0
845