日志服务数据加工最佳实践: 从RDS-MySQL拉取数据做富化

成喆 2019-08-02

python RDS etl 函数 SQL 日志 日志服务 配置 钉钉 aliyun 模糊匹配 lookup 数据加工 My-SQL 数据富化

概述

使用全局富化函数做富化时, 需要传递一个字典或者表格结构做富化. 参考构建字典与表格做数据富化的各种途径比较.
本篇介绍从使用资源函数res_rds_mysql从RDS-MySQL拉取数据的做富化的详细实践.关于res_rds_mysql的参数说明, 参考这里.

背景

这里我们在RDS中存放用户信息表格userinfo.
原始数据库表中内容:

idprovincecityuid
1jiangsunanjing01234
2henanzhengzhou01235
3heilongjianghaerbin01236
4jiangsuyantai01237

场景1:定期刷新拉取所有

富化数据如果定期会全量刷新时, 希望数据加工任务能够自动定期去拉取, 可以如下配置:

res_rds_mysql(..., refresh_interval=300)

上述语

登录 后评论
下一篇
冒顿单于
11625人浏览
2019-08-28
相关推荐
日志服务数据加工:功能概述
11348人浏览
2019-06-10 05:47:16
日志服务数据加工:概念篇
1437人浏览
2019-07-18 23:21:46
日志服务数据加工:原理篇
9909人浏览
2019-07-18 23:25:12
0
0
0
857