新功能:日志服务命令行工具ETL发布!

成喆 2019-01-19

python etl 性能 日志 日志服务 Json 模块 配置 Image 正则表达式 数组 数据规整

日志服务托管服务数据加工已经发布,参考: https://yq.aliyun.com/articles/704935

背景

使用日志服务,在搜索、分析时是否经常遇到以下数据格式规整的痛点?

image

1. 采集时ETL的痛点:

  • 交换机、服务器、容器、Logging模块等,通过文件、标准输出、syslog、网络等途径收集时,里面是各种日志格式的混合,只能做部分提取,例如使用logtail先提取某些基础字段,例如时间、log level、IP等,但是日志主体message中很多有价值的信息因为混合了各种日志,无法在导入时提取?
  • 单一场景下的日志,例如NGNIX,的QueryString中的字符串,或者HttpCookie、甚至HttpBody信息等,里面字段内容变化巨大,格式信息复杂度也很高,难以在提取的时候一次性使用正则表达式完成提取。
  • 某些常规日志包含
登录 后评论
下一篇
我是小助手
31339人浏览
2019-07-31
相关推荐
开源项目 Kettle 介绍
1970人浏览
2016-05-12 10:59:48
日志服务CLI ETL - 部署与管理
2197人浏览
2019-01-19 02:45:50
ETL概述(原创)
3554人浏览
2016-05-24 18:14:10
大数据日志分析项目架构
2684人浏览
2017-11-03 11:55:21
数据对接—kettle使用之五
3026人浏览
2016-05-05 14:03:35
泰为基于EMR的考量与实践
7236人浏览
2016-11-07 20:02:03
SxsTrace工具使用方法
390人浏览
2015-05-23 10:37:00
性能分析工具-PerfVie
580人浏览
2017-11-29 18:28:00
日志服务CLI ETL - 编排与转换
2284人浏览
2019-01-19 02:50:12
日志服务CLI ETL - 扩展UDF
2307人浏览
2019-01-19 02:51:51
0
1
0
2246