日志服务数据加工: 任务状态监控与告警

成喆 2019-08-06

监控 日志 日志服务 配置 Image 钉钉 aliyun 排错 数据加工

作者: 唐恺

概述

对数据加工任务配置监控,可以发现数据流量、加工逻辑、系统运行的一些潜在异常,帮助业务及时做好异常恢复。

本文大部分监控指标基于“数据加工诊断”仪表盘(参考规则洞察仪表盘)。在系统层面关注:流式加工的消费延迟、是否有异常报错。业务层面上,处理日志行数或写出日志行数是可以被考虑的指标。

进入数据加工任务所属project,选择“仪表盘”-“数据加工诊断”,可以根据业务需求选择以下指标设置告警。

image

加工延迟

  1. 选择“shard消费延迟 (秒)”图表

image

  1. 设置触发条件

例如,选择阈值为120秒时告警:

[delay (s)] > 120

image

  1. 设置通知方式

本文以钉钉webhook为例,更多通知方式参考告警通知方式

image

  1. 告警通知

image

异常报错

  1. 选择“异常详情”图表

image

  1. 设置触发条件

例如,希望在出现ERROR时告警:

image

  1. 设置通知方式
  2. 告警通知

image

ERROR日志一般由加工逻辑或代

登录 后评论
下一篇
冒顿单于
6260人浏览
2019-08-28
相关推荐
互联网后端基础设施
3186人浏览
2018-07-27 23:39:13
前端异常监控解决方案研究
502人浏览
2019-08-29 12:22:23
安全监控、告警及自动化!
1805人浏览
2015-12-23 13:20:01
大众点评Cat--架构分析
2503人浏览
2016-04-04 23:15:00
0
0
0
1054