揭秘|每秒千万级的实时数据处理是怎么实现的?

闲鱼技术 2019-06-20

监控 性能 日志 数据处理 Logtail 插件 存储 流计算 实时数据处理 后端

作者:闲鱼技术-靖杨

1、设计背景

        闲鱼目前实际生产部署环境越来越复杂,横向依赖各种服务盘宗错节,纵向依赖的运行环境也越来越复杂。当服务出现问题的时候,能否及时在海量的数据中定位到问题根因,成为考验闲鱼服务能力的一个严峻挑战。
        线上出现问题时常常需要十多分钟,甚至更长时间才能找到问题原因,因此一个能够快速进行自动诊断的系统需求就应用而生,而快速诊断的基础是一个高性能的实时数据处理系统。
       这个实时数据处理系统需要具备如下的能力:
1、数据实时采集、实时分析、复杂计算、分析结果持久化。
2、可以处理多种多样的数据。包含应用日志、主机性能监控指标、调用链路图。
3、高可靠性。系统不出问题且数据不能丢。
4、高性能,底延时。数据处理的延时不超过3秒,支持每秒千万级的数据处理。
      本文不涉及问题自动诊断

登录 后评论
下一篇
冒顿单于
5380人浏览
2019-08-28
相关推荐
余额宝技术架构及演进
10847人浏览
2016-07-15 15:29:28
0
1
1
2024