Jstorm最佳实践

简介: Jstorm最佳实践
  • 在拓扑提交过程中,不能实例化没有实现序列化接口的对象。可以通过传递参数的方式,在bolt的prepare中实例化
  • 推荐一个worker运行2个task
  • 减少拓扑层数,随着拓扑层数的增加,系统吞吐率下降,同时CPU利用率一直在上升,网络带宽未达到极限;
  • 最好设置topology.max.spout.pending,这样可以避免长时间的响应,以及抖动。设置topology.max.spout.pending=5000;可以根据系统性能增减
  • 在jstorm中, spout中nextTuple和ack/fail运行在不同的线程中, 从而鼓励用户在nextTuple里面执行block的操作, 原生的storm,nextTuple和ack/fail在同一个线程,不允许nextTuple/ack/fail执行任何block的操作,否则就会出现数据超时,但带来的问题是,当没有数据时, 整个spout就不停的在空跑,极大的浪费了cpu, 因此,jstorm更改了storm的spout设计,鼓励用户block操作(比如从队列中take消息),从而节省cpu。
  • 在架构上,推荐 “消息中间件 + jstorm + 外部存储” 3架马车式架构

1.JStorm从消息中间件中取出数据,计算出结果,存储到外部存储
2.通常消息中间件推荐使用RocketMQ,Kafka,外部存储推荐使用HBase,Mysql
3.该架构,非常方便JStorm程序进行重启(如因为增加业务升级程序)
4.职责清晰化,减少和外部系统的交互,JStorm将计算结果存储到外部存储后,用户的查询就无需访问JStorm中服务进程,查询外部存储即可。

  • 在实际计算中,常常发现需要做数据订正,因此在设计整个项目时,需要考虑重跑功能

1.在kafka等队列中,数据最好带时间戳
2.如果计算结果入hadoop或数据库,最好结果也含有时间戳

  • 如果使用trasaction时,增加kafka/meta时, brokerId要按顺序,即新增机器brokerId要比之前的都要大,这样reassign spout消费brokerId时就不会发生错位。
  • 非事务环境中,尽量使用IBasicBolt
  • 计算并发度时,spout 按单task每秒500的QPS计算并发
    全内存操作的task,按单task 每秒2000个QPS计算并发

有向外部输出结果的task,按外部系统承受能力进行计算并发。

  • 对于MetaQ 和 Kafka,拉取的频率不要太小,低于100ms时,容易造成MetaQ/Kafka 空转次数偏多,一次获取数据Block大小推荐是2M或1M,太大内存GC压力比较大,太小效率比较低。
  • 条件允许时,尽量让程序可以报警,比如某种特殊情况出现时,比如截止到凌晨2点,数据还没有同步到hadoop,发送报警出来
  • 从jstorm 0.9.5.1 开始, 底层netty同时支持同步模式和异步模式,

1.异步模式, 性能更好, 但容易造成spout 出现fail, 适合在无acker模式下,storm.messaging.netty.sync.mode: false
2.同步模式, 底层是接收端收一条消息,才能发送一条消息, 适合在有acker模式下,storm.messaging.netty.sync.mode: true

作者:glowd
原文:https://blog.csdn.net/zengqiang1/article/details/78450895
版权声明:本文为博主原创文章,转载请附上博文链接!

相关文章
|
11月前
|
消息中间件 Kubernetes Cloud Native
《Apache Flink 案例集(2022版)》——4.云原生——小红书-Native Flink on Kubernetes 在小红书的实践(3)
《Apache Flink 案例集(2022版)》——4.云原生——小红书-Native Flink on Kubernetes 在小红书的实践(3)
202 0
|
11月前
|
消息中间件 SQL Kubernetes
《Apache Flink 案例集(2022版)》——4.云原生——小红书-Native Flink on Kubernetes 在小红书的实践(1)
《Apache Flink 案例集(2022版)》——4.云原生——小红书-Native Flink on Kubernetes 在小红书的实践(1)
318 0
|
11月前
|
运维 分布式计算 Kubernetes
《Apache Flink 案例集(2022版)》——4.云原生——小红书-Native Flink on Kubernetes 在小红书的实践(2)
《Apache Flink 案例集(2022版)》——4.云原生——小红书-Native Flink on Kubernetes 在小红书的实践(2)
178 0
|
SQL 机器学习/深度学习 弹性计算
阿里巴巴飞天大数据平台实时计算Flink on Kubernetes最新特性
目前实时计算的产品已经有两种模式,即共享模式和独享模式。这两种模式都是全托管方式,这种托管方式下用户不需要关心整个集群的运维。其次,共享模式和独享模式使用的都是Blink引擎。
1047 0
阿里巴巴飞天大数据平台实时计算Flink on Kubernetes最新特性
|
SQL 机器学习/深度学习 运维
必看!Apache Flink 运维&实战系列直播,揭秘生产环境技术难点
随着 Flink 社区的快速发展,其技术也逐渐走向成熟。在 2019 年,国内已经有大量的本土互联网公司开始采用 Apache Flink 作为主流的实时计算解决方案。同时,在全球范围内,优步、网飞、微软和亚马逊等国际互联网公司也逐渐开始使用 Apache Flink。
必看!Apache Flink 运维&实战系列直播,揭秘生产环境技术难点
|
流计算 Apache SQL
Flink 实战:如何解决生产环境中的技术难题?
Apache Flink 作为业界公认为最好的流计算引擎,不仅仅局限于做流处理,而是一套兼具流、批、机器学习等多种计算功能的大数据引擎,以其高吞吐低延时的优异实时计算能力、支持海量数据的亚秒级快速响应帮助企业和开发者实现数据算力升级,并成为阿里、腾讯、滴滴、美团、字节跳动、Netflix、Lyft 等国内外知名公司建设实时计算平台的首选。
|
流计算 jstorm 分布式计算
Jstorm概述
Jstorm概述
3888 0
|
流计算 jstorm Java
Jstorm运维经验
Jstorm运维经验
1080 0
|
jstorm 资源调度 Java
Jstorm到Flink在今日头条的迁移实践
本文内容如下: 引入Flink的背景 Flink集群的构建过程 构建流式管理平台 引入Flink的背景# 下面这幅图展示的是字节跳动公司的业务场景  首先,应用层有广告,也有AB测,也有推送和数据仓库的一些业务。
2306 0
|
jstorm 资源调度 大数据
Jstorm到Flink 在今日头条的迁移实践
作者r:张光辉 导读t:本文将为大家展示字节跳动公司怎么把Storm从J storm迁移到Flink的整个过程以及后续的计划。你可以借此了解字节跳动公司引入Flink的背景以及Flink集群的构建过程。字节跳动公司是如何兼容以前的Jstorm作业以及基于Flink做一个任务管理平台的呢?本文将一一为你揭开这些神秘的面纱。 本文内容如下: - 引入Flink的背景 - Flink集群