发力IOT、大数据,Apache RocketMQ 构建云时代的新生态

简介: 摘要2018年9月1日,由阿里巴巴中间件举办的RocketMQ开发者沙龙在北京举行。这是RocketMQ今年举办的第二次大型线下技术交流活动,出席技术沙龙的嘉宾包括Apache RocketMQ布道师冯嘉、滴滴出行消息团队负责人江海挺、Apache RocketMQ PMC 刘振东、杜恒以及其他commiter和contributor。

摘要

2018年9月1日,由阿里巴巴中间件举办的RocketMQ开发者沙龙在北京举行。这是RocketMQ今年举办的第二次大型线下技术交流活动,出席技术沙龙的嘉宾包括Apache RocketMQ布道师冯嘉、滴滴出行消息团队负责人江海挺、Apache RocketMQ PMC 刘振东、杜恒以及其他commiter和contributor。嘉宾们详尽解读了RocketMQ的使用方式、概念模型、分布式事务等关键机制与原理,深入探讨了RocketMQ在大数据及IOT方面的生态布局、落地实践,并分享了在使用RocketMQ方面的经验以及从Kafka迁移到RocketMQ的具体方案。

11.jpg | center | 747x498

Apache RocketMQ Contributor 丁磊和阿里巴巴高级技术专家林佳梁作为主持人开场致辞,介绍了开发者沙龙的日程,回顾了RocketMQ的发展历程,同时介绍了OpenMessaging标准。OpenMessaging项目是由阿里巴巴发起,联合滴滴出行、雅虎、Streamlio等公司共同参与创立的国际消息标准,2017年10月14日宣布正式入驻Linux基金会,是国内首个在全球范围发起的分布式计算领域的国际标准。标准意在创立与厂商无关、平台无关的分布式消息及流处理领域的应用开发规范,以服务快速发展的互联网和云计算生态。

1. 开发指南及原理解读

首先由Apache RocketMQ PMC 刘振东进行了主题为《ApacheRocketMQ 101》的分享,帮助开发者从0开始学习 Apache RocketMQ,除了一些基础的入门内容外,还有很多是在社区未发表过的个人所感所悟,首次对外分享。分享内容包括RocketMQ的起源、RocketMQ概念模型、存储模型、部署模型和最佳实践总结。

E96W2413.JPG | center | 827x551

嘉宾杜恒分享了如何通过RocketMQ实现零外部依赖的最终一致性分布式事务解决方案。杜恒分析了XA、SAGA、TCC等传统的分布式事务解决方案,之后介绍了如何通过RocketMQ的事务消息机制解决微服务调用过程中产生的分布式事务问题,并给出了最佳实践。

E96W2769.JPG | center | 827x551

阿里巴巴高级技术专家林佳梁向大家介绍了流控软件Sentinel,Sentinel是由RocketMQ生态孵化出的开源项目,专注服务的限流、熔断降级、flow shaping、系统保护等。

E96W2551.JPG | center

2. 行业经验分享

本次沙龙邀请了滴滴出行消息队列负责人江海挺作了行业落地经验的分享。江海挺主要和大家探讨了滴滴如何通过RocketMQ构建消息基础设施。首先,阐述了选择RocketMQ替换原有消息队列kafka的初衷,之后介绍了如何基于RocketMQ构建新的基础设施,最后分享了从Kakfa到RocketMQ的在线迁移方案以及一些最佳实践的经验。

E96W2652.JPG | center

3. IOT和大数据探讨

IOT和大数据是RocketMQ未来的重点发展方向,本次沙龙也做了深入的探讨。Apache RocketMQ 的Contributor 肖宗阳进行了《MQTT Bridge for Apache RocektMQ》的主题分享。MQTT Bridge将成为RocketMQ承接上游海量IOT设备数据的核心组件,其具有支持热插拔、可扩展、可以动态扩缩容的特性。肖宗阳介绍了MQTT Bridge的使用场景、解决的核心问题以及总体的解决方案。

E96W2836.JPG | center | 747x498

嘉宾王鑫分享了RocketMQ在流计算方面的生态布局,并介绍了主流大数据分析框架Spark、Storm、Flink与RocketMQ的集成方式以及具体的使用案例。

E96W2922.JPG | center

​最后Q&A环节,所有嘉宾上台和到场的开发者就RocketMQ 跨机房延时问题、分布式事务问题、MQTT对互联网+的支持情况等进行了深入的交流。

E96W2954.JPG | center

E96W2961.JPG | center | 747x498

4. 调查问卷

Apache RocketMQ自2012年开源以来,受到了广大开发者的青睐。尤其是2016年成为Apache顶级项目后,受到了业界的巨大关注。在国内,RocketMQ已经应用于电商、新能源、互联网、金融、电力、物流、新零售、轨道交通等众多行业。在国外,新加坡、泰国、日本、德国、美国等很多国家的公司、开发者都在关注、使用RocketMQ。

为推动RocketMQ赋能到更多的企业,社区近期会推出一系列措施帮助企业使用RocketMQ、用好RocketMQ,比如技术培训、架构咨询、入厂指导等。社区非常渴望与使用RocketMQ的企业建立连接。我们希望和企业建立良好的互动机制,我们会搭建RocketMQ行业交流平台,深入推动RocketMQ在各行业的落地。无论来自传统行业还是互联网行业、无论是云厂商还是企业级用户,如果愿意,请通过调查问卷和我们建立连接。我们希望听到更多企业用户的声音、听到更多开发者的声音,希望和企业用户以及广大开发者一起把RocketMQ打造成中国为世界贡献的最好的开源项目!
(扫码二维码参与问卷调查)

_

相关实践学习
RocketMQ一站式入门使用
从源码编译、部署broker、部署namesrv,使用java客户端首发消息等一站式入门RocketMQ。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
1月前
|
SQL 分布式计算 数据处理
Uber基于Apache Hudi增量 ETL 构建大规模数据湖
Uber基于Apache Hudi增量 ETL 构建大规模数据湖
51 2
|
1月前
|
SQL 关系型数据库 MySQL
Apache Hudi在信息服务行业构建流批一体的实践
Apache Hudi在信息服务行业构建流批一体的实践
69 2
|
1月前
|
消息中间件 存储 关系型数据库
使用Apache Hudi构建下一代Lakehouse
使用Apache Hudi构建下一代Lakehouse
38 0
|
1月前
|
存储 关系型数据库 Apache
Halodoc使用Apache Hudi构建Lakehouse的关键经验
Halodoc使用Apache Hudi构建Lakehouse的关键经验
40 4
|
1月前
|
存储 分布式计算 数据管理
基于 Apache Hudi + dbt 构建开放的Lakehouse
基于 Apache Hudi + dbt 构建开放的Lakehouse
45 3
|
1月前
|
存储 SQL 分布式计算
基于Apache Hudi + MinIO 构建流式数据湖
基于Apache Hudi + MinIO 构建流式数据湖
82 1
|
7天前
|
消息中间件 存储 Java
深度探索:使用Apache Kafka构建高效Java消息队列处理系统
【4月更文挑战第17天】本文介绍了在Java环境下使用Apache Kafka进行消息队列处理的方法。Kafka是一个分布式流处理平台,采用发布/订阅模型,支持高效的消息生产和消费。文章详细讲解了Kafka的核心概念,包括主题、生产者和消费者,以及消息的存储和消费流程。此外,还展示了Java代码示例,说明如何创建生产者和消费者。最后,讨论了在高并发场景下的优化策略,如分区、消息压缩和批处理。通过理解和应用这些策略,可以构建高性能的消息系统。
|
1月前
|
消息中间件 Cloud Native 物联网
深度剖析 RocketMQ 5.0,Apache RocketMQ:如何从互联网时代演进到云时代?
从整体技术架构上学习 RocketMQ 5.0 的云原生架构、一体化架构,最后再分别从业务场景切入,详细介绍 RocketMQ 5.0 在不同的业务场景提供的能力和关键技术原理,包括业务消息、流处理、物联网以及面向云时代的事件驱动场景。
107528 1
|
1月前
|
SQL 分布式计算 NoSQL
使用Apache Hudi和Debezium构建健壮的CDC管道
使用Apache Hudi和Debezium构建健壮的CDC管道
16 0
|
1月前
|
SQL 分布式计算 Apache
生态 | Apache Hudi集成Apache Zeppelin
生态 | Apache Hudi集成Apache Zeppelin
33 0

推荐镜像

更多