RocketMQ架构

简介: 架构解析

rmq_basic_arc

概述

RocketMQ是一个分布式消息和流处理平台,具有低延迟、高性能和高可靠、万亿级容量和灵活的可扩展性。它由四部分组成:name servers,brokers,生产者和消费者。它们中的每一个都可以水平扩展,而没有单一的故障节点。

NameServer 集群

Name Servers提供了轻量级的服务发现和路由。每个Name Server记录全部的路由信息,提供相应的读和写服务,并支持快速存储扩展。

Broker 集群

Brokers通过轻量级的TOPIC和QUEUE机制处理消息存储。支持Push和Pull模式,包含故障容忍机制(2或3份),提供强大的峰值填充和以原始时间顺序累积千亿条消息的能力。
另外,Brokers提供灾难恢复,丰富的度量统计和警告机制,这些都是传统消息系统缺少的。

生产者集群

生产者支持分布式部署。分布式生产者通过多种负载均衡模式发送消息到Broker集群,发送过程支持快速故障并具有低延迟。

消费者集群

消费者也支持以Push和Pull模式的分布式部署。
它也支持分布式消费和消息广播。
它提供实时消息订阅机制,可以满足大部分消费者的需求。

NameServer

NameServer is a fully functional server, which mainly includes two features:

  • Broker 管理,NameServer 接收来自Broker集群的注册,提供心跳机制来检测broker是否存活。
  • 路由管理,每个NameServer都持有有关broker集群的整个路由信息和客户端查询的队列信息。

我们都指定,RocketMQ客户端(生产者/消费组)通过NameServer查询队列信息,但客户端怎么查找NameServer 地址呢?

将客户端地址列表加入NameServer有四种方式:

  • 编码方式,如producer.setNamesrvAddr("ip:port")。
  • Java选项, 使用 rocketmq.namesrv.addr.
  • 环境变量, 使用 NAMESRV_ADDR.
  • HTTP Endpoint.

Broker Server

Broker服务 负责消息存储和传递,消息查询,保证HA等。
rmq_basic_component

Broker 服务有些重要的子模块:

  • 远程处理模块,broker的入口,处理来自客户端的请求。
  • 客户端管理器,管理客户端(生产者/消费者),维护消费组的订阅主题。
  • 存储服务,提供简单的APIs来存储或查询物理磁盘中的消息。
  • HA 服务, 提供主broker和从broker的数据同步
  • 索引服务, 通过指定键建立消息索引,提供快速的消息查询。
相关实践学习
RocketMQ一站式入门使用
从源码编译、部署broker、部署namesrv,使用java客户端首发消息等一站式入门RocketMQ。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
目录
相关文章
|
3月前
|
消息中间件 存储 JSON
RocketMQ-初体验RocketMQ(05)_RocketMQ架构解读
RocketMQ-初体验RocketMQ(05)_RocketMQ架构解读
40 0
|
10天前
|
消息中间件 存储 数据库
RabbitMQ入门指南(二):架构和管理控制台的使用
RabbitMQ是一个高效、可靠的开源消息队列系统,广泛用于软件开发、数据传输、微服务等领域。本文主要介绍了RabbitMQ架构和管理控制台的使用等内容。
31 0
RabbitMQ入门指南(二):架构和管理控制台的使用
|
1月前
|
消息中间件 存储 Cloud Native
深度剖析 RocketMQ 5.0,架构解析:云原生架构如何支撑多元化场景?
了解 RocketMQ 5.0 的核心概念和架构概览;然后我们会从集群角度出发,从宏观视角学习 RocketMQ 的管控链路、数据链路、客户端和服务端如何交互;学习 RocketMQ 如何实现数据的存储,数据的高可用,如何利用云原生存储进一步提升竞争力。
140040 2
|
1月前
|
消息中间件 缓存 API
|
3月前
|
消息中间件 存储 网络协议
MQ - 09 RabbitMQ的架构设计与实现
MQ - 09 RabbitMQ的架构设计与实现
64 0
|
4月前
|
消息中间件 存储 容灾
9个问答牢记RocketMQ架构
RocketMQ是Java兄弟们常用的消息中间件,虽说常用,但对于RocketMQ架构经常忘记。究其原因就2点:忙于业务开发然后长时间不看则忘了、不理解架构设计的根本原因记不牢。本文用大白话描述架构设计过程,牢记RocketMQ架构。
9个问答牢记RocketMQ架构
|
7月前
|
消息中间件 存储 监控
RocketMQ 的基本概念、架构设计、特点以及适用场景
RocketMQ 的基本概念、架构设计、特点以及适用场景
499 0
RocketMQ 的基本概念、架构设计、特点以及适用场景
|
7月前
|
消息中间件 程序员 Apache
阿里RocketMQ创始人首次分享出这份RocketMQ技术内幕神级架构手册
RocketMQ的发展史? RocketMQ的开源正是源于对这种开源文化的认同,开放是为了更好的协同创新,并将这一技术推向新的高度。在经历了阿里巴巴集团内部多年“双11”交易核心链路工业级场景在验证,2016年11月,团队将RocketMQ捐献给全球享有盛誉的Apache软件基金会正式质为孵化项目。 至此,RocketMQ开启了迈向全球顶级开源软件的新征程。
|
8月前
|
消息中间件 存储 负载均衡
RocketMQ 5.0 架构解析:如何基于云原生架构支撑多元化场景
RocketMQ 5.0 架构解析:如何基于云原生架构支撑多元化场景
|
消息中间件 算法 Java
弥补延时消息的不足,RocketMQ 基于时间轮算法实现了定时消息!
弥补延时消息的不足,RocketMQ 基于时间轮算法实现了定时消息!
609 1
弥补延时消息的不足,RocketMQ 基于时间轮算法实现了定时消息!