rocketMq概念介绍

简介: rocketMq官网    http://rocketmq.apache.org/rocketMq逻辑概念介绍rocketMq逻辑图备注:    改图片分享自李占卫的网上家园说明:    在rocketMq的中核心4组件为namesrv、broker、consumer、producer。

rocketMq官网

    http://rocketmq.apache.org/

rocketMq逻辑概念介绍

img_a9be193f7748a996358e2d625ace67a4.png
rocketMq逻辑图

备注
    改图片分享自李占卫的网上家园

说明

    在rocketMq的中核心4组件为namesrv、broker、consumer、producer。

    broker:消息存储中心,主要用来存储消息并通过namesrv对外提供服务。

    namesrv:无状态的注册中心,功能用来保存broker的相关的元信息并提供给producer在发送消息过程中和提供给consumer消费消息过程中查找broker信息。

    producer:消息生产者,通过namesrv获取broker的地址并发送消息。

    consumer:消息消费者,通过namesrv获取broker的地址并消费消息。



rocketMq部署情况介绍

img_5e26d74e1a681a90be14e20c721ab06e.png
rocketMq部署图


img_35d7b0147b2734305a18b825b9f641de.png
rocketMq的集群概念细分

说明

    rocketMq实际部署图,每个组件都可以用集群形式出现。

    producer:通过producerGroup的名字来标记自己是一个集群。

    consumer:通过consumerGroup的名字来标记自己是一个集群。

    namesrv:相互之间无通信,通过部署多台机器来标记自己是一个伪集群。

    broker:通过clusterName来标记集群,每个broker通过clusterName来表明cluster层面集群,通过brokerName来标明broker层面集群,通过brokerId标明主从身份。


rocketMq消息存储介绍

img_1889242e774753be0a06a5d4af989c7f.png
rocketMq消息存储

说明:

    rocketMq的消息存储通过二级索引来进行,其中实际消息存储在Commit Log的逻辑队列中(磁盘文件消息顺序写),consume queue保存着每个消息消费队列的待消费的数据并且指向commit Log。


rocketMq线上配置介绍

img_3cb67cb11a68ed1a8525cf90de2d481b.png
rocketMq实际数据存储

说明:

    rocketMq线上环境的真实存储,每个broker的存储数据格式就是类似上图。

    config目录

        consumerFilter:保存consumer端的消息过滤配置,应该是等消费端配置了过滤规则就会在这个文件中增加记录。

        consumerOffset:消费进度偏移量,以topic@consumerGroup作区别,0:125的0代表队列,125代表消费偏移量。

img_e56512eb0a58064540049c457d3c6aff.png
consumerOffset

        delayOffset:延迟队列消费进度,其中2代表延迟粒度,2000代表消费进度。

img_daf242462501d2b8114f5656d44039ed.png
delayOffset

        subscriptionGroup:表示订阅消费的消费组。

img_43c71d2c84db17f951adc4d0c2ee2170.png
subscriptionGroup

        topic:rocketMq中topic的信息,可以理解topic为业务消息分组的粒度,一般一个topic为一类业务的逻辑消息集合。

img_109a4bf15538c5c73c2170453d3fc514.png
topic 


commitlog目录

    rocketMq实际存储消息的位置。

consumequeue目录

    %DLQ%@ConsumeGroupA:消费分组的死信队列,保存指向commit log的索引。

    %RETRY%@ConsumeGroupA:消费分组的充实队列,保存指向commit log的索引。

    SCHEDULE_TOPIC_XXXX:延迟消息队列,保存指向commit log的索引。

    TOPICA:topic的消费队列存储,保存指向commit log的索引。

相关实践学习
RocketMQ一站式入门使用
从源码编译、部署broker、部署namesrv,使用java客户端首发消息等一站式入门RocketMQ。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
目录
相关文章
|
2月前
|
消息中间件 存储 JSON
从兔子说起:深入理解RabbitMQ基础概念【RabbitMQ 一】
从兔子说起:深入理解RabbitMQ基础概念【RabbitMQ 一】
32 0
|
4月前
|
消息中间件 缓存 运维
java消息队列基础和RabbitMQ相关概念(二)
java消息队列基础和RabbitMQ相关概念
53 0
|
4月前
|
消息中间件 存储 Java
java消息队列基础和RabbitMQ相关概念(一)
java消息队列基础和RabbitMQ相关概念
46 0
|
4月前
|
消息中间件 存储 负载均衡
RocketMQ基本概念
RocketMQ基本概念
37 0
|
5月前
|
消息中间件 存储 Kafka
三分钟白话RocketMQ系列—— 核心概念
三分钟白话RocketMQ系列—— 核心概念
|
6月前
|
消息中间件 存储 Kafka
3分钟白话RocketMQ系列—— 核心概念
3分钟白话RocketMQ系列—— 核心概念
104 1
|
7月前
|
消息中间件 存储 监控
RocketMQ 的基本概念、架构设计、特点以及适用场景
RocketMQ 的基本概念、架构设计、特点以及适用场景
473 0
RocketMQ 的基本概念、架构设计、特点以及适用场景
|
8月前
|
消息中间件 存储 网络协议
RabbitMQ基础概念
RabbitMQ基础概念
55 0
|
8月前
|
消息中间件 存储 Kafka
RocketMQ基本概念及功能
RocketMQ是阿里巴巴在2012年开发的分布式消息中间件,专为万亿级超大规模的消息处理而设计,具有高吞吐量、低延迟、海量堆积、顺序收发等特点。
180 0
|
8月前
|
消息中间件 RocketMQ
RocketMQ核心概念
RocketMQ核心概念
54 0