深度解密阿里巴巴技术利器:数据订阅

本文涉及的产品
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 数据实时订阅为阿里云数据传输服务提供的一种传输功能,它可以实时获取并分发RDS增量数据。数据订阅在阿里巴巴内部已经得到广泛的应用,目前线上有上万个下游应用通过它获取核心业务的实时增量数据。使用数据订阅功能,可以实现实时消息通知、OLTP->OLAP数据实时同步,ETL 及构建本地实时灾备等典型的应用

如何获取RDS实时增量数据

数据传输DTS提供数据订阅功能,数据订阅可以实时获取并分发RDS增量日志。通过数据订阅提供的SDK 您可以从数据订阅通道中实时获取并消费RDS增量日志。通过数据订阅功能,您可以实现业务消息通知、OLTP->OLAP数据实时同步、定制化ETL的数据实时同步、构建本地灾备等多种应用场景。数据订阅让您的实时数据流动起来,最大程度发挥数据资产的潜在价值。

为了帮助您更好得理解这个功能,本小节详细介绍数据订阅的基础技术原理、使用方式及典型应用场景。

如何开始使用数据订阅

要订阅并消费某一个RDS实例的增量数据,需要分两个步骤建立整个流程:

(1) 创建一个订阅通道,开始拉取RDS的增量数据

首先需要到数据传输控制台创建一个订阅通道,这个订阅通道的作用,主要是从RDS拉取增量日志,并解析封装成数据传输自己的消息格式,存储在数据传输服务器上,供用户订阅消费。

配置订阅通道的具体流程详见使用手册数据传输使用手册

(2) 启动 SDK,订阅并消费增量数据

SDK的具体定义及使用详见数据传输使用手册

基础技术原理

本小节介绍数据订阅功能如何实现RDS增量数据的实时分发。数据订阅是通过拉取解析并分发RDS实例的增量日志来实现增量数据实时分发的能力,这种实现机制对RDS实例的性能毫无影响,所以您可以放心使用。

_

这里面SDK会通过http协议,向订阅通道请求增量数据。用户需要定义notify函数,当SDK收到增量数据时,会通知notify函数开始进行数据消费。通过通知消费的机制,可实现RDS增量数据实时消费

实时消息通知,让业务更简单可靠

数据订阅一个非常重要的应用场景,就是通过数据库增量数据实现实时消息通知。这个应用场景在阿里巴巴内部得到了广泛的应用,目前线上每天有上万个下游业务,通过数据订阅获取核心业务的实时数据更新,并触发自身的变更逻辑。

下面举两个简单的例子,简单说明业务场景:

(1) 对于电商行业,有买家、卖家两个维度,当买家购买一个商品时,卖家商品需要减少库存

(2) 又例如对于新闻APP来说,有新闻录入和新闻检索两个纬度,由于新闻的时效性,一旦有新的新闻录入,检索服务就必须能够立即检索到这条新闻

上面的场景需要在两个业务之间实现实时的消息通知消费机制,这种应用场景可以通过数据实时订阅功能实现。通过数据订阅功能,可以在不影响业务A (例如买家订单、新闻录入系统)的情况下,实时触发业务 B(例如卖家库存、新闻检索系统)的变更逻辑。

_

业务数据实时分析,快速抢占商务先机

数据分析在提高企业洞察力和用户体验方面发挥着举足轻重的作用,且实时数据分析能够让企业更快速、更灵活得调整策略,适应快速变化的市场方向及消费者体验。为了在不影响线上业务的情况下实现实时数据分析,需要将业务数据实时同步到分析系统中,由此可见,实时获取业务数据必不可少。数据传输提供的数据订阅功能,可以在不影响线上业务的情况下,帮助您获取业务的实时增量数据,通过SDK可将其同步至分析系统中进行实时数据分析。

_

其中RDS到ADS数据实时同步的更多内容详见使用阿里云数据传输实时同步RDS的数据

灵活数据转换,实现定制化数据实时同步

数据传输提供了数据源之间的数据实时同步功能,但目前实时同步功能不能支持在同步过程中进行ETL处理,所以如果您的业务在传输过程中,需要进行数据转换(例如数据过滤,字段增减,对象映射等),那么可以通过数据订阅功能,实现定制化数据实时同步。

ETL

例如上图所示,用户需要将源实例的table1,同步到目标实例的table1_1,且只需要col1、col2两个列,需要过滤掉col1=data4的记录。对于这种包含ETL的数据实时同步场景,可以使用数据订阅功能快速满足。

构建本地灾备,让数据更安全

数据作为企业的重要资产,其完整安全性显得尤为重要。今天,阿里云上的很多企业用户为提高数据安全性,都会希望在本地IDC构建数据实时灾备,这样即使阿里云发生任何意外,也不会出现业务数据丢失。 利用数据传输提供的数据实时订阅功能,可以帮助您在本地IDC快速构建阿里云的数据灾备中心,提高业务数据安全性。

_

小结

数据传输提供实时、高可用、高可靠的RDS增量数据数据实时分发能力。通过这个功能您可以在不影响RDS实例性能的情况下,订阅并消费RDS实时增量数据,实现实时消息通知、OLTP->OLAP数据实时同步,含ETL的数据实时同步及本地灾备等多种典型应用场景。

数据订阅只是数据传输提供的一种传输方式,除数据订阅之外,数据传输还提供了数据实时同步,不停服迁移等多种传输能力,如需了解数据传输更多详情,请猛击数据传输

相关实践学习
RocketMQ一站式入门使用
从源码编译、部署broker、部署namesrv,使用java客户端首发消息等一站式入门RocketMQ。
Sqoop 企业级大数据迁移方案实战
Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库(如MySQL,Oracle)导入数据到Hadoop HDFS,并从Hadoop文件系统导出到关系数据库。 本课程主要讲解了Sqoop的设计思想及原理、部署安装及配置、详细具体的使用方法技巧与实操案例、企业级任务管理等。结合日常工作实践,培养解决实际问题的能力。本课程由黑马程序员提供。
目录
相关文章
|
3月前
|
人工智能 弹性计算 自动驾驶
2023 AI开发者生态报告:技术生态、开发范式与应用案例全景
随着人工智能技术的飞速发展,全球IT市场对AI的投入持续增长,预计到2027年将达到4236亿美元。
|
20天前
|
消息中间件 存储 Cloud Native
【深入浅出RocketMQ原理及实战】「底层原理挖掘系列」打造新一代云原生"消息、事件、流"统一消息引擎的融合处理平台
【深入浅出RocketMQ原理及实战】「底层原理挖掘系列」打造新一代云原生"消息、事件、流"统一消息引擎的融合处理平台
23 0
|
11月前
闲鱼技术2022年度白皮书-服务端主题-QCon直击|闲鱼推荐大规模应用背后的工程实践(下)
闲鱼技术2022年度白皮书-服务端主题-QCon直击|闲鱼推荐大规模应用背后的工程实践
186 0
|
11月前
|
存储 资源调度 算法
闲鱼技术2022年度白皮书-服务端主题-QCon直击|闲鱼推荐大规模应用背后的工程实践(中)
闲鱼技术2022年度白皮书-服务端主题-QCon直击|闲鱼推荐大规模应用背后的工程实践
233 0
|
11月前
|
算法 搜索推荐
闲鱼技术2022年度白皮书-服务端主题-QCon直击|闲鱼推荐大规模应用背后的工程实践(上)
闲鱼技术2022年度白皮书-服务端主题-QCon直击|闲鱼推荐大规模应用背后的工程实践
191 0
|
消息中间件 容灾 物联网
行业实践:RocketMQ 业务集成典型行业应用和实践
本文讲述了 RocketMQ 的业务消息场景、一些功能特性的使用方法,包括事务消息、定时消息、消息全链路灰度等,欢迎大家尝试使用。
361 0
行业实践:RocketMQ  业务集成典型行业应用和实践
|
消息中间件 RocketMQ
《行业实践:RocketMQ 业务集成典型行业应用和实践》电子版地址
阿里云消息队列自商业化以来,服务了云上来自互联网、电商、金融、政企等众多行业数万家企业客户,积累了大量行业生产实践案例。本次分享将集中以行业应用案例为背景介绍RocketMQ在多行业的功能应用,并给出常见的误区和避坑分享,帮助企业客户更科学地使用消息队列进行业务架构解耦和集成。
86 0
《行业实践:RocketMQ 业务集成典型行业应用和实践》电子版地址
|
消息中间件 容灾 物联网
行业实践:RocketMQ 业务集成典型行业应用和实践
本文讲述了 RocketMQ 的业务消息场景、一些功能特性的使用方法,包括事务消息、定时消息、消息全链路灰度等,欢迎大家尝试使用。
行业实践:RocketMQ 业务集成典型行业应用和实践
|
大数据
大咖说·对话生态|当Confluent遇见云:实时流动的数据更有价值
Confluent如何实现高速增长?如何帮助客户实现数字化转型?有哪些成功经验值得借鉴?本期大咖说,阿里云联合Confluent一同探讨企业在大数据应用方面的数字化转型之道。
322 0
大咖说·对话生态|当Confluent遇见云:实时流动的数据更有价值
|
弹性计算 运维 监控
近百万开发者订阅的学习技术图谱长什么样?
阿里云开发者学堂推出近百万开发者订阅的学习技术图谱,来学习成长吧!