实时数仓Hologres
Hologres（原交互式分析）是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与自助分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），与MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方案。
与DataWorks深度集成，提供图形化、智能化、一站式的数仓搭建和交互式分析服务工具，支持数据资产、数据血缘、数据实时同步、数据服务等企业级能力.达摩院Proxima向量检索.与机器学习平台PAI紧密结合，内置达摩院Proxima向量检索插件，支持在线实时特征存储、实时召回、向量检索.兼容PostgreSQL生态，与大数据计算引擎及...
来自：
云产品
数据传输服务DTS
阿里云数据传输服务集数据迁移、订阅及实时同步功能于一体，能够解决公共云、混合云场景下，远距离、毫秒级异步数据传输难题，支持关系型数据库、NoSQL、大数据(OLAP)等数据源，其底层基础设施采用阿里双11异地多活架构，为数千下游应用提供实时数据流，已在线上稳定运行7年之久。
通过构建异地灾备中心可以提高服务可用性，基于数据传输服务实时同步能力，可实现灾备中心和业务中心的增量数据实时同步，确保数据一致性.支持库、表、列粒度的同步对象；在数据同步过程中，可以随时增加或减少需要同步的对象.灵活的同步对象.提供同步延迟、同步性能（RPS、流量）趋势图，可以方便查看同步链路的性能趋势....
来自：
云产品
云数据库MongoDB版
阿里云云数据库MongoDB版是完全兼容MongoDB协议、高度兼容DynamoDB协议的在线文档型数据库服务。支持单节点、双节点、副本集和分片集群四种部署架构，能够满足不同的业务场景需要。
数据库传输平台，支持RDBMS(关系型数据库)、NoSQL、OLAP等多种数据源之间数据进行交互，提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输能力.多实例间数据同步.可以实现数据库MongoDB实例间自动双向同步数据，轻松应对多活架构，容灾有保障.数据闭环流通.通过DTS数据传输服务，可实现异构数据库之间云上流通，...
来自：
云产品
实时同步RDS与Redis构建缓存一致性
通过DTS数据订阅能力，用户可以实时订阅RDS日志数据变更，并将其写入Redis以实现缓存数据的更新，可以实现MySQL与Redis之间的缓存同步一致性。
相关产品云数据库 RDS MySQL 版数据传输服务 DTS云数据库 Redis 版云服务器 ECS专有网络 VPC在线咨询方案优势数据实时同步通过DTS订阅功能实时订阅Binlog数据，实现MySQL与Redis异构数据库之间的数据实时同步，保证数据的实时性和一致性。同步链路稳定数据传输服务DTS订阅功能，高服务化能力保证同步链路的易用性和稳定性，...
来自：
解决方案
DTS数据同步集成MaxCompute数仓
场景描述 本文Step by Step介绍了通过数据传输服务 DTS实现从云数据库RDS到MaxCompute的 数据同步集成，并介绍如何使用DTS和 MaxCompute数仓联合实现数据ETL幂等和数 据生命周期快速回溯。 解决问题 1.实现大数据实时同步集成。 2.实现数据ETL幂等。 3.实现数据生命周期快速回溯。 产品列表 MaxCompute 数据传输服务DTS DataWorks 云数据库RDS MySQL 版
数据抽取不幂等或容错率低，如凌晨 0:00启动的 ETL任务因为各种原因(数据库 HA切换、网络抖动或 MAXC写入失败等)失败后，再次抽取无法获取 0:00时的数 据状态。2.针对不规范设计表，如没有 create_time/update_time的历史遗留表，传统 ETL需 全量抽取。3.实时性差，抽取数据+重试任务往往需要 1-3小时。另外数据库的数据...
数据总线Datahub
数据总线(DataHub)服务是阿里云提供的流式数据(Streaming Data)服务，它提供流式数据的发布(Publish)和订阅(Subscribe)的功能，拥有高吞吐量、高稳定性、低成本等特点，与阿里云大数据生态系统完美打通，让您可以轻松构建基于流式数据的分析和应用。
提供DataConnector模块，稍作配置即可把接入的数据实时同步到下游MaxCompute、OSS、TableStore等存储分析系统，极大减轻了数据链路的工作量.灵活的缓存时间，下游可重复消费，自动多备份，保障数据高可靠性.既有适合人交互的Web控制台，也有适合程序交互的API和SDK，满足各种使用需求.多样化的数据接入和同步能力，灵活的...
来自：
云产品
数据集成 Data Integration
阿里云数据集成 Data Integration是跨异构数据、低成本、弹性扩展的数据采集同步平台，为DataX的商业版，支持ETL，支持50+数据源跨网络离线(全量/增量)同步。
实时数据同步功能，方便您使用单表同步或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应.全增量一体化同步.数据集成支持同步解决方案功能，您可以通过配置同步规则同步整库的离线全量和实时增量数据，支持一键同步至Elasticsearch、MaxCompute、Hologres....
来自：
云产品
数据传输解决方案
数据传输解决方案支持关系型数据库、NoSQL、大数据(OLAP)等数据源间的数据传输。 它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下，解决远距离、毫秒级异步数据传输难题。
它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下，解决远距离、毫秒级异步数据传输难题.数据传输解决方案.DTS产品介绍.DTS数据迁移.DTS数据订阅.DTS数据同步.DTS基于数据库日志监听解析的技术实现非侵入式的增量数据实时采集。可将MySQL，PostgreSQL、Oracle、DB2...
来自：
解决方案
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
数据库中的数据，可通过数据传输服务 DTS被实时数据同步到消息 队列 Kafka中。3.数据加工：消息队列收到的原始数据，往往存在格式不齐或内容不全，需要经过数 据清洗（ETL）之后，才能更好的被下游业务使用。而整个 ETL过程，是实时数 仓架构设计上非常重要的一环，该环节要做到延时小，成本低，可扩展性好，业务 指标计算...
数据可视化DataV
数据可视化DataV是阿里云一款数据可视化应用搭建工具，旨让更多的人看到数据可视化的魅力，帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用，满足您会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。
百万级实时数据同步能力，利用孪生计算引擎，针对百万级工业设备并发任务，支持秒级更新同步；工业数据模型同步能力，利用GIM、BoE解析和自动建模能力，支持基于工业数据模型的孪生体构建能力；DataV-孪生仿真.对象存储 OSS.工业孪生仿真.生产全流程动态模拟.DataV在数据智能分析领域，通过AI智能分析与数据可视化的结合，...
来自：
云产品
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
实现阿里云Kafka向其他地域的自建Kafka消息实时、元数据实时同步的场景。 该场景也可以衍生为阿里云Kafka向其他云厂商的云Kafka进行消息、元数据同步的 场景，原理是一致的。方案限制 该方案场景只支持单向同步，不支持双向同步。产品介绍 专有网络VPC（VirtualPrivateCloud）：是用户基于阿里云创建的自定义私有...
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
它是一种集数据迁移、数据订 阅及数据实时同步于一体的数据传输服务。数据传输致力于在公共云、混合云 场景下，解决远距离、毫秒级异步数据传输难题。它底层的数据流基础设施为 文档版本：20210224 IV 游戏数据运营融合分析 前言 阿里双 11异地多活基础架构，为数千下游应用提供实时数据流，已在线上稳 定运行 5年之久。您...
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
它是一种集数据 迁移、数据订阅及数据实时同步于一体的数据传输服务。数据传输致力于在公 共云、混合云场景下，解决远距离、毫秒级异步数据传输难题。它底层的数据 文档版本：20210416 III 云 ClickHouse冷热数据分层存储最佳实践 前言 流基础设施为阿里双 11异地多活基础架构，为数千下游应用提供实时数据流，已在线上稳定...
RDS+ClickHouse构建一站式HTAP
通过融合MySQL和ClickHouse的数据同步能力，用户可以在一个可视化窗口中简单灵活地配置和管理实时数据同步，这为业务报表统计、交互式运营分析和实时数仓构建提供了便利。
相比于其他HTAP解决方案，MaterializedMySQL可以实时同步数据，降低数据延迟，提高数据准确性。高性能处理ClickHouse作为列式数据库，具有高性能的数据查询和分析能力。相比于其他HTAP解决方案，ClickHouse可以在短时间内处理大量数据，提高数据处理效率。应用场景业务报表统计利用ClickHouse的高性能分析能力，以及丰富的...
来自：
解决方案
RDS MySQL迁移至PolarDB MySQL版
RDS MySQL的数据可在线实时同步到PolarDB MySQL版，并且升级切换后的PolarDB集群包含源RDS实例的账号信息、数据库、IP白名单和必要的参数。
方案介绍RDS MySQL迁移至PolarDB MySQL版本架构通过一键迁移升级功能，将RDS MySQL的数据实时同步到PolarDB MySQL版。在正式切换前，可先通过DAS提供的流量回放和压测功能对目标端PolarDB进行全面的兼容性和性能评估。正式切换时，会自动将源端RDS的连接地址交换给目标PolarDB端，从而实现无需修改应用程序任何代码和配置的...
来自：
解决方案
AnalyticDB MySQL湖仓版的用户运营分析实践
本方案只需一个湖仓版实例就能完成“数据入湖+作业开发+在线分析”的一站式用户运营数据分析，提供更高效的数据处理方案与更低的数据存储成本。
方案介绍AnalyticDB MySQL湖仓版的用户运营分析实践本架构将Kafka数据实时同步到云原生数据仓库AnalyticDB MySQL湖仓版，在AnalyticDB MySQL湖仓版中进行数据清洗、分库分表、与云数据库RDS MySQL同步到AnalyticDB MySQL湖仓版的用户维度表进行多表关联聚合分析。最终在Quick BI呈现可视化的用户运营分析看板。解决问题：...
来自：
解决方案
互联网、电商Elasticsearch搜索
场景描述 每一个生活在互联网中的用户，每天都在经 历各种各样的“搜索”，查找电商网站商品、 信用卡账单、查电子发票、查附近的餐厅酒 店、查偶像、查交通等等。相对于传统的关 系型数据库，Elasticsearch只需要几毫秒的 时间，即可查询PB级数据并从中找到匹配 信息。利用Elasticsearch高可用性和易用 性，能够快速处理网站、APP丢给它的文本、 数字、日期、IP以及地理数据。 解决问题 1.电商网站商品、订单、物流等搜索 2.保险行业保单查询 3.互联网教育行业课程搜索 4.O2O行业地理位置搜索等 产品列表 云服务器ECS 专有网络VPC 负载均衡SLB 云数据库RDSMySQL版 Dataworks Elasticsearch 数据传输服务DTS
它是一种集数据迁移、数据订阅及数据实时 同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下，解决远距 离、毫秒级异步数据传输难题。它底层的数据流基础设施为阿里双 11异地多活 基础架构，为数千下游应用提供实时数据流，已在线上稳定运行 5年之久。您 可以使用数据传输轻松构建安全、可扩展、高可用的...
- 产品推荐
- 这些文档可能帮助您