单个Shard是由三节点的副本集组成，保证单个分片的高可用性，用户可以根据自己的应用性能及存储要求，购买多个Shard来扩展读写性能及存储空间，实现一个分布式数据库系统。ConfigServer 配置服务器，存储所有数据库元信息（路由、分片）的...
云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量...
背景信息 PolarDB-X（原DRDS升级版）是由阿里巴巴自主研发的云原生分布式数据库。如果您使用的是PolarDB-X，在对接Dataphin进行数据开发时，您需要先完成PolarDB-X数据源的创建。更多PolarDB-X信息，请参见 什么是云原生分布式数据库...
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
输出主题式数据服务，提高数据化运营效率 场景：某公司是一家大型跨省直营餐饮品牌公司，具有线上线下多个客户触达渠道，以爆款思维策划公司品牌。痛点：因业务扩张快，用户数据丰富，拉新留存效率、营销及转化效果急需提高。但各个获客...
DataConnector支持系统 目标系统 时效性 是否支持vpc 描述 MaxCompute（ODPS）准实时，通常情况5分钟延迟 No 同步Topic中流式数据到离线MaxCompute表，字段类型名称需一一对应，且DataHub中必须包含一列（或多列）MaxCompute表中分区列对应...
主备多副本与云盘三副本 AnalyticDB PostgreSQL版 是基于MPP架构的分布式数据库，对于所有的分布式系统来说，在通过分布式来增强性能的同时，也带来了节点故障率增高的问题，通常分布式系统会通过多副本的方式来保证系统在某些节点异常情况...
面向分布式的运维，通过全局Binlog和全局一致性备份，分别解决分布式数据库各节点向下游流转难题以及各节点备份时间差造成的恢复一致性问题。功能集 功能 功能描述 参考文档 数据分布 分区表 通过分区表的分区规则，将数据均匀分布到多个...
应用场景 安全自助式数据分析 基于DMS安全管控底座，确保可视化所用的数据均经过授权访问。一次配置即可实现可视组件高级过滤、高级控制、联动、钻取、分享等操作，帮助业务人员快速完成对比、地理分析、分布、趋势以及聚类等分析和决策。...
以便客户对流式数据的进行分发与消费 Project操作 Group操作 Topic操作 Shard操作 数据同步 同步至Hologres 将Datahub中的数据同步至Hologres中指定的具体表 创建同步Hologres 同步至MaxCompute 同步Datahub中的数据至MaxCompute指定的具体...
背景信息 PolarDB-X（原DRDS升级版）是由阿里巴巴自主研发的云原生分布式数据库。如果您使用的是PolarDB-X，在对接Dataphin进行数据开发时，您需要先完成PolarDB-X数据源的创建。更多PolarDB-X信息，请参见 什么是云原生分布式数据库...
同时支持多源数据入湖以及一站式数据探索的能力。本文为您介绍EMR+DLF数据湖方案具体实践步骤。背景信息 在EMR数据湖方案中，结合DLF，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持数据湖的多种管理如数据生命周期，湖...
在实时计算 Flink 版中使用 OceanBase 连接器的详细操作，请参见：什么是阿里云实时计算Flink版 在实时计算 Flink 版中使用 OceanBase 连接器 数据库管理 DMS 数据管理 DMS（Data Management）是一款支撑数据全生命周期的一站式数据管理...
面相集分一体化架构，PolarDB-X 兼具分布式数据库的扩展性和集中式数据库的功能和单机性能，两种形态可以无缝切换。在集分一体化数据库中，数据节点被独立出来作为集中式形态，完全兼容单机数据库形态。当业务增长到需要分布式扩展的时候，...
自主可控的权限 MyBase开放版 面向自建数据库用户提供一站式数据库部署平台，将引擎内核、数据库管控、IaaS资源解耦，支持用户灵活的积木式搭建数据库集群，用户拥有主机、OS、引擎内核的自主管理权限。资源权限开放 MyBase 所在的ECS实例...
在左侧导航栏，选择 一站式数据管理>数据资产管理。说明 若首次通过DMS（新版）登录 AnalyticDB MySQL版 集群数据库来使用数据资产管理功能，您需要先完成数据库登录信息录入，登录数据库方法，请参见 登录数据库。若之前已登录过 ...
数据使用简单可依赖：通过主题式数据查询服务，您可以快速查询和访问研发构建的数据逻辑表，简化约80%的查询代码。同时，Dataphin可以为您提升构建数据体系的效率，降低成本：提升效率：提供全链路、一站式、智能化的数据建设与治理工具，...
洞察是一款自助式数据挖掘分析型，面向业务管理者、运营、业务分析师等人员提供低使用门槛的智能、自动化、全面、精准的数据诊断和分析能力，智能发现数据规律或异常，实现从数据到知识的提取，辅助业务决策。几乎每个业务每天都存在业务...
场景支持 安全自助式数据分析 基于DMS安全管控底座，确保可视化所用的数据均经过授权访问。一次配置即可实现可视组件高级过滤、高级控制、联动、钻取、分享等，帮助业务人员快速完成对比、地理分析、分布、趋势以及聚类等分析和决策。自动...
MaxCompute流式数据通道服务功能点如下：提供流式语义API：通过流式服务的API可以方便地开发出分布式数据同步服务。支持自动创建分区：解决数据同步服务并发创建分区导致的并发抢锁问题。支持增量数据异步聚合（Merge）：提升数据存储效率...
使用场景 MaxCompute MaxFrame使用场景如下：熟悉Python开发生态，需要开箱即用的Python开发环境，并快速进行数据科学、大规模数据处理及交互式数据探索等开发。处理数据量大、处理逻辑复杂，需要基于MaxCompute海量数据及弹性计算资源、...
DMS的数据集成与开发功能模块，针对数据全生命周期的集成、...数仓开发主要用于沉浸式数据仓库开发，您可以通过创建项目空间，选择数仓引擎和环境，进而创建多个数仓开发任务发布运行，实现复杂的数仓开发过程，提升数仓开发效率和管理能力。
数据访问代理 提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务，为海量数据访问提供低消耗、高性能、高可用的轻量级解决方案，确保在高并发、数据库异常的情况下依然非常稳定与可靠。数据同步服务 具备多种数据库的日志解析能力...
数据管理DMS（Data Management）是一款支撑数据全生命周期的一站式数据管理平台。DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，致力于帮助企业高效、安全地挖掘数据价值，助力企业数字化转型...
PolarDB-X 1.0 的架构继承了DRDS和X-DB技术的稳定性，结合了PolarDB的云原生技术，融入了NewSQL对于分布式数据一致性的能力，为用户提供新的“云原生+分布式”的产品体验。整体架构 PolarDB-X 1.0 由计算层实例与存储层私有定制RDS实例组成...
相对于中国很多分布式数据库采用的通过两种不同的计算引擎，甚至两套数据库系统去分别支持 OLTP 和 OLAP 的方式具有巨大优势。多租户 OceanBase 数据库采用了单集群多租户设计，天然支持云数据库架构，支持公有云、私有云、混合云等多种...
DataWorks提供了全链路的数据开发治理能力，为您提供了统一的数据开发治理流程，同时也支持您在DataWorks的默认流程上基于自己的业务需求在关键的流程节点进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景...
数据访问代理 数据访问代理（Open Database Proxy，简称 ODP）能够解决海量请求下的数据访问瓶颈和数据库的容灾问题，提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务，为海量数据访问提供低消耗、高性能、高可用的轻量级解决...
云原生分布式数据库 PolarDB-X 是阿里巴巴致力于解决单机数据库服务瓶颈而自主研发的分布式数据库产品，高度兼容MySQL协议和语法，支持自动化水平拆分、在线平滑扩缩容、弹性扩展、透明读写分离，具备数据库全生命周期运维管控能力。...
背景信息 MaxCompute SQL作为分布式数据处理的主要入口，可实现EB级别离线数据的快速处理和存储。随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大...
介绍云原生分布式数据库 PolarDB-X（简称PolarDB-X）是阿里巴巴致力于解决单机数据库服务瓶颈而自主研发的分布式数据库产品，高度兼容MySQL协议和语法，支持自动化水平拆分、在线平滑扩缩容、弹性扩展、透明读写分离，具备数据库全生命周期...
云原生分布式数据库 PolarDB-X 是阿里巴巴致力于解决单机数据库服务瓶颈而自主研发的分布式数据库产品，高度兼容MySQL协议和语法，支持自动化水平拆分、在线平滑扩缩容、弹性扩展、透明读写分离，具备数据库全生命周期运维管控能力。...
该服务通过订阅数据包返还数据到MaxCompute，预置分析模板并结合可视化分析BI工具来快速完成数据分析工作，为企业提供更加灵活的一站式数据分析能力。解决方案架构如下。详细案例信息，请参见 友盟+案例。电商案例：玩物得志 客户简介 玩物...
PolarDB-X 的架构继承了DRDS和X-DB技术的稳定性，结合了PolarDB的云原生技术，融入了NewSQL对于分布式数据一致性的能力，为用户提供新的 云原生+分布式 的产品体验。整体架构 PolarDB-X 的整体架构如下：核心组件 元数据服务（Global Meta ...
数据管理DMS 数据管理DMS（Data Management Service）是一款支撑数据全生命周期的一站式数据管理平台。DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，致力于帮助企业高效、安全地挖掘数据价值...
DBS仅支持 备份整个分布式数据库。在 配置备份时间 页面，配置备份时间等信息，并单击页面右下角的 下一步。配置 说明 全量备份频率 按需选择 周期备份 或 单次备份。说明 若您选择 周期备份，您还需配置 全量备份周期、全量备份开始时间。...
Flume（DataHub通道系列）Apache Flume是一个分布式的、可靠的、可用的系统，可高效地从不同的数据源中收集、聚合和移动海量日志数据到集中式数据存储系统，支持多种Source和Sink插件。Apache Flume的DataHub Sink插件可以将日志数据实时...
周期调度条式数据插入 应避免使用周期调度条式数据插入的方法。若无法避免使用此方法，则需建立分区表，在新分区进行插入操作，减小对于原来分区的影响。日志表的设计 日志的本质是个流水表，不涉及记录的更新。日志表设计需注意以下几点：...
ClickHouse集群（Cluster）在物理构成上，ClickHouse集群是由多个ClickHouse Server实例组成的分布式数据库。这些ClickHouse Server根据购买规格的不同而可能包含1个或多个副本（Replica）、1个或多个分片（Shard）。在逻辑构成上，一个...
OceanBase Connector/C 允许 C/C++ 程序以一种较为底层的方式访问 OceanBase 分布式数据库集群，以进行数据库连接、数据访问、错误处理和 Prepared Statement 处理等操作。OceanBase Connector/C 也称为 LibOBClient，用于应用程序作为独立...