数据清洗/数据流出 消息集成提供了强大的、界面化的数据ETL（Extract-Transform-Load）配置能力，方便快捷地对完成上报、进入到消息队列的数据进行清洗、格式化、数据格式转换等操作。并支持将完成ETL处理的数据转储到下游。Serverless...
数据清洗/数据流出 消息集成提供了强大的、界面化的数据ETL（Extract-Transform-Load）配置能力，方便快捷地对完成上报、进入到消息队列的数据进行清洗、格式化、数据格式转换等操作。并支持将完成ETL处理的数据转储到下游。Serverless...
本文为您汇总数据服务的相关问题。为什么数据服务无法连接ECS自建的数据库？是否必须开通API网关？如何配置数据源？数据服务是否支持MaxCompute（ODPS）数据源？向导模式生成API与脚本模式有何功能差异？数据服务中的API分组的作用是什么，...
若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，如果您有降本需求，可以使用 PolarDB MySQL版 提供的冷数据归档功能，将这部分数据转存至低成本的OSS上存储，以降低数据存储成本。本章节介绍了冷数据归档方法、...
数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin 常见数据应用问题 一般从需求提出到需求交付分为：需求提出-需求...
概念介绍—消息流出（Sink）消息流出的主要能力是将 云消息队列 Kafka 版 的数据流出到各类数据目标，Connector生态集成模块对 云消息队列 Kafka 版 的消息进行可靠分发，同时在分发时对消息数据进行清洗和过滤。概念介绍—数据处理...
DataHub数据源作为数据中枢，为您提供读取和写入DataHub数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DataHub数据同步的能力支持情况。支持的版本 DataHub Reader通过DataHub的Java SDK读取DataHub中的数据...
如果写入源端系统的单个分区或者shard数据流量已经达到了同步速率的上限，例如，Kafka集群侧可以对分区读取流量配置限流、DataHub单分区的最大读取流量有4MB/s限制、Loghub单shard最大读取流量有10MB/s限制，如果实时同步任务对于单分区的...
概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的数据质量工作 业务设计规范 表都需要有主键，否则可能会造成数据不一致（造成目标库有重复数据）。因为 PolarDB分布式版 的GSI全局二级索引（Global Secondary ...
概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的数据质量工作 业务设计规范 表都需要有主键，否则可能会造成数据不一致（造成目标库有重复数据）。因为 PolarDB分布式版 的GSI全局二级索引（Global Secondary ...
调整数据 功能名称 能力介绍 指令描述示例 修改图表字段 修改图表的数据字段内容“帮我把 签单金额 替换为 销售金额”修改字段展示名称 在不改变数据字段内容的情况下，修改字段在当前图表中的展示名称“帮我把 联系方式计数 重命名为 线索...
在活动大促期间，未做预防措施导致数据库出现问题的案例如下：某运营人员为了统计活动数据执行了慢SQL指令，最终导致业务被拖垮。某研发人员执行了一条结构变更指令，影响了同一数据库下另外一条业务线的活动。性能安全 限制查询与导出的...
因为基础系列是单节点，升级/变配时会检查当前所在物理机是否有足够资源，如果资源不足会在其他物理机上复制节点数据并切换，极端情况下会有30分钟以上不可用。建议您使用 高可用系列/集群系列，它们使用高可用架构，从备实例复制数据不会...
PolarDB MySQL版 是基于共享存储和一写多读的计算存储分离架构的集中式数据库，单分区或单表数据量最大64 TB，不必过早考虑分库分表。使用 PolarDB MySQL版 数据库，单张表数据量太大，想使用分表，如何使用？建议使用分区表。分区表的更多...
自建Oracle迁移至云原生数据仓库AnalyticDB PostgreSQL版 异构数据库间的数据类型映射关系 切流 数据库上云割接 数据库割接用于帮助用户在完成数据库评估、应用评估改造后，将业务最终平滑地迁移到云上数据库。数据库割接 周期性任务 定时...
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
购买Dataphin后，如果因特殊情况需要申请退款，请您提 工单 并联系对应客户经理进行沟通，确认符合退款条件后（非产品问题不予退款），系统将根据您的使用情况扣除对应费用，后台执行退款操作。Dataphin支持包年包月购买模式。Dataphin仅...
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
配置示例 如下介绍如何在工单审批流成中设置两个审批人，分别为管理员db_doc、测试用户dmsuser，并将其应用在数据导入工单审批阶段。登录 DMS 控制台，单击顶部菜单栏的 安全与规范>审批流程。单击 审批节点 页签，新增两个审批人，分别为...
方法一：KILL所有语句 如果Processlist中显示堆积了很多SQL，建议立即KILL掉所有正在执行的语句，PolarDB-X 提供了如下指令进行这个操作：KILL"ALL"该语句会KILL掉计算节点与数据节点之间的每一个连接，从而达到结束掉所有语句的效果。...
监控大盘 可以自主选择需要监控的数据库实例和指标，对不同数据库实例的指标进行监控对比，并且可以进行多指标联动，帮助您监控数据库实例的运行情况。事件订阅 开启该功能后，如果相关事件被触发，将会根据设置的方式通知您。自动SQL优化 ...
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
数据库自治 功能集 功能 功能描述 参考文档 监控告警 7 x 24小时异常检测 基于机器学习和细粒度的监控数据，实现7 x 24小时异常检测，全天侯监控数据库异常变化。异常检测 性能趋势 提供了丰富的性能监控指标并支持自定义图表；能够展示...
本文为您介绍数据集成任务常见问题。资源组操作及网络连通 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下...
突发情况多：平台接入大量客户，出现请求洪峰，导致数据库压力激增，甚至承受不住。解决方案 企迈使用阿里云DAS数据库自治服务，支持多种数据库类型、多个数据库实例的批量管理，提供 巡检评分、监控大盘 等能力，能够快速定位到异常实例。...
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...
注意事项 设置Exception Policy可能存在TOCTOU（Time-of-Check to Time-of-Use）数据泄露问题（即Race Condition问题）：问题描述 假设，用户的数据流出流程如下：（TOC阶段）用户A向项目所有者申请导出表t1的数据。项目所有者对t1的数据...
数据管理DMS是一款支撑数据全生命周期的一站式数据管理平台，本文介绍数据管理DMS的产品优势。实现全域数据资产管理 支持全域数据资产：关系型数据库：MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB PostgreSQL版（兼容Oracle...
本文为您介绍在MaxCompute中执行DQL操作过程中的常见问题。问题类别 常见问题 GROUP BY 在执行MaxCompute SQL过程中，报错Repeated key in GROUP BY，如何解决？在执行MaxCompute SQL过程中，报错Expression not in GROUP BY key，如何解决...
本文介绍2023年 云原生数据仓库AnalyticDB PostgreSQL版 Serverless实例的内核功能发布记录。您可以在 云原生数据仓库AnalyticDB PostgreSQL版 控制台将实例升级至最新发布的小版本。升级小版本的具体操作，请参见 版本升级。2023年10月（V...
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
数据保护模式 说明 数据保护机制允许用户控制数据流出方法。MaxCompute项目 此安全检测项为您扫描是否已为部分或所有MaxCompute项目设置项目保护模式。关于MaxCompute项目保护详情请参见：数据保护机制。MaxCompute存储安全加强 数据存储...
本文介绍了您在使用A100系列数据库审计服务时可能遇到的问题和解答，帮助您更好地理解和使用产品。使用数据库审计时，我可以为RAM用户授予哪些权限？数据库审计A100是否支持云数据库PolarDB？在CentOS中删除Agent是指删除/usr/local/...
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
数据 强 一致性 在组复制中，事务总是先传输到集群中其他节点，然后写入Binlog文件，这保证无论主节点在什么时刻发生故障，重新启动后数据都不会比集群选出的新主节点多。旧主节点故障重启后，能够自动加回集群，拉取它缺失的Binlog，就...
SQL Server数据源为您提供读取和写入SQL Server双向通道的功能，本文为您介绍DataWorks的SQL Server数据同步的能力支持情况。支持的版本 SQL Server Reader使用驱动版本是com.microsoft.sqlserver sqljdbc4 4.0，驱动能力具体请参见 官网...
全增量实时同步方案为您先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建全增量实时同步至Hologres任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，...
后续：离线同步数据质量问题与同步任务调优 离线同步任务调优 离线同步数据质量排查 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何排查离...