已选择对象 如需指定目标MongoDB（分片集群架构）中用于接收数据的数据库名称：右键单击 已选择对象 下方的目标数据库，在弹出的 编辑Schema 对话框中，将 Schema名称 修改为目标MongoDB（分片集群架构）中用于接收数据的数据库名称。...
已选择对象 如需指定目标MongoDB（分片集群架构）中用于接收数据的数据库名称：右键单击 已选择对象 下方的目标数据库，在弹出的 编辑Schema 对话框中，将 Schema名称 修改为目标MongoDB（分片集群架构）中用于接收数据的数据库名称。...
已选择对象 如需指定目标MongoDB（分片集群架构）中用于接收数据的数据库名称：右键单击 已选择对象 下方的目标数据库，在弹出的 编辑Schema 对话框中，将 Schema名称 修改为目标MongoDB（分片集群架构）中用于接收数据的数据库名称。...
在 设置数据源 面板中选择 数据源类型 为 静态数据，参数说明如下。字段 说明 adcode 区域的adcode编号，可通过 DataV.GeoAtlas 获取。name 可选，地区的名称。colorField 可选，地区的颜色映射字段。textureShapeField 可选，地区的纹理...
本文分别介绍了计算节点、数据/GMS节点、CDC节点的监控参数和含义。计算节点 API参数名 含义 Cpu_Usage CPU使用率，单位为%。Mem_Usage JVM（Java Virtual Machine，Java虚拟机）堆内存使用率。计算方法：堆内存使用总量/堆内存分配的大小*...
参数 说明 数据源名称 输入数据源名称，以字母开头，由大小写字母、数字、下划线（_）组成，最多60个字符。数据源描述 对数据源进行简单描述，最多80个字符。适用环境 本文以使用标准模式工作空间为例，此处选中 开发 和 生产。Endpoint ...
数据库备份DBS 提供恢复演练功能，支持定期演练数据库的恢复流程。您可以通过该功能验证备份数据的准确性与容灾系统的可靠性，确保当发生数据灾难时，容灾系统能够顺利接替生产系统并继续对外提供服务。背景信息 通常在灾难发生时，可能...
schedule.timestamp（执行调度时间）data.timestamp（调度数据时间）无 1.8.13，2023-09-08 功能名称 变更类型 功能描述 相关文档 执行线程模型调整 新增 执行线程模型调整。模型切换为 非共享 线程池模式。共享线程池模型下共享线程池参数...
前提条件 已创建用于接收数据的目标库实例，当前仅支持 AnalyticDB PostgreSQL。创建方法，请参见 创建实例。目标 AnalyticDB PostgreSQL 实例中需已创建好用于接收数据的数据库和Schema（本示例创建的Schema为 dts_deliver_test）。创建...
本文将介绍如何使用 Commons Pool、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入数据、更新数据、删除数据、查询数据和删除表等。点击下载 commonpool-mysql-client 示例工程 前提条件...
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
offset Long timestamp Long headers String partition Long 离线写数据 DataWorks将数据写入Kafka时，支持写入JSON格式或text格式的数据，不同的数据同步方案往Kafka数据源中写入数据时，对数据的处理策略不一致，详情如下。重要 写入text...
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
配置补数据参数。根据业务需求配置补数据的业务日期、待补数据的节点等。不同模式，需配置的参数存在差异，详情请参见 执行补数据并查看补数据实例。本文示例使用 当前节点 模式，对 result_table 节点补业务日期 20220801~20220812 时间段...
spring.rabbitmq.template.reply-timeout sendAndReceive()操作的超时时间。spring.rabbitmq.template.retry.enabled 是否启用发送重试。spring.rabbitmq.template.retry.max-attempts 最大重试次数，默认值为3。spring.rabbitmq.template....
已在目标ClickHouse集群创建用于接收数据的数据库，详情请参见 创建数据库。重要 建议ClickHouse集群中创建的数据库名称与源 RDS MySQL 实例待迁移数据所属的数据库名称一致，否则您需要在 配置任务对象及高级配置 阶段，在 已选择对象 框...
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
2.Redirect to BE|+-v-+-+Coordinator BE|1B.User submit load to BE+-+-+-+-+|+-+|+-+|3.Distrbute data|+-v-+-v-+-v-+|BE|BE|BE|+-+-+-+Stream Load中，Doris会选定一个节点作为Coordinator节点，该节点负责接收数据并分发数据到...
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
本文将介绍如何使用 Druid 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入数据、更新数据、删除数据、查询数据和删除表等。点击下载 druid-mysql-client 示例工程 前提条件 您已...
已在目标RDS PostgreSQL实例中创建用于接收数据的数据库。具体操作，请参见 创建账号和数据库。注意事项 说明 在库表结构同步过程中，DTS会将源数据库中的外键同步到目标数据库。在全量同步和增量同步过程中，DTS会以Session级别暂时禁用...
目标 云原生数据仓库AnalyticDB PostgreSQL版 实例已创建用于接收数据的数据库。创建方法，请参见 导入数据。如需执行增量迁移，您需要开启 Db2 for LUW 数据库的归档日志。更多信息，请参见 主日志归档方法 和 辅助日志归档方法。重要 ...
数据处理类节点包括页面导航节点、并行数据处理节点、串行数据处理节点、序列执行节点和WebSocket节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。页面导航节点 页面导航 节点，可用于实现页面跳转的功能，支持新开浏览器标签页...
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
前提条件 已创建用于接收数据的自建Oracle，且Oracle可用的存储空间需要大于源 PolarDB-X 2.0 已使用的存储空间。自建Oracle中已创建用于接收数据的Schema。说明 创建用户时会自动创建一个对应的Schema。注意事项 说明 在库表结构迁移过程...
高级配置参数说明如下：配置名称 意义 时间偏移 数据时间相对于调度时间的偏移，可以在调度时从上下文获取该值。时区 可以根据实际情况选择不同时区，包括一些常用国家或地区，也包括标准的GMT表达方式。设置相关报警条件和通知渠道等。...
高级配置参数说明如下：配置名称 意义 时间偏移 数据时间相对于调度时间的偏移，可以在调度时从上下文获取该值。时区 可以根据实际情况选择不同时区，包括一些常用国家或地区，也包括标准的GMT表达方式。设置相关报警条件和通知渠道等。...
前提条件 已创建用于接收数据的自建Oracle，且Oracle可用的存储空间需要大于源 PolarDB-X 2.0 已使用的存储空间。自建Oracle中已创建用于接收数据的Schema。说明 创建用户时会自动创建一个对应的Schema。注意事项 说明 在库表结构同步过程...
升级数据库大版本 数据迁移 变更实例配置 按时间点将备份数据恢复至新建实例 恢复云数据库MongoDB单个或多个数据库 升级数据库大版本：升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低峰期执行并确保应用...
已在目标ClickHouse集群创建用于接收数据的数据库，详情请参见 创建数据库。重要 建议ClickHouse集群中创建的数据库名称与源 PolarDB MySQL版 集群待迁移数据所属的数据库名称一致，否则您需要在 配置任务对象及高级配置 阶段，在 已选择...
LogHub（SLS）数据源为您提供读取和写入LogHub（SLS）双向通道的功能，本文为您介绍DataWorks的LogHub（SLS）数据同步的能力支持情况。使用限制 数据集成离线写LogHub（SLS）时，由于LogHub（SLS）无法实现幂等，FailOver重跑任务时会引起...
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
对于DataWorks数据集成的实时同步任务、全增量同步任务的实时同步阶段，您可以设置任务告警规则，用来监控同步任务的状态，本文为您介绍实时同步任务告警设置的指标有哪些，并为您示例一个最佳实践。告警规则指标 您可以在DataWorks的运维...
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
Redis DB映射名称(0-255)：Redis中用于接收数据的DB，仅需输入数字。缓存数据映射模式：数据同步到Redis后数据的格式。将鼠标悬停在选项后的 图标上，可以查看相关提示信息。当 缓存数据映射模式 选择为 库-表-主键的KV模型 时，还要设置 ...
数据库自治服务DAS（Database Autonomy Service）支持监控大盘功能，您可以自主选择需要监控的数据库实例和指标，对不同数据库实例的指标进行监控对比，并且可以进行多指标联动，帮助您监控数据库实例的运行情况。前提条件 目标数据库实例...
数据库自治服务DAS（Database Autonomy Service）支持监控大盘功能，您可以自主选择需要监控的数据库实例和指标，对不同数据库实例的指标进行监控对比，并且可以进行多指标联动，帮助您监控数据库实例的运行情况。前提条件 目标数据库实例...
背景信息 时序引擎Sink连接器用于连接其他系统与Lindorm时序引擎，负责从各种数据源接收数据并写入到时序引擎。实时计算Flink版通过Flink SQL定义源表、维表和结果表，通过定义时序引擎Sink连接器的参数，将结果表映射到Lindorm时序表，...
负责接收数据并分发数据到其他数据节点，导入完成后返回结果。基本原理 Stream Load通过HTTP协议提交导入命令。如果提交到FE节点，则FE节点会通过HTTP Redirect指令将请求转发给某一个BE节点，您也可以直接提交导入命令给某一指定BE节点。...
负责接收数据并分发数据到其他数据节点，导入完成后返回结果。基本原理 Stream Load通过HTTP协议提交导入命令。如果提交到FE节点，则FE节点会通过HTTP Redirect指令将请求转发给某一个BE节点，您也可以直接提交导入命令给某一指定BE节点。...