配置效果 如下图保险数据录入表所示，职业类别、性别、时间、险类1名称、保费、年达成率、保单数 均为数据集字段加载的数据，通过配置填报的形式，可以将数据集表格和填报结合，针对数据集中需要修改的数据，可以快速填报录入，如 保费、年...
业务中存在一些配置表，存储重要的配置，读多写少。在实际业务查询中，很多业务表会和配置表进行联合数据查询。但在数据库水平拆分后，配置表是无法拆分的。因此，数据访问代理提供了小表广播功能，支持配置表同步至目标数据库的所有分库。...
保存 建表结构 或 选择已有表时，会自动按照 同名映射 原则生成上游列与Hologres表列之间的映射，可根据需要进行调整秒支持一个游列映射到多个Hologres表列，不允许多个上游列映射到一个Hologres表列，当上游列未配置到Hologres表列的映射...
SET ADB_CONFIG 既支持对单张表配置优先级，也支持对多张表配置优先级，且优先级一直生效，直至再次配置该表优先级时，才会改变。如果同时使用Hint和 SET ADB_CONFIG 为同一个表配置了不同的优先级，在当前提交的任务中，该表的BUILD调度...
目标表配置 导入数据前置行为 输入导入数据前执行的SQL语句，选择是否清空目标表数据。导入数据后置行为 输入导入数据后执行的SQL语句。字段映射-您可以根据需要选择目标表全部字段的映射关系。同名映射：系统默认将同名字段连接为映射关系...
设置如下信息：实例地址（IP/域名）实例端口 配置CA证书 单击 编辑，参考下表配置CA证书，然后单击 更新。重新配置CA会导致已签发的CA证书和入网证书失效。配置项 说明 证书组织名称 设置CA证书的组织名称，默认组织名称为 SASE。CA证书...
则需要在运维中心>运维管理>更新配置中执行 推送配置并触发索引重建：删除索引表版本：状态为“未使用”的索引表版本可以直接删除：查看索引表版本：单击“查看”后，可跳转到索引表版本的只读配置界面：管理员模式：开发者模式：删除索引...
则需要在运维中心>运维管理>更新配置中执行 推送配置并触发索引重建：删除索引表版本：状态为“未使用”的索引表版本可以直接删除：查看索引表版本：点击“查看”后，可跳转到索引表版本的只读配置界面：管理员模式：开发者模式：删除索引...
具体数据源配置如下：源数据源：MaxCompute数据源 目标数据源：Tablestore数据源 同步表格存储数据表中数据到另一个数据表 表格存储数据表数据只支持迁移到表格存储另一个数据表中。迁移过程中会使用到表格存储的Reader脚本配置和Writer...
库表列名单个映射 在配置数据迁移任务的设置 迁移类型及列表 环节中，将要迁移的对象移动到 已选择 区域框中，然后将鼠标指针放置在要修改库或表名上，并单击对象后出现的 编辑。重要 支持的对象取决于DTS对该数据库的迁移对象支持情况。在...
配置 离线模式 在离线模式配置面板，您需根据下表配置 流批一体任务 离线模式的资源与依赖关系相关参数。配置项 描述 调度配置 调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期...
还支持您按表配置数据质量规则，详情请参见 配置规则：按表（单表）。使用限制 按模板配置目前支持配置EMR（E-MapReduce）、Hologres、AnalyticDB for PostgreSQL、MaxCompute数据源的监控规则。进入按模板配置监控规则页面 登录 DataWorks...
配置ArgoDB输出组件，可以将外部数据库中读取的数据写入到ArgoDB，或从大数据平台对接的存储系统中将数据复制推送至ArgoDB，进行数据整合和再加工。本文为您介绍如何配置ArgoDB输出组件。使用限制 ArgoDB输出组件支持写入文件格式为orc、...
配置实时模式 在实时模式配置面板，您需根据下表配置 流批一体任务 实时模式的资源与依赖关系相关参数。配置项 描述 资源配置 Ververica Flink实时计算源 对于Ververica Flink创建的流批一体任务，任务的实时模式资源配置支持配置任务的...
在 达梦输出配置 对话框，按照下表配置参数。参数 描述 步骤名称 根据当前组件的使用场景，填写组件名称。数据源 选择数据源。选择Dataphin系统已配置的数据源，且数据源需同时具备以下两个条件：数据源的类型与输出组件的类型一致。执行 ...
在 达梦输出配置 对话框，按照下表配置参数。参数 描述 步骤名称 根据当前组件的使用场景，填写组件名称。数据源 选择数据源。选择Dataphin系统已配置的数据源，且数据源需同时具备以下两个条件：数据源的类型与输出组件的类型一致。执行 ...
配置 离线模式 在离线模式配置面板，您需根据下表配置 流批一体任务 离线模式的资源与依赖关系相关参数。配置项 描述 调度配置 调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期...
完成输入和输出参数配置后，单击 字段血缘配置，在 血缘配置 对话框中，单击输出表待配置的目标字段后的 图标，下拉选择对应的一个或者多个输入表以及输入表的字段。说明 对能自动解析输入和输出参数的SQL类节点类型，系统会自动匹配输入表...
完成输入和输出参数配置后，单击 字段血缘配置，在 血缘配置 对话框中，单击输出表待配置的目标字段后的 图标，下拉选择对应的一个或者多个输入表以及输入表的字段。说明 对能自动解析输入和输出参数的SQL类节点类型，系统会自动匹配输入表...
完成输入和输出参数配置后，单击 手动设置血缘 开关，在 血缘配置 对话框中，单击输出表待配置的目标字段后的 图标，下拉选择对应的一个或者多个输入表以及输入表的字段。说明 对能自动解析输入和输出参数的SQL类节点类型，系统会自动匹配...
配置实时模式 在实时模式配置面板，您需要根据下表配置实时 任务 实时模式的资源与依赖关系相关参数。配置项 描述 资源配置 开源Flink实时计算源 对于开源Flink创建的实时任务，任务的实时模式资源配置支持配置任务的生产环境和开发环境的...
支持为Dataphin表和全域数据表监控对象配置打分权重以及为Dataphin表（自定义配置）和全域数据表的质量规则配置打分权重。创建全域数据表规则 创建数据表质量规则 数据安全 安全扫描适配分区字段不是ds或者无分区的情况，采用 全表扫描+...
支持为Dataphin表和全域数据表监控对象配置打分权重以及为Dataphin表（自定义配置）和全域数据表的质量规则配置打分权重。更新说明 创建全域数据表规则 创建数据表质量规则 资产安全-敏感数据识别 安全扫描适配分区字段不是ds或者无分区的...
支持单个或多个数据源表数据横向合并，要求这些源表结构及数据源插件配置必须完全相同，并且主键值均不重复（主键值重复会覆盖），主要支持以下2种场景：应用表中配有一个数据源，并且包含多个源表。应用表中配有多个数据源，并且各数据源...
支持单个或多个数据源表数据横向合并，要求这些源表结构及数据源插件配置必须完全相同，并且主键值均不重复（主键值重复会覆盖），主要支持以下2种场景：应用表中配有一个数据源，并且包含多个源表。应用表中配有多个数据源，并且各数据源...
Dataphin支持批量配置任务级和字段级的监控报警，任务级支持物理任务、逻辑表任务，字段级支持逻辑表字段，便于您及时发现并处理任务报警，同时提高任务监控报警配置的效率。本文为您介绍如何为任务和逻辑表字段配置监控报警规则。前提条件...
Dataphin支持批量配置任务级和字段级的监控报警，任务级支持物理任务、逻辑表任务，字段级支持逻辑表字段，便于您及时发现并处理任务报警，同时提高任务监控报警配置的效率。本文为您介绍如何为任务和逻辑表字段配置监控报警规则。前提条件...
支持通过Excel批量上传质量规则，帮助您为多个数据表配置质量规则，提升配置效率。本文为您介绍如何批量上传质量规则。前提条件 已发布数据表至生产环境。如何发布数据表至生产环境，请参见 管理发布任务。使用说明 Dataphin数据表和全域...
支持通过Excel批量上传质量规则，帮助您为多个数据表配置质量规则，提升配置效率。本文为您介绍如何批量上传质量规则。前提条件 已发布数据表至生产环境。如何发布数据表至生产环境，请参见 管理发布任务。使用说明 Dataphin数据表和全域...
单击 刷新源表和MaxCompute表映射 将根据您在步骤三配置的目标表名映射规则来生成目标表，若步骤三未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式，为目标表在源有表字段...
单击 刷新源表和MaxCompute表映射 将根据您在步骤三配置的目标表名映射规则来生成目标表，若步骤三未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式，为目标表在源有表字段...
table":"",/表名/读时序数据mode必须为normal"mode":"normal",/读时序数据newVersion必须为true"newVersion":"true",/配置该表为时序表"isTimeseriesTable":"true",/measurementName：配置需要读取时序数据的度量名称，非必需，为空则读取...
否则您需要在 配置任务对象高级配置 步骤中勾选 库表结构同步，并在 配置库表字段 把该表配置为unique模型，同时需要您手动配置主键列。Binlog日志：RDS MySQL默认已开启Binlog，您需确保binlog_row_image的值为full，否则预检查阶段提示报...
如果导入至Lindorm兼容HBase表，columns需要配置HBase表标准的列名，和读配置中的column对应。timestamp：数据在Lindorm宽表中的时间戳，支持以下类型：时间戳列为Long类型，值为13位。时间戳列为String类型，格式为yyyy-MM-dd HH:mm:ss...
步骤三：配置规则 配置表规则 当 步骤一：选择规则类型 中选择的规则类型为表规则时，执行如下操作。在 配置规则 区域框中，选择 规则类型，这里以MaxCompute云资源类型的表规则为例介绍。选择趋势和比较方式以及期望值。强规则：若质量...
步骤三：配置规则 配置表规则 当 步骤一：选择规则类型 中选择的规则类型为表规则时，执行如下操作。在 配置规则 区域框中，选择 规则类型，这里以MaxCompute云资源类型的表规则为例介绍。选择趋势和比较方式以及期望值。强规则：若质量...
在 KAFKA输出配置 对话框，按照下表配置参数。参数 说明 步骤名称 根据当前组件的使用场景及定位，输入合适的名称。数据源 选择Dataphin已配置的数据源。同时您可以单击 数据源 后的 新建，进入规划模块新建数据源。后续操作，详情请参见 ...
在 KAFKA输出配置 对话框，按照下表配置参数。参数 说明 步骤名称 根据当前组件的使用场景及定位，输入合适的名称。数据源 选择Dataphin已配置的数据源。同时您可以单击 数据源 后的 新建，进入规划模块新建数据源。后续操作，详情请参见 ...
AliyunOpenSearchReadOnlyAccess：也可以单独给某个实例进行权限设置，详情可参考 RAM（子账号）的创建及授权 购买实例 购买实例可参考 购买智能问答版实例 配置实例 实例购买完成后，等待实例状态“正常”后，即可进行配置：配置自定义表：...
如果所用的数据存储模型是宽表模型（即使用数据表存储数据），则需要同步数据表中的数据，请按照 同步数据表数据的任务配置 进行配置。如果所用的数据存储模型是时序模型（即使用时序表存储数据），则需要同步时序表中的数据，请按照 同步...