来源表选择生产环境的表：来源表为生产环境的表，冒烟测试生成的SQL语句，是从开发环境项目中查询：来源表选择开发环境的表：来源表为开发环境的表，冒烟测试生成的SQL语句：问题原因 当逻辑表根据来源表添加字段的时候，默认是用变量来...
解决方案_dev是双环境在开发环境的默认后缀，如果希望测试执行的时候用开发环境表，发布到生产用生产环境表，首先要保证这张表在开发和生产都存在，然后用参数变量的方式应用这张表：$【{项目公共名称}.表名】如下所示：当发布到生产项目...
非周期性调度生产数据的表包括：从本地上传到DataWorks的表 维表 非DataWorks调度产出的表 手动任务产出的表 对于周期性生成数据的表，您需要仔细检查表数据的血缘关系与调度依赖关系是否一致。如果您不检查直接强制提交节点，可能会导致...
说明 此处会展示ClickHouse数据源开发环境地的表列表，如果您的ClickHouse数据源开发和生产环境的表定义不同，则可能出现任务在开发环境配置正常但提交生产运行后报错表不存在、列不存在的问题。主键或唯一键冲突处理 选择 insert into 时...
生产环境不存在待同步的MaxCompute表，同步任务提交发布后，数据同步任务调度运行时将会由于无法找到待同步表而导致同步任务运行失败。开发环境和生产环境的表结构不一致，同步任务提交发布后，同步任务实际调度运行时的列对应关系，可能与...
本文以将Kafka单表离线同步至MaxCompute为例，为您介绍Kafka的分钟、小时、天增量数据定时调度写入MaxCompute小时、天分区表的配置详情。注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且记录带有正确...
说明 已经创建的表，删除字段重新提交时，会要求删除当前表，再去建一张同名表，在生产环境中禁止该操作。添加分区 如果您在 物理模型设计 区域，设置 分区类型 为 分区表，则需要配置分区。您可以为当前表新建一个分区。如果为已经创建的...
我的数据功能为您提供一个集中的视图，用于快速定位、查看和管理您在 DataWorks 中拥有权限或负责的数据表。您可以按项目、引擎类型筛选，并执行更新表信息、转交所有权等日常管理操作。注意事项 数据地图的部分数据是离线（T+1）更新的，...
若将源表的保存范围从 全部表 切换为 生产环境表，系统将自动清除对应开发环境的表，仅保留最近一个生产环境的元数据变更记录版本。元数据变更记录配置 在Dataphin首页的顶部菜单栏，选择 治理 元数据。在左侧导航栏选择 通用配置 元数据...
前提条件 已发布数据表至生产环境。如何发布数据表至生产环境，请参见 管理发布任务。使用限制 Dataphin表和全域数据表支持通过Excel导入质量规则。仅支持批量上传自定义SQL的质量规则。权限说明 质量管理员支持为所有质量监控对象配置质量...
镜像表帮助您统一管理Flink计算任务中的实时表和离线表。本文为您介绍如何生成镜像表。背景信息 如果Flink任务的生效模式为实时和离线，则新建计算任务开发即有实时表又有离线表。Dataphin支持新建镜像表，镜像表映射了实时表和离线表。您...
镜像表帮助您统一管理Flink计算任务中的实时表和离线表。本文为您介绍如何生成镜像表。背景信息 如果Flink任务的生效模式为实时和离线，则新建计算任务开发即有实时表又有离线表。Dataphin支持新建镜像表，镜像表映射了实时表和离线表。您...
表名 生产环境场景中需要检测的数据表。输入说明 生产环境场景中需要进行检测的数据表或整个生产环境场景的描述信息。检测规则 检测规则 首先通过SQL 语句来计算源数据表中数据的数量，再验证这个数量是否符合条件。检测规则支持添加多条，...
建模任务是Dataphin针对规范建模创建的逻辑表（维度逻辑表、事实逻辑表、汇总逻辑表）任务提供的字段视角运维功能，本文为您介绍如何查看并管理建模任务。背景信息 建模任务包括维度逻辑表任务、事实逻辑表任务和汇总逻辑表任务。每个逻辑...
建模任务是Dataphin针对规范建模创建的逻辑表（维度逻辑表、事实逻辑表、汇总逻辑表）任务提供的字段视角运维功能，本文为您介绍如何查看并管理建模任务。背景信息 建模任务包括维度逻辑表任务、事实逻辑表任务和汇总逻辑表任务。每个逻辑...
表名 生产环境中节点输入的物理表名，可自定义新建物理表名或者选择已物理化至资源库中的物理表名。当输入数据结构为星号（*）时，输入物理表名必须选择已经存在的物理表。当输入数据结构为具体的模型结构时，填写物理表名，系统会自动执行...
物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数，同时支持手动设定物化表的个数及字段在物化表中的分布，有效的提升了自动化生成模型的数据查询效率和资源使用效率。本文为您介绍如何配置维度和事实逻辑表的物化参数。...
如果您使用的是标准模式的DataWorks工作空间，则支持发布表到生产环境或开发环境。发布模式 定义模型发布到目标引擎的方式。增量发布：仅将当前模型的变更部分更新至目标引擎。建议对已发布的模型使用此模式，以保留历史数据并减少对线上...
物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数，同时支持手动设定物化表的个数及字段在物化表中的分布，有效的提升了自动化生成模型的数据查询效率和资源使用效率。本文为您介绍如何配置维度和事实逻辑表的物化参数。...
若将源表的保存范围从 全部表 切换为 生产环境表，系统将自动清除对应开发环境的表，仅保留最近一个生产环境的元数据变更记录版本。元数据变更记录配置 在Dataphin首页的顶部菜单栏，选择 治理 元数据。在左侧导航栏选择 通用配置 元数据...
业务活动（过程）添加多个属性后生成事实逻辑表。事实逻辑表包含主键、度量和事实属性字段。主键用于定义事实逻辑表从来源表中的取数逻辑；...逻辑表发布至生产环境后，您可在运维中心查看并运维逻辑表任务。具体操作，请参见 运维中心。
业务活动（过程）添加多个属性后生成事实逻辑表。事实逻辑表包含主键、度量和事实属性字段。主键用于定义事实逻辑表从来源表中的取数逻辑；度量是数值类型的字段，表示某个方面的大小、多少或者程度。本文为您介绍如何新建及配置事实逻辑表...
普通维度逻辑表用于描述实体对象，包含对实体对象的各方面描述。例如会员普通维度逻辑表，包含会员名称、会员ID、会员邮件等数据。...逻辑表发布至生产环境后，您可在运维中心查看并运维逻辑表任务。具体操作，请参见 运维中心。
调度属性 用于定义维度逻辑表在生产环境的调度方式。您可以通过调度属性，配置维度逻辑表的调度类型、调度周期、调度逻辑与执行等等。详情说明，请参见 配置逻辑表调度属性。上游依赖 用于定义逻辑表在调度任务中的节点。Dataphin通过各个...
表信息确认无误后，将ods_user_info_d表和ods_raw_log_d表分别单击 提交到开发环境 和 提交到生产环境，此操作将根据您的节点配置在开发环境与生产环境对应计算引擎项目中分别创建目标引擎物理表。说明 表结构定义完成后，您需将其提交至...
表信息确认无误后，将ods_user_info_d表和ods_raw_log_d表分别单击 提交到开发环境 和 提交到生产环境，此操作将根据您的节点配置在开发环境与生产环境对应计算引擎项目中分别创建目标引擎物理表。说明 表结构定义完成后，您需将其提交至...
表结构检查 先校验生产表是否存在，若不存在，则状态为 告警，错误详情中将展示为：表名 表在生产环境不存在；再校验开发与生产表结构一致性，若检查不通过，则状态为 告警，错误详情中将展示为：表名 表结构开发与生产环境不一致。说明 ...
由于开发和生产项目Owner都是同一个账号，请谨防通过发布任务到生产项目时，将生产项目表读写到开发项目再通过开发项目获取生产数据。业务场景二：创建仅实现查询、下载业务数据的项目 场景需求 业务单一，成员角色基本一致，后续业务不会...
负责人：当前表的负责人，支持转交当前表的负责人给其他用户，在 转交负责人 对话框中，您可以选择是否同步转交开发/生产环境表，选择 接收人 后，单击 确定 即可立即转出，建议在转交后及时同步接收人。您可以在转交记录页面查看转交信息...
负责人：当前表的负责人，支持转交当前表的负责人给其他用户，在 转交负责人 对话框中，您可以选择是否同步转交开发/生产环境表，选择 接收人 后，单击 确定 即可立即转出，建议在转交后及时同步接收人。您可以在转交记录页面查看转交信息...
负责人：当前表的负责人，支持转交当前表的负责人给其他用户，在 转交负责人 对话框中，您可以选择是否同步转交开发/生产环境表，选择 接收人 后，单击 确定 即可立即转出，建议在转交后及时同步接收人。您可以在转交记录页面查看转交信息...
负责人：当前表的负责人，支持转交当前表的负责人给其他用户，在 转交负责人 对话框中，您可以选择是否同步转交开发/生产环境表，选择 接收人 后，单击 确定 即可立即转出，建议在转交后及时同步接收人。您可以在转交记录页面查看转交信息...
表结构检查 先校验生产表是否存在，若不存在，则状态为 告警，错误详情中将展示为：表名 表在生产环境不存在；再校验开发与生产表结构一致性，若检查不通过，则状态为 告警，错误详情中将展示为：表名 表结构开发与生产环境不一致。说明 ...
Dataphin默认为您选中 生产环境建表，如果生产环境已经有同名且结构相同的数据表，则您无需勾选 生产环境建表。如果开发环境或生产环境存在同名的表，单击 新建 后，Dataphin会报已存在该表的错误。解析方案 非必填项，选择数据输出前后的...
Dataphin默认为您选中 生产环境建表，如果生产环境已经有同名且结构相同的数据表，则您无需勾选 生产环境建表。如果开发环境或生产环境存在同名的表，单击 新建 后，Dataphin会报已存在该表的错误。解析方案 解析方案用于自定义数据写入至...
Dataphin默认为您选中 生产环境建表，如果生产环境已经有同名且结构相同的数据表，则您无需勾选 生产环境建表。如果开发环境或生产环境存在同名的表，单击 新建 后，Dataphin会报已存在该表的错误。加载策略 向目标数据源（MaxCompute数据...
Dataphin默认为您选中生产环境建表，如果生产环境已经有同名且结构相同的数据表，则您无需勾选生产环境建表。说明 如果开发环境或生产环境存在同名的表，单击新建后，Dataphin会报已存在该表的错误。加载策略 选择数据写入目标表的策略。...
提交到生产环境 提交表至DataWorks的生产环境，即在生产环境对应的Hologres数据库创建当前表。后续步骤 Hologres外部表创建完成后，您可通过Hologres外部表周期性导入MaxCompute数据至Hologres内部表：使用命令方式导入，详情请参见 使用...
Dataphin默认为您选中生产环境建表，如果生产环境已经有同名且结构相同的数据表，则您无需勾选生产环境建表。说明 如果开发环境或生产环境存在同名的表，单击新建后，Dataphin会报已存在该表的错误。加载策略 选择数据写入目标表的策略。...
负责人：当前表的负责人，支持转交当前表的负责人给其他用户，在 转交负责人 对话框中，您可以选择是否同步转交开发/生产环境表，选择 接收人 后，单击 确定 即可立即转出，建议在转交后及时同步接收人。您可以在转交记录页面查看转交信息...