提交文件至调度系统的开发环境，生成对应的任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 ...
说明 系统自动解析的血缘关系和在计算任务中手动配置的血缘关系，在任务提交时，解析开发环境的表和字段血缘关系；发布时，解析生产环境的表和字段血缘关系。单个任务提交或发布时支持解析不超过10万条血缘关系，超过则不予记录，在资产...
开启后，在开发环境即席查询或SQL计算任务中执行 drop table 语句后，系统将自动生成删除表的待发布项。关闭此开关后，在开发环境执行 drop table table_name 语句，则不生成删除表的待发布项。表管理中删除表生成待发布项：默认开启。开启...
代码来源 采集口径 触发采集方式 数据开发 数据开发-创建节点并编辑代码 自动采集 数据开发（旧版）数据开发（旧版）-创建节点并编辑代码 数据分析 数据分析-新建SQL查询并编辑代码 数据服务 数据服务-新建API数据推送服务 API资产 数据...
编辑目标表结构（可选）系统会根据自定义的表名映射规则，自动创建尚不存在的目标表，或复用已存在的同名表。DataWorks将基于源端表结构自动生成目标表结构，常规场景下无需人工干预。您也可以通过以下方式，修改表的表结构：单表新增字段...
经过数据开发形成事实宽表后，再以商品、地域等为维度进行公共汇总。整体的数据流向如下图所示。其中，ODS层到DIM层的ETL（萃取（Extract）、转置（Transform）及加载（Load））处理是在MaxCompute中进行的，处理完成后会同步到所有存储...
开启后，在开发环境即席查询或SQL计算任务中执行 drop table 语句后，系统将自动生成删除表的待发布项。关闭此开关后，在开发环境执行 drop table table_name 语句，则不生成删除表的待发布项。表管理中删除表生成待发布项：默认开启。开启...
本文以将Kafka单表离线同步至MaxCompute为例，为您介绍Kafka的分钟、小时、天增量数据定时调度写入MaxCompute小时、天分区表的配置详情。注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且记录带有正确...
说明 系统自动解析的血缘关系和在计算任务中手动配置的血缘关系，在任务提交时，解析开发环境的表和字段血缘关系；发布时，解析生产环境的表和字段血缘关系。单个任务提交或发布时支持解析不超过10万条血缘关系，超过则不予记录，在资产...
完成实时任务的开发并发布后，您可以在运维中心启动实时实例。本文将为您介绍如何启动实时实例。启动实时实例入口 入口一：实时任务入口启动实时实例 在Dataphin首页的顶部菜单栏中，选择 研发 任务运维。在左侧导航栏中选择 任务运维 实时...
说明 系统自动解析的血缘关系和在计算任务中手动配置的血缘关系，在任务提交时，解析开发环境的表和字段血缘关系；发布时，解析生产环境的表和字段血缘关系。单个任务提交或发布时支持解析不超过10万条血缘关系，超过则不予记录，在资产...
说明 系统自动解析的血缘关系和在计算任务中手动配置的血缘关系，在任务提交时，解析开发环境的表和字段血缘关系；发布时，解析生产环境的表和字段血缘关系。单个任务提交或发布时支持解析不超过10万条血缘关系，超过则不予记录，在资产...
说明 系统自动解析的血缘关系和在计算任务中手动配置的血缘关系，在任务提交时，解析开发环境的表和字段血缘关系；发布时，解析生产环境的表和字段血缘关系。单个任务提交或发布时支持解析不超过10万条血缘关系，超过则不予记录，在资产...
注意事项 建表策略管理：在DataWorks智能数据建模开启建表策略的工作空间（包含建模空间及其纳管的所有研发空间）下，使用数据开发（DataStudio）新建表或修改表时，如不符合所配置的建表策略，则创建的表执行提交、发布操作时会受阻。...
说明 创建逻辑表时系统可能自动生成多张物化表，系统将根据生成的第一张物化表获取是否湖表、湖表格式、表存储模式信息。字段信息：包括字段名称（主键用钥匙图标进行标识）、描述、数据类型、关联标准（需购买数据标准模块）、样例数据...
逻辑表的相关对象，指关联维度引用了当前表的其他逻辑表、当前表引用读取的表及引用了当前表的计算/集成任务（当前表是此任务的输入表）/逻辑表。本文为您介绍如何查看及管理逻辑表的相关对象。逻辑表相关对象入口 在Dataphin首页，单击...
逻辑表的相关对象，指关联维度引用了当前表的其他逻辑表、当前表引用读取的表及引用了当前表的计算/集成任务（当前表是此任务的输入表）/逻辑表。本文为您介绍如何查看及管理逻辑表的相关对象。逻辑表相关对象入口 在Dataphin首页，单击...
表详情：为您展示该表的属性信息，包括数据板块、主题域、项目、最高涉密等级（需购买数据安全功能）、是否分区表、是否分析平台手工表、是否湖表、湖表格式、表存储模式、存储类型、存储格式、存储量。项目：当前表归属的项目信息，单击...
本文为您介绍如何基于本教程完成 产品维度逻辑表 和 客户维度逻辑表 开发。背景信息 完成产品维度逻辑表开发并提交后，还需完成客户维度逻辑表的开发并提交。本教程的产品维度逻辑表开发与客户维度逻辑表开发操作步骤相同，本文以开发 产品...
本文为您介绍如何基于本教程完成 产品维度逻辑表 和 客户维度逻辑表 开发。背景信息 完成产品维度逻辑表开发并提交后，还需完成客户维度逻辑表的开发并提交。本教程的产品维度逻辑表开发与客户维度逻辑表开发操作步骤相同，本文以开发 产品...
本文为您介绍DataWorks数据开发（DataStudio）界面的整体布局，以及进行开发操作的主界面（业务流程和节点）中各组件、按钮的功能作用，方便您快速了解及使用数据开发模块。进入数据开发 登录 DataWorks控制台，切换至目标地域后，单击左侧...
完成实时任务的开发并发布后，您可以在运维中心启动实时实例。本文将为您介绍如何启动实时实例。启动实时实例入口 入口一：实时任务入口启动实时实例 在Dataphin首页的顶部菜单栏中，选择 研发 任务运维。在左侧导航栏中选择 任务运维 实时...
说明 系统自动解析的血缘关系和在计算任务中手动配置的血缘关系，在任务提交时，解析开发环境的表和字段血缘关系；发布时，解析生产环境的表和字段血缘关系。单个任务提交或发布时支持解析不超过10万条血缘关系，超过则不予记录，在资产...
表结构定义完成后，分别单击 提交到开发环境 和 提交到生产环境，系统将根据您的配置在开发环境与生产环境对应计算引擎项目中分别创建目标引擎物理表。提交表至DataWorks的开发环境，即在开发环境的MaxCompute引擎中创建当前表。提交表至...
配置完逻辑库后，系统会自动解析逻辑库中符合条件的物理表，生成逻辑表，您也可以手动更新逻辑表。本文介绍生成逻辑表的规则和手动更新逻辑表的方法。前提条件 已配置逻辑库。更多信息，请参见 逻辑库。逻辑库中有多张表结构相同且表名前缀...
说明 系统自动解析的血缘关系和在计算任务中手动配置的血缘关系，在任务提交时，解析开发环境的表和字段血缘关系；发布时，解析生产环境的表和字段血缘关系。单个任务提交或发布时支持解析不超过10万条血缘关系，超过则不予记录，在资产...
关联实体：当表类型为维度逻辑表、事实逻辑表时展示在 研发 开发 页面下该逻辑表编辑页面关联维度所配置的关联实体，单击关联实体后的 查看 图标，查看每个关联实体信息，包括角色名称（如买家、卖家角色的名称）、实体名称（编码）、描述...
表一致性修复功能用于对比不同表之间的表结构，找出差异并在目标表执行差异脚本，以保障不同表之间的表结构一致性。应用场景 多套不同环境之间进行表结构对比，以保障不同环境之间的表结构一致性。例如，确保测试环境与生产环境的表结构...
本文介绍通过XIHE SQL（包含MPP和BSP模式）和Spark SQL方式进行内表作业开发的流程。作业开发流程概述 AnalyticDB for MySQL 数仓分层包含以下三层。ODS：数据运营层，对源数据进行ETL处理。在实际业务中，ODS层会从数据源抽取数据。为了...
DataWorks提供的实时数据同步功能支持您通过单表或整库方式，将源数据库的数据实时同步到目标数据库。您可以创建实时同步任务，灵活搭配多种输入和输出数据源，实现单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据...
表详情：为您展示该表的属性信息，包括数据板块、主题域、项目、最高涉密等级（需购买数据安全功能）、是否分区表、是否分析平台手工表、是否湖表、湖表格式、表存储模式、存储类型、存储格式、存储量、生命周期、Location。项目：当前表...
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、物化视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持...
前提条件 已完成以下操作：创建项目和产品 开发虚拟设备 使用云数据库创建数据表 说明 开发设备有不同的方法，用户可根据实际场景需要，选择相应的设备开发方法。本案例以开发虚拟设备为例。操作步骤 在开发工具模块，单击 业务逻辑。在 ...
本文为您介绍如何基于本教程完成 下单购买事实逻辑表（fct_order_buy_di）开发。步骤一：新建事实逻辑表 在Dataphin首页，单击顶部菜单栏的 开发。按照下图操作指引，进入 新建事实逻辑表 对话框。在 新建事实逻辑表 页面，配置相关参数。...
本文为您介绍如何基于本教程完成 下单购买事实逻辑表（fct_order_buy_di）开发。步骤一：新建事实逻辑表 在Dataphin首页，单击顶部菜单栏的 开发。按照下图操作指引，进入 新建事实逻辑表 对话框。在 新建事实逻辑表 页面，配置相关参数。...
集群管理系统的概览页面提供了 云原生多模数据库 Lindorm 实例宽表引擎中所有表的详细信息，包括表的大小、分片情况、数据预览、表结构、限流信息等。本文介绍如何通过集群管理系统管理宽表。前提条件 已登录目标实例的集群管理系统，具体...
自动建表 一次配置即可处理源端数据库中的数百张表，系统将自动在目标端创建表结构，无需手动干预。灵活映射 支持自定义目标库/表命名规则；支持自定义源端和目标端的字段类型映射，灵活适应目标端的数据结构模型。DDL变更感知（部分链路...
集群管理系统的概览页面提供了 云原生多模数据库 Lindorm 实例宽表引擎中所有表的详细信息，包括表的大小、分片情况、数据预览、表结构、限流信息等。本文介绍如何通过集群管理系统管理宽表。前提条件 已登录目标集群的集群管理系统，具体...
经过数据开发形成事实宽表后，再以商品、地域等为维度进行公共汇总。整体的数据流向如下图所示。其中，ODS层到DIM层的ETL（萃取（Extract）、转置（Transform）及加载（Load））处理是在MaxCompute中进行的，处理完成后会同步到所有存储...
表结构定义完成后，分别单击 提交到开发环境 和 提交到生产环境，系统将根据您的配置在开发环境与生产环境对应计算引擎项目中分别创建目标引擎物理表。提交表至DataWorks的开发环境，即在开发环境的MaxCompute引擎中创建当前表。提交表至...