但是大批量任务同时运行时会导致运行资源占用率高，影响共享运行资源任务（如SQL任务）的调度，从而影响业务数据产出及时性。因此支持引用了同一个离线计算模板的多个Shell和Python任务可以共享运行资源，以提升资源利用率。出于权限控制和...
若未 设置自定义区间，则系统会根据数据分布进行自动的分布检测，但是由于数据的变化，区间分布不稳定，历史分布会有较大的变更，导致对比历史不清晰。建议根据数据分布 设置自定义区间，提升历史分布对比的可用性。说明 仅支持指标映射、...
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
Dataphin遵循Ralph Kimball的维度建模理论，创建维度，即从顶层规范业务中实体（或称主数据）的存在性及唯一性。维度及维度组合，也是派生指标的统计粒度。例如，在分析交易过程时，可以通过买家、卖家、商品和时间等维度描述交易发生的...
Dataphin遵循Ralph Kimball的维度建模理论，创建维度，即从顶层规范业务中实体（或称主数据）的存在性及唯一性。维度及维度组合，也是派生指标的统计粒度。例如，在分析交易过程时，可以通过买家、卖家、商品和时间等维度描述交易发生的...
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...
Dataphin标签平台提供了标签的离线服务，可将标签的数据周期性的导出到目标数据源；画像服务可提供通过实体ID查询个体画像的服务；标签平台也提供了实时查询实体ID对应的标签值的能力，也可通过API分页查询群组ID及对应的标签值。权限说明 ...
对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补数据任务进行补数据，减少重复配置的繁琐性。更多信息，请参见 查看并管理手动运行补数据任务。补数据任务页面入口 请参见 运维中心入口，...
对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补数据任务进行补数据，减少重复配置的繁琐性。更多信息，请参见 查看并管理手动运行补数据任务。补数据任务页面入口 请参见 运维中心入口，...
您可根据业务场景为维度逻辑表配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置逻辑表运行设置。操作步骤 请参见 数据开发入口，...
您可根据租户类型和业务场景为不同的租户配置运行实例的超时时间和运行任务失败时的重跑策略，杜绝因运行实例长时间资源占用造成资源浪费的同时提高运行实例的可靠性。本文将为您介绍如何进行运行配置。生效范围 运行配置所设置的策略仅...
您可根据业务场景为维度逻辑表配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置逻辑表运行设置。操作步骤 在Dataphin首页，单击...
您可根据租户类型和业务场景为不同的租户配置运行实例的超时时间和运行任务失败时的重跑策略，杜绝因运行实例长时间资源占用造成资源浪费的同时提高运行实例的可靠性。本文将为您介绍如何进行运行配置。生效范围 运行配置所设置的策略仅...
您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置离线计算任务的运行配置。操作步骤 请参见 离线...
您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置离线计算任务的运行配置。操作步骤 请参见 离线...
说明 系统仅支持周期性节点的同步任务进行调度配置。编写代码的方式构建代码任务，以实现数据同步的流程：可选：上传应用函数资源，详情请参见 上传资源及引用。可选：新建脚本中使用到函数，详情请参见 新建用户自定义函数。新建同步目标...
如果您选择的 调度类型 为 周期性节点，则需要配置调度参数，详情请参见 通过单条管道创建集成任务。如果您选择的 调度类型 为 手动节点，则无需配置调度参数。保存、提交和发布管道脚本。单击页面右上方的 图标，保存管道脚本。单击页面右...
名词解释 待生成实例：将在未来时间段生成实例并提交执行补数据，周期性定时执行的补数据任务将在定时运行时间的 前一天23点 生成待生成实例。更多信息，请参见 查看并管理待提交实例。已生成实例：立即执行的补数据任务和待生成实例所生成...
名词解释 待生成实例：将在未来时间段生成实例并提交执行补数据，周期性定时执行的补数据任务将在定时运行时间的 前一天23点 生成待生成实例。更多信息，请参见 查看并管理待生成实例。已生成实例：立即执行的补数据任务和待生成实例所生成...
背景信息 自定义任务参数用于指定计算引擎的某些参数，避免由于企业的计算引擎特异性导致的引擎适配问题，同时提高了逻辑表任务的效率。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 自定义任务参数 页签...
背景信息 自定义任务参数用于指定计算引擎的某些参数，避免由于企业的计算引擎特异性导致的引擎适配问题，同时提高了逻辑表任务的效率。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 自定义任务参数 页签...
如果您选择的 调度类型 为 周期性节点，则需要配置调度参数，详情请参见 步骤三 配置调度参数。如果您选择的 调度类型 为 手动节点，则无需配置调度参数。保存、提交和发布管道脚本。单击页面右上方的 图标，保存管道脚本。单击页面右上方...
说明 系统仅支持周期性节点的同步任务进行调度配置。编写代码的方式构建代码任务，以实现数据同步的流程：可选：上传应用函数资源，详情请参见 上传资源及引用。可选：新建脚本中使用到函数，详情请参见 新建用户自定义函数。新建同步目标...
调度类型 包括：周期任务：自动参与系统的周期性调度。手动任务：需要手动触发任务的运行。描述 填写对任务的简单描述。选择目录 选择离线计算任务的目录。单击 确定。在 代码编写 页面，按照下图操作指引，刷新、保存和运行代码。编写并...
同时您可以定义维度主子关系，子维度的属性将合并至主维度使用，进一步保证维度的一致性和便捷使用性。维度表设计原则 尽可能生成丰富的维度属性。例如，电商公司的商品维度可能有近百个维度属性，为下游的数据统计、分析、探查提供了良好...
对于逻辑表任务，您需定义任务的调度相关属性，包括调度属性、...运行配置 您可根据业务场景为维度逻辑表配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。
调度类型 包括：周期任务：自动参与系统的周期性调度。手动任务：需要手动触发任务的运行。描述 填写对任务的简单描述。选择目录 选择离线计算任务的目录。单击 确定。在 代码编写 页面，按照下图操作指引，刷新、保存和运行代码。
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
运行配置 您可根据业务场景为维度逻辑表配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。后续步骤 完成逻辑任务度调度配置后，您可提交并发布至生产环境。...
完成集成任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 系统...
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
如您选择生产数据，建议您代码写明该生产数据的项目或数据板块前缀，以免无主键事实表提交时校验规范性会不通过。统计粒度 统计粒度的时效与汇总逻辑表的时效保持一致，不支持修改。您需要为统计粒度的主键字段选择来源表的字段进行映射。...
调度类型 包括：周期性节点 需要配置调度参数。手动节点 不需要配置调度参数。描述 填写对同步任务简单的描述。选择目录 选择您已创建的文件夹。单击 确定，完成同步任务的创建，同时系统将同步任务的状态标记为 草稿。您可以对 草稿 状态...
CDM层又细分为维度层（DIM）、明细数据层（DWD）和汇总数据层（DWS），采用维度模型方法作为理论基础，可以定义维度模型主键与事实模型中外键关系，减少数据冗余，也提高明细数据表的易用性。在汇总数据层同样可以关联复用统计粒度中的维度...
重要 为保证AccessKey ID和AccessKey Secret的安全性，请勿借给他人使用，一旦有泄漏的风险，请及时禁用或更新AccessKey。AccessKey只在创建时显示AccessKey ID和AccessKey Secret，不提供查询功能，请妥善保管。禁用AccessKey后，使用该...
如您选择生产数据，建议您代码写明该生产数据的项目或数据板块前缀，以免无主键事实表提交时校验规范性会不通过。统计粒度 统计粒度的时效与汇总逻辑表的时效保持一致，不支持修改。您需要为统计粒度的主键字段选择来源表的字段进行映射。...
单击 预览，可在预览页面查看词条或检查链接的有效性，确认无误后，单击确定。管理首页底部词条 词条添加完成后，您可对词条执行编辑、置顶、删除操作。编辑：支持修改词条的信息。置顶：支持将该词条快捷置于第一条，也可拖拽词条自由排序...