当数据的业务含义存在较大差异时，您可以创建不同的数据板块，独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目，所以...
Dataphin系统内置了审批流程模板，用于流程审批，如权限申请、代码审核、标准审核等。您可以查看系统内置的流程，也可以修改流程的审批节点及审批人，本文为您介绍内置审批模板以及如何修改内置审批模板的配置。权限说明 超级管理员、系统...
Dataphin系统内置了审批流程模板，用于流程审批，如权限申请、代码审核、标准审核等。您可以查看系统内置的流程，也可以修改流程的审批节点及审批人，本文为您介绍内置审批模板以及如何修改内置审批模板的配置。权限说明 超级管理员、系统...
为了规避在 任务参数 处经常漏掉配置 stat_date，您只需要在实时任务配置的属性配置中新增 stat_date 的 kv 配置，其中 Value 是一个基于业务时间的表达式，同时您也可以配置多个时间参数，使用半角分号;分割。例如：stat_date=${yyyyMMdd-...
为了规避在 任务参数 处经常漏掉配置 stat_date，您只需要在实时任务配置的属性配置中新增 stat_date 的 kv 配置，其中 Value 是一个基于业务时间的表达式，同时您也可以配置多个时间参数，使用半角分号;分割。例如：stat_date=${yyyyMMdd-...
本文为实时研发基本流程的创建实时计算表步骤，在准备工作中，订单系统MySQL中的oms_order包含了订单的信息，实时任务就需要从这张表中实时的抽取增量数据来计算GMV。现在我们需要创建一个订单表对应的实时元表，可以从订单表中读取增量...
本文为实时研发基本流程的创建实时计算表步骤，在准备工作中，订单系统MySQL中的oms_order包含了订单的信息，实时任务就需要从这张表中实时的抽取增量数据来计算GMV。现在我们需要创建一个订单表对应的实时元表，可以从订单表中读取增量...
通过API管理，可以快速对所属服务项目的API进行限流和告警设置。本文为您介绍如何对API进行限流和告警配置。使用限制 超级管理员、...应用调用API运行过程中，如果触发了监控告警规则，系统会给您发送告警消息，便于您及时发现并处理异常。
1.组件介绍 说明 必要前置组件：打开新网页 或 获取已打开的网页 利用本组件可以在一个Chrome、Edge、IE浏览器对象中从原有的页面跳转到一个新网址。2.输入项 说明 请参照可视化编辑器内组件面板中各输入项的帮助信息 3.输出项 说明 请参照...
Serverless 工作流 功能集 功能 功能描述 参考文档 基础功能建设 流程（Flow）云工作流使用YAML格式的流程定义语言来描述和定义流程。执行流程时，云工作流服务会根据流程定义解析并驱动执行相关状态流转。一个流程通常包含若干状态（State...
全部展开 视角下，为您展示每个对象（如字段）与数据标准的一一映射关系，如果一个对象映射到了多个数据标准，将生成多条映射关系。映射关系入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图指引，进入有效 映射 的映射关系页面。...
全部展开 视角下，为您展示每个对象（如字段）与数据标准的一一映射关系，如果一个对象映射到了多个数据标准，将生成多条映射关系。映射关系入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图指引，进入有效 映射 的映射关系页面。...
业务活动是一个或者多个业务对象在某个时间（段）为了达成某种目的所进行的活动或者是某种活动的结果。在开始创建维度逻辑表前，您需要完成业务实体的创建。在本文为您介绍如何创建并管理业务实体。前提条件 在开始执行操作前，请确认您已...
业务活动是一个或者多个业务对象在某个时间（段）为了达成某种目的所进行的活动或者是某种活动的结果。在开始创建维度逻辑表前，您需要完成业务实体的创建。在本文为您介绍如何创建并管理业务实体。前提条件 在开始执行操作前，请确认您已...
业务活动 业务过程即企业的业务活动事件，通常为不可拆分的事件，是一个或者多个业务对象在某个时间或时间段，为了达成某种目的所进行的活动或者是某种活动的结果。维度逻辑表 丰富维度的属性信息形成的逻辑表。通过维度逻辑表可以设计及...
在Dataphin中采用OneModel方法论将数据建模过程分为以下四层：主题域建模：在数据中台,主题对应一个宏观的分析领域，比如销售分析就是分析"销售"这个主题。联系较为紧密的主题的集合就是主题域。每一个行业都可以拆分为有多个（10个左右...
在Dataphin中采用OneModel方法论将数据建模过程分为以下四层：主题域建模：在数据中台,主题对应一个宏观的分析领域，比如销售分析就是分析"销售"这个主题。联系较为紧密的主题的集合就是主题域。每一个行业都可以拆分为有多个（10个左右...
配置调度属性 逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则，包括调度类型、调度周期、条件调度。调度依赖 调度依赖用于配置逻辑表任务上游依赖节点。Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，...
本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
现在要开始设计一个营销活动，在活动期间需要实时地统计每个产品类型的销售数量，用于快速地支持活动方案调整。以下为数据流向的示意图：订单系统MySQL的数据通过Ververica Flink任务进行实时计算，实时汇总各产品类型的销售数量并写入另...
现在要开始设计一个营销活动，在活动期间需要实时地统计每个产品类型的销售数量，用于快速地支持活动方案调整。以下为数据流向的示意图：订单系统MySQL的数据通过Ververica Flink任务进行实时计算，实时汇总各产品类型的销售数量并写入另...
一个Dataphin实例可以创建多个开发租户，由元仓租户在租户设置页面创建并分配可用资源（数据处理单元数、质量规则数等）。元仓共享模型数据说明 您可根据当前使用的Dataphin的元仓租户计算引擎类型查看对应的共享模型数据：元数据仓库共享...
调度属性 逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则，包括调度类型、调度周期、条件调度。调度依赖 调度依赖用于配置逻辑表任务上游依赖节点。Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障...
功能介绍 数据同步支持通过界面配置及编写代码的方式构建同步任务，以满足不同业务场景的数据同步：界面配置的方式构建同步任务的流程。新建管理同步任务文件夹，详情请参见 新建同步任务文件夹。新建同步任务的目标表，详情请参见 新建...
因为在实际的生产过程中，往往会有上千张表，上万个字段，这么多字段全部通过人工标注敏感程度并不现实。Dataphin提供了 基于规则自动识别敏感字段 的功能，可以基于字段的名称或者字段的内容，自动识别出敏感字段。同时，识别规则还支持...
因为在实际的生产过程中，往往会有上千张表，上万个字段，这么多字段全部通过人工标注敏感程度并不现实。Dataphin提供了 基于规则自动识别敏感字段 的功能，可以基于字段的名称或者字段的内容，自动识别出敏感字段。同时，识别规则还支持...
功能介绍 数据同步支持通过界面配置及编写代码的方式构建同步任务，以满足不同业务场景的数据同步：界面配置的方式构建同步任务的流程。新建管理同步任务文件夹，详情请参见 新建同步任务文件夹。新建同步任务的目标表，详情请参见 新建...
若从一个Dataphin外部审批流对接到另一个外部审批流，或变更审批流设置参数，则已在途的审批单按照新流程进行处理。若callbackURL已经变更（包括认证信息），可能造成回调失败，则不可以同步审批状态到Dataphin，需重新发起审批，原有的...
这个过程可以实现各类业务数据的同步与集成，助您完成基础数据中心建设，为后续进一步加工数据奠定基础。数据引入 规范定义 以维度建模作为理论基础，构建总线矩阵，划分并定义数据域、业务活动（业务过程）、业务对象（维度）、原子指标、...
任务资源分类 Dataphin任务按运行模式可为两大类：共享Docker资源任务：对于共享Docker资源任务，所有共享Docker资源的任务会运行在同一个容器中。如，SQL任务。非共享Docker资源任务：对于非共享Docker资源任务，每次任务启动时都会启动...
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则...
任务资源分类 Dataphin任务按运行模式可为两大类：共享Docker资源任务：对于共享Docker资源任务，所有共享Docker资源的任务会运行在同一个容器中。如，SQL任务。非共享Docker资源任务：对于非共享Docker资源任务，每次任务启动时都会启动...
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则...
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则...
Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置流批一体任务的离线模式依赖关系。背景信息 调度依赖就是节点间的上下游依赖关系，在Dataphin中，上游任务...
Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置流批一体任务的离线模式依赖关系。背景信息 调度依赖就是节点间的上下游依赖关系，在Dataphin中，上游任务...