节点关系

_相关内容

加工数据

节点名命名与产出表名保持一致。进入数据开发 登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。步骤一:新建MaxCompute表 提前新建dwd_log_info_di、dws_user_info_all_...

加工数据

节点名命名与产出表名保持一致。进入数据开发 登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。步骤一:新建MaxCompute表 提前新建dwd_log_info_di、...

赋值节点

下游节点(down_compare):下游节点设置赋值节点依赖关系后,将待引用的赋值参数添加为 节点上下文>本节点输入参数,参数名可自定义。具体过程请参照下文。ODPS SQL赋值语言 以下以配置赋值语言为ODPS_SQL的赋值节点,并在down_compare...

采集数据

本教程中,由于虚拟节点和同步节点无血缘关系,所以此处通过业务流程 拉线 设置虚拟节点 workshop_start 与OSS数据同步节点 ods_raw_log_d、MySQL数据同步节点 ods_user_info_d 间的依赖关系,更多依赖关系设置方式,详情请参见 调度依赖...

数据开发概述

DataWorks根据节点间的依赖关系依次运行各个节点。任务调度相关 概念 描述 依赖关系 任务间通过依赖关系定义任务的运行顺序。如果节点A运行后,节点B才能运行,我们称A是B的上游依赖,或者B依赖A。在DAG中,依赖关系节点间的箭头表示。...

同步数据

本教程中,由于虚拟节点和同步节点无血缘关系,所以此处通过业务流程 拉线 设置虚拟节点 workshop_start 与OSS数据同步节点 ods_raw_log_d、MySQL数据同步节点 ods_user_info_d 间的依赖关系,更多依赖关系设置方式,详情请参见 调度依赖...

运维中心概述

依赖的所有父节点实例状态都为成功状态 配置节点依赖关系可以保障节点在运行时能取到正确的数据(读取上游表数据时,上游表的最新数据已产生),避免当前节点读取数据时,上游表数据还未产出,导致当前节点读取数据出现问题,所以,当节点...

运维中心入门

高级模式 用于灵活选择一批节点进行批量补数据操作,节点之间可以不存在依赖关系。您可在DAG图上使用可视化方式添加节点,也可在任务列表中添加节点。在当前周期任务的DAG图中,结合DAG的聚合功能,按照工作空间、所属责任人或优先级等维度...

调度配置

调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置,详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...

计算节点配置说明

配置完字段血缘关系并运行上线生产节点后,可至资产中心查看该节点输出表和输入表的字段映射关系,具体操作,请参见 查看表资产详情 的血缘关联介绍。调度配置 如果在场景上线后,需要定时调度该场景中离线计算节点,则需要在开发环境场景...

计算节点配置说明

配置完字段血缘关系并运行上线生产节点后,可至资产中心查看该节点输出表和输入表的字段映射关系,具体操作,请参见 查看表资产详情 的血缘关联介绍。调度配置 如果在场景上线后,需要定时调度该场景中离线计算节点,则需要在开发环境场景...

新建开发环境场景并运行

说明 针对不能自动解析输入和输出的节点类型,当需要了解资产中字段血缘关系时或者自动解析的节点类型中解析存在差异,需要修改字段映射关系时,在配置好输入和输出参数后,单击 手动配置血缘,手动配置输入和输出表的字段映射关系。...

新建开发环境场景并运行

说明 针对不能自动解析输入和输出的节点类型,当需要了解资产中字段血缘关系时或者自动解析的节点类型中解析存在差异,需要修改字段映射关系时,在配置好输入和输出参数后,单击 手动配置血缘,手动配置输入和输出表的字段映射关系。...

查询基础型全球加速实例的加速IP或终端节点的绑定信息

调用GetBasicAccelerateIpEndpointRelation接口查询基础型全球加速实例的加速IP或终端节点的绑定信息。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试...

添加和管理加速区域

更多操作 操作 说明 解除加速IP与终端节点的绑定关系 解除加速IP与终端节点的绑定关系,加速IP的状态将变更为 闲置 状态。当闲置加速IP数量达到配额上限时(默认为10个),不支持执行解除绑定操作。在 加速区域 页签,找到目标加速IP,在 ...

配置同周期调度依赖

配置依赖的上游节点时请注意:所有节点都需要配置依赖的上游节点:建议根据表血缘关系配置,若无表血缘关系,可基于业务需求选择依赖工作空间根节点或虚拟节点,详情请参见 调度依赖配置指引。请确保依赖的上游节点已提交:提交任务时,若...

基本概念

节点之间的依赖关系由边来定义,起始节点为终止节点的上游,终止节点为起始节点的下游,只有当上游节点都运行成功后,下游节点才会运行。边的类型如下:实体边:即有向边,可体现节点之间(节点与任务流)的依赖关系。同任务流边:节点的...

功能简介

开发节点 支持节点任务类目的新建、编辑和删除以及支持离线节点、在线和流式节点注册,对节点脚本、自定义函数、节点输入、节点输出、节点参数进行配置和管理以及支持配置节点的依赖关系以及支持节点任务的运行和上线。支持节点任务类目的...

功能简介

开发节点 支持节点任务类目的新建、编辑和删除以及支持离线节点、在线和流式节点注册,对节点脚本、自定义函数、节点输入、节点输出、节点参数进行配置和管理以及支持配置节点的依赖关系以及支持节点任务的运行和上线。支持节点任务类目的...

数据开发

开发环境节点 支持节点任务类目的新建、编辑和删除以及支持离线、在线和流式节点注册,对节点脚本、自定义函数、节点输入、节点输出、节点变量进行配置和管理以及支持配置节点的依赖关系以及支持节点任务的部署、运行和上线。支持节点任务...

API概览

DetachLogStoreFromEndpointGroup 解除SLS日志库和终端节点组的关联关系 调用DetachLogStoreFromEndpointGroup接口解除SLS日志库和终端节点组的关联关系。CreateEndpointGroups 创建终端节点组列表 调用CreateEndpointGroups接口批量创建...

添加和管理终端节点组与终端节点

解除终端节点与加速IP的绑定关系 解除加速IP与终端节点的绑定关系,加速IP的状态将变更为 闲置 状态。当闲置加速IP数量达到配额上限时(默认为10个),不支持执行解除绑定操作。在 终端节点组 页签,找到目标终端节点,在 操作 列单击 解除...

数据库初始化

MySQL节点与MySQL初始化节点的字段填写映射关系,如下表所示。节点 MySQL节点 MySQL初始化节点 字段填写关系 服务名称 数据库服务名称 数据库名称 数据库名称 用户名 数据库用户名 用户密码 数据库密码 初始化节点 初始化节点的属性配置。...

任务调度属性配置概述

通过依赖关系有序调度运行上下游节点,即当上游节点运行成功后,下游节点才会启动运行,保障适时的产出有效业务数据。您可使用自动解析快速设置节点依赖,也可手动设置节点的依赖关系。当节点为业务流程的根节点,或该节点无其他节点依赖时...

跨项目克隆实践

如果节点的上下游一起克隆,则发布后克隆节点的依赖关系和原节点一致。详情请参见 发布中心概述。操作步骤 进入 DataStudio(数据开发)页面,打开相应的业务流程。单击右上角的 跨项目克隆,跳转至相应的克隆页面,过滤出相应的节点,并将...

附录:DAG图功能介绍

运维中心DAG图支持您查看节点的上下游依赖关系,此外,还支持节点聚合、上下游分析功能,帮助您提高运维效率。本文为您介绍DAG图的相关功能。使用限制 仅DataWorks专业版及以上版本用户才可以使用DAG图的节点聚合、上游分析、下游分析功能...

代码解析结果对比

如何确认是否使用新的解析结果 节点提交时,若发现节点当前调度依赖解析与生产环境节点调度依赖关系配置存在差异,请确认该节点当前的调度依赖是否符合业务需要,避免由于依赖关系变更导致产出数据出现问题。说明 若当前节点存在众多下游...

导出开源引擎任务

Depend节点 虚拟节点 Depend节点的依赖关系会转换为虚拟节点调度配置中的本节点输入。本节点输入的拼接规则如下:{current_dataworks_project_name}.{dolphin_project_name}.{dolphin_process_name}.{dolphin_task_name} SQL Task 目前支持...

分支节点

关联到节点输出 关联到节点输出的说明如下:节点输出供分支节点下游节点挂载依赖关系使用。满足分支条件时,对应的关联的节点输出上挂载的下游节点被选中运行(同时需要参考该节点依赖的其它上游节点的状态)。不满足分支条件时,对应的...

设置调度依赖最佳实践

配置调度依赖时,需要根据本节点输出名称作为关联项来给任务间设置依赖关系。本文将为您介绍如何配置任务调度依赖的输入输出。配置任务的本节点输入 您可以通过以下两种方式配置本节点输入:使用代码自动解析功能,解析出任务的依赖。手动...

删除基础型全球加速实例的终端节点

接口说明 删除终端节点组前,请注意:存在终端节点与加速 IP 绑定关系时,不支持删除终端节点组。您可以调用 DeleteBasicAccelerateIpEndpointRelation 解除加速 IP 与终端节点的绑定关系。当所有终端节点不再存在与加速 IP 的绑定关系时,...

业务逻辑编辑器

画布 编辑器中间是画布区域,用于添加和编辑服务节点的逻辑关系。重要 一个节点可以有多个输出节点,只可以有一个输入节点。在画布空白处,单击鼠标右键,支持粘贴、复原画布大小、和显示全局日志等操作。选中画布中节点,单击鼠标右键,...

下线任务

查看节点的依赖关系,详情请参见 查看周期任务DAG图。通过生产环境运维中心的 周期任务 界面下线的任务,在开发环境将默认回到编辑状态,不会进入回收站,您可在数据开发(DataStudio)界面搜索节点名称查找该节点。任务下线流程 周期调度...

do-while节点最佳实践

上下游依赖关系:您可以在业务流程中新建一个赋值节点,并通过连线,配置赋值节点为do-while节点的上游节点。详细操作步骤请参见 赋值节点。do-while节点获取结果集 单击do-while节点编辑页面右侧的 调度配置,在do-while节点节点上下文...

数据开发功能索引

使用节点组:用于跨业务流程引用一批节点,您可以将业务流程内复用率较高的节点组合为一个节点组,以便在其他业务流程中快速复用该节点组(即快速克隆这批节点)。快速创建节点:您可以将数据集成、MaxCompute、E-MapReduce等目录下的节点...

同步节点

通用参数 依赖配置 当同步节点存在依赖关系时,打开依赖配置的 开关,单击右侧的 添加依赖节点,设置依赖节点的信息。所属工作组:该依赖节点的所属工作区。节点名称:该依赖节点的名称。操作:当不需要该依赖节点的时候支持删除。表结构...

同步节点

通用参数 依赖配置 当同步节点存在依赖关系时,打开依赖配置的 开关,单击右侧的 添加依赖节点,设置依赖节点的信息。所属工作组:该依赖节点的所属工作区。节点名称:该依赖节点的名称。操作:当不需要该依赖节点的时候支持删除。表结构...

查看应用拓扑图

链路拓扑图中,每个图标元素代表一个节点,即链路中实际调用的对象,每个箭头代表一个调用关系。支持跨应用调用,即拓扑图可展示不同应用的服务间调用关系。单击节点连线箭头即可查看节点调用信息。各节点间的连线颜色反应了应用间的调用...

新建同步节点并运行后上线

参数 说明 依赖配置 当同步节点存在依赖关系时,打开依赖配置的 开关,单击右侧的 添加依赖节点,设置依赖节点的信息。所属工作组:该依赖节点的所属工作区。节点名称:该依赖节点的名称。操作:当不需要该依赖节点的时候支持删除。表结构...

新建同步节点并运行后上线

参数 说明 依赖配置 当同步节点存在依赖关系时,打开依赖配置的 开关,单击右侧的 添加依赖节点,设置依赖节点的信息。所属工作组:该依赖节点的所属工作区。节点名称:该依赖节点的名称。操作:当不需要该依赖节点的时候支持删除。表结构...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用