DataWorks的运行历史面板展示您最近三天在数据开发界面的任务执行记录。使用限制 仅展示 当前账号 的运行记录。仅展示 最近三天 的运行记录。仅展示数据开发模块的运行记录。如需查看调度任务每日运行情况，请前往 运维中心 的 周期实例，...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在数据开发的项目目录模块单击，选择 新建节点 算法 PAI Flow，创建并进入 PAI Flow 流程编排页面，...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程，选择 新建节点 AnalyticDB for MySQL ADB for MySQL。在 新建节点 对话框中...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。创建 业务流程。如果您已有 业务流程，则可以忽略该步骤。鼠标悬停至 图标，选择 业务流程。在 新建...
DataWorks提供的 数据开发/数据地图展示脱敏、数据分析展示脱敏、MaxCompute引擎层脱敏、Hologres引擎层脱敏 等动态脱敏，及 数据集成静态脱敏 等静态脱敏均为一级脱敏场景，属于固定场景，不支持执行新增、编辑、删除等操作。同时，...
综合示例：用户画像分析 本教程通过一个实战案例——网站用户画像分析，全方位展示从数据集成、数据开发（数仓搭建）到数据治理的端到端流程。基于DataWorks平台，实现网站用户信息及用户行为日志数据的高效同步与精细化清洗，进而构建起...
DataWorks提供了全链路的数据开发治理能力，为您提供了统一的数据开发治理流程，同时也支持您在DataWorks的默认流程上基于自己的业务需求在关键的流程节点进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景...
说明 2025年02月18日后，主账号在华东2（上海）地域首次开通DataWorks并创建工作空间时，默认启用新版数据开发，将不会展示 使用新版数据开发（Data Studio）参数。如您已默认启用了新版数据开发，具体教程请参见 使用新版数据开发体验。更...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。新建EMR Kyuubi节点。右键单击目标业务流程，选择 新建节点 EMR EMR Kyuubi。说明 您也可以鼠标悬停...
本文为您介绍使用大数据开发治理平台DataWorks OpenAPI的基本信息、使用限制、计费及调用说明。基本信息 版本 OpenAPI门户 支持的API列表 支持的地域 2024-05-18（新版OpenAPI）OpenAPI门户 支持的API列表 华东1（杭州）、华东2（上海）、...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程，选择 新建节点 AnalyticDB for PostgreSQL ADB for PostgreSQL。在 新建节点...
DataWorks 文件是专为大数据平台设计的、支持多计算节点共享访问的文件存储服务。本文系统阐述了其核心概念、应用场景、功能特性与操作方法，助您构建统一、高效的数据开发与协作环境。
认证文件管理是DataWorks的核心安全功能，用于统一管理访问数据源的身份凭证。本文系统阐述了其上传、管理到引用的完整操作及应用场景，从而保障数据开发集成的安全与规范。
创建Hologres数据源 数据开发、数据分析环境准备 基于DataWorks进行Hologres调度任务前，您需先将Hologres实例创建为工作空间的数据源并绑定至数据开发（DataStudio）。绑定后，才可使用该数据源进行相关数据开发、数据分析、周期性调度...
进入编辑器界面 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。进入节点的代码编辑器。在数据开发页面的左侧目录树查找目标节点，双击节点名称即可...
您可参考 Spark官方文档 自定义全局Spark参数，并配置全局Spark参数的优先级是否高于指定模块内（数据开发、数据分析、运维中心）的SPARK参数。本文为您介绍如何设置全局Spark参数。背景信息 Apache Spark是用于进行大规模数据分析的引擎。...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，鼠标悬停至 图标，单击 新建节点 通用 参数节点。您也可以打开相应的业务流程，...
配置DTS数据迁移节点 配置离线数据集成节点 数据开发 显示任务流中的数据开发节点：除数据集成节点之外的其他节点。数据开发节点，试运行和发布后的调度功能相同。任务类型介绍 配置DTS位点检查节点 表 数仓表可被其任务流引用并操作，您...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。新建EMR Impala节点。右键单击目标业务流程，选择 新建节点 EMR EMR Impala。说明 您也可以鼠标悬停...
本文以使用MaxCompute数据源，在DataWorks上运行MaxCompute作业任务为例，为您介绍开发人员如何使用数据开发（DataStudio）创建一个周期调度任务，帮助您快速了解数据开发（DataStudio）模块的基本使用。前提条件 已完成开发前的环境准备，...
[{"Type":1,"Value":"${bizdate}","ParameterName":"bizdate_param"}]IgnoreParentSkipRunningProperty boolean 否 该参数与 DataWorks 控制台 中，数据开发任务的“调度配置 调度依赖”配置为“跨周期依赖（原上一周期）”后，依赖项选择...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面，鼠标悬停至 图标，单击 新建表 AnalyticDB for PostgreSQL 表。您也可以打开相应...
为了更好地指导您使用数据管理DMS（Data Management），DMS推出解决方案系列文档，旨在通过最佳实践（Step by Step）的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 DMS为在线流程化系统，可统一管理企业内...
在进行数据发布前，可通过检查项对数据开发功能相关的约束进行检查，当检查出不符合约束规范的内容时，系统会生成影响开发流程正常执行的问题事件，您可基于该事件处理暴露的问题，以保障数据开发流程可以正常执行。本文为您介绍如何查看并...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 DataStudio（数据开发）页面的 数据开发 页签下，右键单击目标 业务流程，选择 新建节点 ...
创建MaxCompute数据源 数据开发、数据分析环境准备 基于DataWorks进行MaxCompute调度任务前，您需先将MaxCompute项目创建为工作空间的数据源并绑定至数据开发（DataStudio）。绑定后，才可使用该数据源进行相关数据开发、数据分析、周期性...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。右键单击某个业务流程，选择 新建节点 CDH CDH Hive。说明 鼠标悬停至顶部 新增 按钮，根据界面提示...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品 数据建模 维度建模。在顶部菜单栏单击 行业模型模版，进入行业...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。右键单击某个业务流程，选择 新建节点 CDH CDH Presto。说明 鼠标悬停至顶部 新增 按钮，根据界面...
本案例指导您完成购房群体分析，帮助您掌握DataWorks的数据开发与数据分析流程。案例介绍 本案例基于用户买房数据，分析不同群体的购房情况。通过DataWorks进行数据开发和数据分析。将本地数据通过DataWorks上传至MaxCompute的 bank_data ...
调用CreateFile，在数据开发中创建一个文件。目前不支持调用该接口创建数据集成节点任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 ...
步骤三：使用自定义环境运行任务 镜像发布后，即可在数据开发中使用自定义镜像，根据是否使用新版数据开发（Data Studio），选择不同的使用方法，您可参考以下内容：登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在左侧业务流程目录下，双击目标业务流程，进入该业务流程的编辑面板。新建节点组。生成节点组。您...
数据开发更简单：平台提供的各种工具产品能够极大的简化数据开发过程，缩短数据治理周期，降低数据治理成本。通过标准化、精细化、规格化的智能数据生产流程，完成流水线式的数据生产作业，提升数据资源生产效率、消除数据供应品质差异。...
该参数与 DataWorks 控制台 中，EMR Spark Streaming 和 EMR Streaming SQL 数据开发任务，编辑页面右侧导航栏的“配置 时间属性 启动方式“对应。true InputParameters array object 节点上下文输入参数。该参数与 DataWorks 控制台 中，...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。新建EMR Presto节点。右键单击目标业务流程，选择 新建节点 EMR EMR Presto。说明 您也可以鼠标悬停...
该参数与 DataWorks 控制台 中，EMR Spark Streaming 和 EMR Streaming SQL 数据开发任务，编辑页面右侧导航栏的“配置 时间属性 启动方式“对应。true InputParameters array object 返回结果。InputContextParameter object 返回结果。...
附录：不同工作空间模式下，DataWorks模块对应操作的数据源 您可以在 数据开发 计算资源 界面下查看数据开发中已绑定的计算资源信息。绑定后，在不同工作空间模式下，DataWorks模块对应操作的数据源如下表所示：DataWorks模块 标准模式 ...
调用此接口，可以将指定的数据开发工作流移动到数据开发目录的目标路径。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。新建EMR Hive节点。右键单击目标业务流程，选择 新建节点 EMR EMR Hive。说明 您也可以鼠标悬停至 ...