受众和典型客户 技术人员：如数据工程师、算法工程师，进行核心的数据开发和建模工作。业务人员：如运营、BI分析师，进行自助式的数据查询和分析。管理人员：如数据资产管理员、数据安全负责人，进行数据治理与合规管控。DataWorks客户覆盖...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。创建业务流程，详情请参见 创建周期业务流程。新建函数。打开相应的业务流程，右键单击 MaxCompute...
租户 API 标题 API概述 ListCalcEngines 查看数据开发中绑定的数据源列表 该接口用于查询指定DataWorks工作空间的数据开发中绑定的数据源列表。CreateDataSource 创建数据源 该接口用于创建DataWorks数据源。ListDataSources 查询数据源...
开发 该角色负责数据开发和维护工作，即在 数据开发 模块进行节点的开发与维护。说明 如果需要进行数据开发，您需要授予RAM用户开发或空间管理员角色权限。如果需要拥有发布权限，您需要授予RAM用户运维或空间管理员角色权限。运维 该角色...
序号 内容 相关文档 1 DataWorks工作空间为多角色协同开发的基本单元，所有开发工作都将在具体的工作空间内开展，若您需要RAM用户（子账号）协同开发，则需将RAM用户加入工作空间并按照职能为该用户分配空间角色。DataWorks预设部分角色...
生效的工作空间 指定用户在哪个DataWorks工作空间执行数据开发、数据分析时脱敏策略生效。说明 DataWorks数据开发、数据分析：三个条件（生效的用户范围、生效的项目范围、生效的工作空间）同时满足时，脱敏策略生效。DataWorks数据地图：...
进入数据开发 进入 DataWorks工作空间列表页，在顶部切换至目标地域，找到已创建的工作空间，单击 操作 列的 快速进入 Data Studio，进入Data Studio。在左侧导航栏单击 图标，进入数据开发页面。新建推送链路 新建配置数据查询SQL节点及...
准备 AnalyticDB for MySQL 并进入工作空间 如果您是从 AnalyticDB for MySQL 控制台直接跳转至DMS工作空间进行Notebook开发，则请参考路径一开始准备资源。如果您需要手动在DMS录入 AnalyticDB for MySQL，再前往工作空间进行Notebook开发...
前提条件 已 创建 使用新版数据开发（Data Studio）的工作空间，并 绑定MaxCompute计算资源。已 创建Serverless资源组，并 绑定至工作空间。创建MaxCompute自定义镜像 准备工作 已开通阿里云镜像容器服务，并创建 标准版 及以上版本的ACR...
工作空间 大数据开发治理平台DataWorks dide tenantresourcegroup:独享资源组 说明 对于暂不支持资源组的资源类型，如有需要，您可以在 资源组控制台 提交反馈。不支持资源组级别授权的操作 大数据开发治理平台DataWorks中不支持资源组级别...
数据治理人员可通过 全局视角、个人视角 或 工作空间视角 查看对应项目的待治理项，快速发现并解决存在的问题，推进团队内的数据治理目标。本文为您介绍如何查看并配置治理项。背景信息 数据资产治理会默认生成初始治理项。您可以针对不同...
平台可支撑自动驾驶生产线的全流程工作，包括 数据导入、数据标准化、数据预处理、数据预标注、人工标注、数据输出 等。您可拖拽所需任务节点，为其设置属性后，通过连线来快速构建所需工作流，并为其配置调度方式。任务流配置说明 数据...
本文提到的ETL工作流均需要未开启 使用新版数据开发（Data Studio）的工作空间，即在创建工作空间时，不勾选 使用新版数据开发（Data Studio）。导入ETL工作流模板 您可以将DataWorks ETL工作流模板直接导入至目标工作空间进行体验，具体...
您可以在数据资产治理的 总览 治理工作项 中查看待治理问题数、待治理资产数、治理项类别及待治理的任务或表详情，及时发现并处理待治理问题。本文为您介绍如何查看并处理治理项问题。前提条件 已配置治理项，详情请参见 配置治理项。背景...
环境信息排查 问题 解决方案 查询数据时，数据源、表、分区选择错误 DataWorks标准模式下的工作空间数据源 开发生产隔离，单表离线同步在开发环境运行任务使用开发数据源，在生产环境运行任务使用生产数据源。在对数据的数量和内容进行比对...
数据开发平台 本案例使用DataWorks的 旧版数据开发（DataStudio）平台，请确保您的工作空间 未参加 新版数据开发公测。创建工作空间 时，不选择 参加数据开发（Data Studio）公测。2025年02月18日后，主账号在如下地域首次开通DataWorks并...
大数据开发治理平台 DataWorks基于MaxCompute/EMR/Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台，自带阿里巴巴数据中台与数据治理最佳实践，赋能各行业数字化转型。每天阿里巴巴集团内部有数万名...
当前版本的工作空间与升级至新版后的工作空间之间，无法在新版和旧版数据开发之间进行跨工作空间任务发布。升级期间，新版Data Studio及旧版DataStudio在当前工作空间均将无法新增或修改已有内容（包含界面操作及通过OpenAPI操作）。升级...
DataWorks的 业务流程 开发结构满足根据业务视角来组织数据开发任务的需求，也提供了 周期业务流程 和 手动业务流程 两种，以满足需要周期性调度和无需周期性调度手动触发运行的场景。本文为您介绍如何创建、设计、提交和查看业务流程，...
查看运行历史 登录DataWorks控制台，单击相应工作空间后的 数据开发。单击左侧导航栏中的 运行历史，切换至运行历史面板（默认展示全部状态）。从状态列表中，选择需要查看的相关状态的任务。单击需要查看的运行记录，即可在右侧查看运行...
用户角色 功能 能力 详述 数据生产方 数据开发 设计数据模型 开发数据加工逻辑 设计标准、稳定的数据模型：通过数据标准和数据建模，设计标准化数据模型，提高数据模型的稳定性，减少重复开发工作。高效完成数据加工与运维：通过数据同步、...
DataWorks的运行历史面板展示您最近三天在数据开发界面的任务执行记录。使用限制 仅展示 当前账号 的运行记录。仅展示 最近三天 的运行记录。仅展示数据开发模块的运行记录。如需查看调度任务每日运行情况，请前往 运维中心 的 周期实例，...
数据开发/数据地图与数据分析场景的工作空间统一管控，改变其中一个场景的工作空间脱敏启用设置，另外一个场景同步改变。Hologres引擎暂不支持使用数据开发/数据地图展示脱敏。数据分析展示脱敏 在 数据分析 通过 SQL Notes 查询数据时，...
数据开发基于业务流程组织与开发代码，您需要先新建业务流程，才可进行后续的开发工作。步骤二：新建表。DataWorks支持使用可视化方式创建表，并以目录结构方式在界面展示。数据开发前，您需先在引擎创建用于接收数据清洗结果的表。步骤三...
旧版数据开发使用镜像 进入数据开发：登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。配置资源组：在数据开发功能中找到待测试三方包的 任务节点，...
旧版数据开发使用镜像 进入数据开发：登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。配置镜像：在数据开发功能中找到待测试自定义镜像的任务节点，...
旧版数据开发 登录 DataWorks控制台，切换至目标地域，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。创建业务流程。详情请参见：创建业务流程。创建离线同步节点。可以通过以下两种方式创建...
尊敬的DataWorks用户：为给您提供一致的开发体验，DataWorks HoloStudio 产品能力将整合至 DataWorks 数据开发（DataStudio）中，从 2024年2月29日 开始，HoloStudio将不再提供服务，届时您可使用DataStudio相关功能继续进行Hologres的数据...
10000 ProjectIdentifier string 否 DataWorks 工作空间的唯一标识符，即数据开发页面顶部切换工作空间处的英文标识。该参数与 projectid 参数二者必须设置其一，以确定本次 API 调用操作的 DataWorks 项目。dw_project BusinessName ...
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
在数据开发、测试场景下，开发人员在生产环境中导出数据进行开发或测试时，不展示明细数据时也不会影响开发工作。为避免数据分析师、开发人员滥用数据，出于非工作目的查看明细数据，则可采用数据脱敏能力（支持保留格式加密、掩盖、HASH...
在EMR Hive节点中，您可以使用类SQL语句读取、写入和管理大数据集，从而高效地完成海量日志数据的分析和开发工作。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 新版数据开发：绑定EMR计算资源。（可选，RAM...
准备工作 创建 使用新版数据开发（Data Studio）的 工作空间。本例使用DataWorks 简单模式 的工作空间。为工作空间绑定 Serverless资源组。绑定MaxCompute计算资源 并绑定至工作空间，并完成 测试连通性。操作步骤 下载IP地址库数据 地址库...
ide：DataStudio（数据开发）。scheduler.backfill：运维中心-补数据实例。da：数据分析。scheduler.auto：运维中心-周期实例。ide ConfigValue string 配置值。{"spark.driver.memory":"1g"} EnableOverwrite boolean 是否覆盖数据开发中...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。新建PyODPS 2节点。鼠标悬停至 图标，单击 新建节点 MaxCompute PyODPS 2。您也可以打开相应的业务...
工作组开发者 面向数据开发人员，拥有工作组内开发（例如云计算资源更新）等基本的修改权限以及读权限。工作组分析员 面向数据分析人员，拥有工作组内标签创建、管理和使用权限，可使用工作组内的数据进行数据分析等操作。工作组访客 拥有...
DataWorks的DataStudio（数据开发）支持将本地的CSV文件或自定义文本文件数据直接上传至MaxCompute表中，本文为您介绍相关操作。前提条件 已创建用于接收本地数据的MaxCompute开发表。建表操作请参见 创建并使用MaxCompute表。使用限制 ...
调试运行单个任务 数据开发概述，在左侧导航栏的数据开发或手动业务流程模块，双击业务流程目录下的目标节点，进入该节点的编辑页面。调试运行任务。在节点编辑页面，使用节点工具栏中的运行或高级运行调试代码逻辑，也可通过快捷运行调试...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在左侧导航栏单击 图标，进入 计算资源 列表页。根据您需要绑定计算资源类型，参照对应文档进行操作...
您可以打开某个数据开发节点，进行具体的数据清洗工作，例如MaxCompute SQL节点，如果代码开发过程中需要用到资源或函数，DataWorks也支持您通过可视化的方式来创建资源节点和函数节点。数据开发的更多细节，请参见 节点开发，创建资源和...