数据源介绍详情请参见 StarRocks数据源，数据源的创建入口及配置要点如下。进入数据源页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 更多 管理中心，在下拉框中选择对应工作空间后单击 进入管理中心。进入工作空间管理...
本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据，并且只支持在数据集成模块读取数据。进入数据开发 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据...
本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据，并且只支持在数据集成模块读取数据。进入数据开发 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据...
大数据开发治理平台 DataWorks基于MaxCompute/EMR/Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台，自带阿里巴巴数据中台与数据治理最佳实践，赋能各行业数字化转型。每天阿里巴巴集团内部有数万名...
本文为您介绍DataWorks数据开发（DataStudio）界面的整体布局，以及进行开发操作的主界面（业务流程和节点）中各组件、按钮的功能作用，方便您快速了解及使用数据开发模块。进入数据开发 登录 DataWorks控制台，切换至目标地域后，单击左侧...
您可使用个人设置功能，自定义目标工作空间中数据开发（DataStudio）界面的布局和风格。例如，更改DataStudio左侧导航栏显示的功能模块、切换开发界面的背景颜色，以及设置编辑器可进行代码错误检查、自动换行、自动保存等。进入个人设置 ...
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。...DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
本文描述大数据开发治理平台 DataWorks支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云...
在提交节点时，在 数据开发 节点编辑界面的上方工具栏单击图标，在单选按钮 冒烟测试 后选择 是。在提交节点后，在 数据开发 节点编辑界面的上方工具栏单击 图标，执行冒烟测试。在提交节点后，在 任务发布 界面单击相应节点后的 冒烟测试 ...
案例提供的数据仅用于阿里云大数据开发治理平台DataWorks数据应用体验。仅 空间管理员 角色可导入ETL模板至目标工作空间。如需给账号授予空间管理员角色，请参见 空间级模块权限管控。导入ETL工作模板时选择的资源组若是Serverless资源组，...
通过本教程，您可以了解如何使用DataWorks和Spark产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站行为中...
通过本教程，您可以了解如何使用DataWorks和EMR产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站行为中获取...
通过本教程，您可以了解如何使用DataWorks和StarRocks产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站行为...
通过本教程，您可以了解如何使用DataWorks和MaxCompute产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站...
通过本教程，您可以了解如何使用DataWorks和EMR Serverless Spark产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从...
运行历史面板为您展示最近三天您在数据开发界面运行过的所有任务记录，单击相应的任务，即可查看运行日志。说明 运行历史 界面只展示当前账号在数据开发（DataStudio）最近三天的运行记录。如您需查看调度任务每日运行情况，请前往 运维...
本产品（大数据开发治理平台 DataWorks/2024-05-18）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能...
使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...
通过本教程，您可以了解如何使用DataWorks和MaxCompute产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站...
DataWorks的运行历史面板展示您最近三天在数据开发界面的任务执行记录。使用限制 仅展示 当前账号 的运行记录。仅展示 最近三天 的运行记录。仅展示数据开发模块的运行记录。如需查看调度任务每日运行情况，请前往 运维中心 的 周期实例，...
本文为您介绍使用大数据开发治理平台DataWorks OpenAPI的基本信息、使用限制、计费及调用说明。基本信息 版本 OpenAPI门户 支持的API列表 支持的地域 2024-05-18（新版OpenAPI）OpenAPI门户 支持的API列表 华东1（杭州）、华东2（上海）、...
新增脱敏场景 DataWorks提供的 数据开发/数据地图展示脱敏、数据分析展示脱敏、MaxCompute引擎层脱敏、Hologres引擎层脱敏 等动态脱敏，及 数据集成静态脱敏 等一级脱敏场景为固定场景，不支持执行新增、编辑、删除等操作，可基于业务需要...
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
DataWorks的 业务流程 开发结构满足根据业务视角来组织数据开发任务的需求，也提供了 周期业务流程 和 手动业务流程 两种，以满足需要周期性调度和无需周期性调度手动触发运行的场景。本文为您介绍如何创建、设计、提交和查看业务流程，...
绑定后，在不同工作空间模式下，DataWorks模块对应操作的数据源如下表所示：DataWorks模块 标准模式 简单模式 数据开发 操作开发环境数据源（实例，项目、数据库）操作生产环境数据源（实例，项目、数据库）运维中心 开发环境运维中心：...
DataWorks 是阿里云提供的一站式大数据开发与治理平台，旨在帮助用户解决从数据接入、处理、治理到服务化的全链路数据问题。它通过一系列高度协同的功能模块，将复杂的数据工程流程化、可视化，显著降低了大数据开发的门槛。本文将为您逐一...
本文汇总介绍操作审计的相关问题。如何获取界面一些操作审计日志，比如界面下载数据操作？重要数据如何通过事前设置来获得事...您可以在数据开发界面找到该节点，在节点右侧配置界面的 版本 处进行版本对比与回滚操作。详情可参考文档：版本。
查看运行历史 您可进入数据开发（DataStudio）的 运行历史 页面，查看当前登录账号近三天在数据开发界面运行过的所有任务记录。任务在数据开发（DataStudio）运行后，将下发至对应引擎的服务执行，即使在任务运行过程中，您不小心将任务...
开源全托管服务EMR Serverless StarRocks 开源大数据平台 E-MapReduce 开源全托管服务EMR Serverless Spark 数据中台 一站式大数据开发治理DataWorks 在本案例中，DataWorks作为数据中台，用于对原始数据进行同步、加工、质量监控、数据...
将已有旧版数据开发升级为新版数据开发，在旧版数据开发界面顶部单击 升级 按钮，根据页面提示完成升级。2025年02月18日后，主账号在如下地域首次开通DataWorks并创建工作空间时，默认启用新版数据开发。华东1（杭州）、华东2（上海）、...
切换数据集成任务开发环境测试运行时使用数据集成任务执行资源组：在数据开发界面打开离线同步任务，选择右侧的 数据集成资源组配置。说明 如果生产环境执行也需要使用该资源组，请修改资源组后进行节点提交发布操作。切换生产调度运行时...
说明 在数据开发界面提交的操作都将进入任务发布界面处于待发布状态，您可以在任务发布界面将文件的相关操作通过发布流程发布至生产环境生效。DataWorks提供以下几类任务发布前检查：代码评审，可开启空间强制代码评审，即任务发布前需要...
离线同步任务使用独享传输资源 单表离线同步任务使用独享传输资源 进入数据开发界面，打开或新建离线同步任务节点，在MaxCompute数据源的 Tunnel资源组 属性中，选择独享传输资源组。Tunnel资源组 默认值为公共传输资源组。如果您没有可用...
如果需要跨项目操作开发表或生产表，子账号需要在 安全中心 发起申请，待审批通过后，便可在数据开发界面对表进行相关操作。权限申请流程 数据访问控制功能支持您进行 权限申请、权限审批、权限审计 的操作，还支持您查看 权限申请记录、...
数据开发界面介绍 区域 描述 ① 全局搜索与代码搜索 全局搜索：在全局搜索框中支持输入物理表、逻辑表、元表、规范定义、函数、资源或模板等名称的关键字，搜索目标对象。您可以单击 研发 和 资产 页签，快速搜索目标对象。① 项目切换：...
数据开发界面介绍 说明 如果您的Dataphin实例为 基础研发版、敏捷研发版，则不支持 规范建模。区域 描述 ① 全局搜索与代码搜索 全局搜索：在全局搜索框中支持输入物理表、逻辑表、元表、规范定义、函数、资源或模板等名称的关键字，搜索...
说明 部分DataWorks功能模块（例如，数据质量、数据开发、数据分析）触发的任务没有实例ID，平台会展示为中划线（-）。EMR作业类型：仅支持查看 MAPREDUCE 及 SPARK 类型的作业。运行时间排序：您可对 开始时间 或 结束时间，进行升序或降...
资源组是执行数据开发、数据集成等任务时，所消耗的计算资源的成本，是运行成本的核心。DataWorks推荐您使用Serverless资源组，不再推荐使用旧版资源组（独享资源组、公共资源组）。Serverless资源组具有两种付费模式，您可以根据业务负载...
本文为您介绍数据开发相关的常见问题。任务开发常见问题 引擎基于DataWorks操作的常见问题 表相关 如何可视化新建表？为什么EMR通过DataWorks可视化建表失败报错：call emr exception？如何对生产表添加字段？如何将本地数据上传到...