本产品（大数据开发治理平台 DataWorks/2024-05-18）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能...
本文以数据开发功能为例，为您介绍代码搜索的操作详情。使用限制 仅DataWorks标准版及以上的版本才能使用代码搜索功能。完成版本升级后，历史数据需等待至次日自动同步，升级当天可能出现搜索无结果或结果不完整的情况。代码搜索功能仅支持...
如果您曾经使用过旧版数据开发（DataStudio），阅读本文档能够帮助您快速了解新旧版数据开发间功能变化，适应新版环境，衔接后续开发工作。全新用户无需阅读，可直接开始使用新版数据开发。重要 以下仅列举旧版升级新版后位置变化或功能...
作为工作空间的管理者，在使用数据开发（DataStudio）时，您可以针对用户的开发行为实施有效的管控措施，进行开发流程、数据安全、审计等相关操作，本文将帮助您快速掌握DataStudio的相关功能，实现对数据开发过程的有效管控。背景信息 ...
DataWorks 提供一站式大数据开发与治理平台，涵盖数据集成、开发、建模、分析、质量、服务、地图及开放能力，支持全链路数据处理与企业级数据中台建设。本文为您介绍DataWorks的核心功能特性。数据集成：全领域数据汇聚 DataWorks的数据...
2025-08-07 所有地域 使用新版数据开发（Data Studio）的用户 Notebook开发 07月 功能名称 描述 开始发布时间 预计发布地域 使用客户 相关文档 数据开发节点调度配置新增计算配额参数 Data Studio支持在MaxCompute SQL节点、MaxCompute ...
DataWorks为您提供了 数据开发/数据地图展示脱敏、数据集成静态脱敏、数据分析展示脱敏、MaxCompute引擎层脱敏、Hologres引擎层脱敏 等一级脱敏场景，您可直接使用。若该类场景指定生效的数据范围及用户范围无法满足您更细化的脱敏需求，则...
数据服务支持您编写函数，并将函数关联至API，使得函数可以作为API的过滤器使用，对API的请求参数或返回结果进行加工处理。本文为您介绍函数功能。使用限制 您需要购买DataWorks基础版及以上版本，才可以使用过滤器功能。Python函数正在...
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。核心能力 ...
E-MapReduce（简称EMR）数据开发（旧版）已于2023年9月30日0点停止全面支持，不再支持用户答疑、问题解决、SLA保障赔付等服务，详情请参见 EMR数据开发（旧版）停止全面支持公告。自2024年12月30日0点起，EMR数据开发（旧版）功能将逐步在...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。调整DataStudio左侧导航栏模块（即区域2展示的功能）。新用户可根据区域1的提示，在DataStudio界面...
一站式大数据开发平台，提供一致性开发体验 一站式数据同步 支持离线/实时数据传输。周期同步任务调度统一管理。主流空间数据库全面支持同步汇聚（超图SDX+，ArcGIS SDE，PostGIS，Ganos）。自动灵活的数据探查 物理表预览和表数据自动探查...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在左侧导航栏单击 表管理。新建、查找及编辑目标表 新建表及导入表数据 在表管理页面，您可单击 及 ...
数据开发（业务流程）的快捷菜单，详情请参见 数据开发（业务流程）快捷菜单。数据开发（节点）界面功能，详情请参见 数据开发（节点）界面功能。数据开发（节点）的快捷菜单，详情请参见 数据开发（节点）快捷菜单。DataStudio界面总览 ...
本次升级旨在构建一个面向未来的、高性能、高可用的数据智能开发平台，为用户提供更高效、更智能、更统一的数据开发与治理体验。重要 如升级过程中遇到问题，可在 DataWorks数据开发升级到新版专属答疑群 获取技术支持。一、升级背景 ...
数据保护伞的系统配置，支持设置数据水印文件的保存时间、设置是否展示MaxCompute数据的风险识别等级、设置告警信息的接收地址，以及设置是否开启实时识别敏感数据，您可根据业务需要进行配置。进入系统配置页面 进入数据保护伞。登录 ...
进入导入页面 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据建模，在下拉框中选择对应工作空间后单击 进入数据建模。在 智能数据建模 页面的顶部菜单栏，单击 通用工具，进入导入页面。在该页面，您可...
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
即已通过数据开发DataStudio将数据加工为用户画像基本数据。数据分析场景 本案例通过数据分析对用户画像数据进行可视化与分析，具体分析场景如下：场景 图示 城市注册人数排行榜 注册会员访问次数年龄分布 注册会员访问次数性别分布 男女...
本产品（大数据开发治理平台 DataWorks/2020-05-18）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能...
编辑节点 单击后，即可跳转至数据开发页面，对当前节点的内容进行修改。查看血缘 查看当前实例的血缘关系。查看更多详情 单击后，即可查看当前节点的 属性、上下文、运行日志、操作日志 和 代码 等信息。终止运行 仅等待运行、运行中状态的...
DataWorks不同版本的关键能力差异点如下：模块能力 标准版(对比基础版增加的能力)专业版(对比标准版增加的能力)企业版(对比专业版增加的能力)数据开发 控制节点/组件管理 代码评审 支持更大规模的开发 运维中心 智能基线 智能诊断、值班表...
您可使用个人设置功能，自定义目标工作空间中数据开发（DataStudio）界面的布局和风格。例如，更改DataStudio左侧导航栏显示的功能模块、切换开发界面的背景颜色，以及设置编辑器可进行代码错误检查、自动换行、自动保存等。进入个人设置 ...
DataWorks的数据开发（DataStudio）模块提供多种节点，包括数据集成节点、计算资源节点（如ODPS SQL、Hologres SQL、EMR Hive）和通用节点（如虚拟节点、Check节点），以满足您不同的数据处理需求。重要 如果您在数据开发中无法创建某个...
您可以使用智能诊断功能对任务进行全链路分析，当任务运行不符合预期时，您可以使用该功能快速定位问题。背景信息 智能诊断功能可以基于以下维度对任务进行诊断分析：查看运行详情：调度任务运行需要满足的条件包括：上游任务运行成功、...
进入数据标准 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据建模，在下拉框中选择对应工作空间后单击 进入数据建模。在 智能数据建模 页面的顶部菜单栏，单击 数据标准，进入数据标准页面。数据标准：...
数据存储 存储加密：大数据计算服务MaxCompute天然支持透明加密、列级别加密。备份与恢复：云原生底层存储天然支持三份副本备份，同时，大数据计算服务MaxCompute提供数据备份与恢复功能，您可对保留周期内的数据进行快速恢复，避免因错误...
DataWorks平台在提供核心的数据开发与调度能力之外，还提供一系列功能，这些功能采用 按量付费 模式，确保您只为实际使用的资源付费。本文档旨在详细解析这些按量付费功能的计费规则、价格及相关事项，帮助您清晰地理解和管理成本。这些...
大数据开发治理平台 DataWorks基于MaxCompute/EMR/Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台，自带阿里巴巴数据中台与数据治理最佳实践，赋能各行业数字化转型。每天阿里巴巴集团内部有数万名...
该功能极大地简化了传统数据迁移中需要为每张表手动创建同步任务的繁琐流程，能够自动在目标端创建表结构，实现高效、可管理的数据整库搬迁。使用场景 数据迁移与上云 将本地IDC的MySQL、Oracle等数据库迁移到云上数据仓库或数据湖。不同云...
本章节将为您介绍DataWorks的数据集成中用于统一管理和配置的几个核心功能。通过这些功能，您可以对认证文件、DDL消息处理策略、任务模板、公共报警规则等进行集中化、标准化的管理，从而提升开发效率和项目的规范性。配置入口 登录 ...
开放事件（OpenEvent）不支持 不支持 不支持 支持 扩展程序（Extensions）不支持 不支持 不支持 支持 用户操作审计 用户操作审计 支持 支持 支持 支持 全部DataWorks部署地域 Copilot Copilot 目前邀测中，数据开发Agent在新版Data Studio...
在数据开发过程中如果您需要使用Impala SQL，可以在E-MapReduce中配置Impala SQL作业。本文介绍如何配置Impala SQL作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-...
使用新版数据开发（Data Studio）：本教程是否开启均可进行，表示是否参加使用新版数据开发功能（推荐开启）。若未看到该选项，表示默认开启。说明 新版数据开发提供了实现面向多引擎协同的数据开发、可视化工作流编排和数据目录管理等能力...
进入审批负责人治理 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理 数据地图，在右侧页面中单击 进入数据地图。在左侧菜单栏，单击 我的数据，默认进入 我的数据 我拥有的数据 页面。单击左侧导航栏的 我的工具 审批...
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品，OSS-HDFS数据源为您提供读取和写入OSS-HDFS的双向通道，本文为您介绍DataWorks的OSS-HDFS数据同步的能力支持情况。使用限制 离线读 使用OSS-HDFS Reader时，请注意以下事项：由于...
数据服务提供日志分析功能，您可以使用日志分析功能对调用请求进行分析，当调用请求出现异常时，智能分析能帮助您快速定位问题，并给出诊断结果和建议。使用限制 仅DataWorks专业版及以上版本，支持使用智能分析功能。您目前可以免费体验，...
DataWorks作为阿里云一站式大数据开发与治理平台，通常会与计算引擎产品联合使用，此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下，使用DataWorks时通常会使用到的其他云产品。计算...
开源大数据平台E-MapReduce（Elastic MapReduce）是运行在阿里云平台上的一种大数据处理的系统解决方案。
本案例提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。本教程使用 数据开发（DataStudio）（旧版）进行数据加工。MaxCompute环境准备 一、开通MaxCompute产品 本教程基于MaxCompute实现，请...