使用开放数据 将开放数据安装到目标工作空间的 MaxCompute 计算资源后，您可以在数据开发或数据分析模块中，基于该目标工作空间的MaxCompute计算资源，直接访问已授权的元数据视图信息。在数据地图左侧导航栏中，单击 图标，进入数据目录...
如果需要查看历史日期的调度结果，如前几天的调度数据结果，可以使用补数据功能，具体操作，请参见 新建补数据计划。调度周期 支持按月、周、天、小时和分钟调度。具体时间 根据选择的周期客户自定义具体开始和结束的时间。时间表达式 根据...
我的数据功能为您提供一个集中的视图，用于快速定位、查看和管理您在 DataWorks 中拥有权限或负责的数据表。您可以按项目、引擎类型筛选，并执行更新表信息、转交所有权等日常管理操作。注意事项 数据地图的部分数据是离线（T+1）更新的，...
为了更好地指导您使用数据管理DMS（Data Management），DMS推出解决方案系列文档，旨在通过最佳实践（Step by Step）的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 DMS为在线流程化系统，可统一管理企业内...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在数据开发页面单击新建，选择 新建节点 EMR Hive 创建Hive节点。编辑节点代码，新建 onefall_test_...
数据资产编目，数据管理者对平台数据资产进行梳理，确定其共享属性，并按照技术标准，进行数据类目定义。数据资产上线，将已经注册管理的高质量数据资产资源发布，供数据使用者查询和使用。数据资产申请，数据使用者向数据管理方提出使用...
运营主要面向租户资产管理员，为用户提供数据资产编目、数据资产上线、数据资产下线等能力。通过获取资产元数据信息，并同步到数据资产目录完成数据资产注册。数据资产管理涉及三种用户角色，包括资产使用方、租户资产管理员、工作组管理员...
背景信息 企业依赖大数据平台快速地从海量数据中获得洞察从而更及时和有效地决策的同时，也对处理数据的新鲜度和处理本身的实时性要求越来越高。大数据平台普遍采用离线、实时、流三种引擎组合的方式以满足用户实时性和高性价比的需求。...
在数据开发DataStudio界面中，您可在 操作历史 界面通过操作类型、操作人、操作时间进行筛选，查看人员在当前工作空间中的操作记录。使用说明 仅支持查看DataStudio中以下几类操作记录：任务责任人变更操作、任务调度属性变更操作、任务及...
在产品迭代过程中，大数据开发治理平台 DataWorks会向系统策略中添加新的权限，用来支持新的功能和能力。系统策略的更新将会影响所有授予了该策略的 RAM 身份，包括 RAM 用户、RAM 用户组和 RAM 角色。有关 RAM 权限策略的更多信息，请参阅...
数据开发 场景：场景定义数据输出的方式，一个场景包含一种或多种数据输出的方式。计算资源：可以执行计算节点的资源。使用“场景加工”时并不会单独执行一个计算节点任务，需要把计算节点组织成流程执行，所以需要计算资源支持流程的批量...
快速入门简要介绍了如何快速上手数据资源平台，...添加数据节点：在数据开发模块中创建节点，并在物理表中插入对应数据，具体操作，请参见 新建公共节点。查询数据：在数据查询模块中预览插入到物理表的表数据，具体操作，请参见 物理表查询。
代码搜索功能仅支持搜索 数据开发、手动工作流、手动任务、回收站 目录下的节点。各目录功能，详情请参见 Data Studio功能引导。进入代码搜索 进入 DataWorks工作空间列表页，在顶部切换至目标地域，找到已创建的工作空间，单击 操作 列的 ...
任务编排 任务编排主要用于编排各类任务并进行调度执行，通过创建一个或多个任务节点组成的任务流，实现复杂的任务调度，提高数据开发效率。离线集成 离线集成是一种低代码的数据开发工具，可以组合各类任务节点，形成数据流，通过周期调度...
E-MapReduce（简称EMR）数据开发（旧版）已于2022年2月21日21点停止更新，进入维护状态，详情请参见 EMR数据开发停止更新公告。2023年9月30日0点起，EMR数据开发（旧版）功能将停止全面支持，不再支持用户答疑、问题解决、SLA保障赔付等...
DataWorks的DataStudio（数据开发）支持将本地的CSV文件或自定义文本文件数据直接上传至MaxCompute表中，本文为您介绍相关操作。前提条件 已创建用于接收本地数据的MaxCompute开发表。建表操作请参见 创建并使用MaxCompute表。使用限制 ...
节点代码恢复：数据开发回收站可以还原近期删除的节点，但注意节点还原后节点ID是新生成的。使用详情可参考文档：回收站 MaxCompute表数据恢复：提供数据备份与恢复功能，系统会自动备份数据的历史版本（例如被删除或修改前的数据）并保留...
调试运行单个任务 数据开发概述，在左侧导航栏的数据开发或手动业务流程模块，双击业务流程目录下的目标节点，进入该节点的编辑页面。调试运行任务。在节点编辑页面，使用节点工具栏中的运行或高级运行调试代码逻辑，也可通过快捷运行调试...
EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。
2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态，会影响创建项目、新建和运行作业、工作流、数据开发运维等功能。如果您还在使用数据开发功能，请尽快迁移到DataWorks构建数据开发平台。本文为您介绍数据...
支持查看 数据资源平台 各组件的功能权限和数据权限。本文介绍如何查看各组件的权限内容。前提条件 使用权限账号登录 数据资源平台。查看权限列表 登录 数据资源平台控制台。在页面右上角，单击 图标，选择 系统设置。在页面左侧导航栏，...
功能简介 开放API（OpenAPI）DataWorks开放平台的OpenAPI功能为您提供开放API能力，通过开放API实现本地服务和DataWorks服务的交互，提升企业大数据处理效率，减少人工操作和运维工作，降低数据风险和企业成本。您还可以在OpenAPI区域查看...
DataWorks提供的 数据开发/数据地图展示脱敏、数据分析展示脱敏、MaxCompute引擎层脱敏、Hologres引擎层脱敏 等动态脱敏，及 数据集成静态脱敏 等静态脱敏均为一级脱敏场景，属于固定场景，不支持执行新增、编辑、删除等操作。同时，...
多引擎开发：DataWorks Notebook拥有SQL Cell功能，支持多种大数据引擎的SQL开发与分析。交互式分析：交互式SQL查询：通过Python编写Widgets组件，通过在组件中直观选择或设置参数的取值，后续可以进一步在SQL中引用相同参数及取值，从而...
OSS数据导入 导出至OSS 数据开发与分析 功能集 功能 功能描述 参考文档 数据开发/分析 SQL开发 AnalyticDB for MySQL支持通过DDL、DML、DQL和DCL进行SQL开发。DDL语句 DML操作 DQL操作 DCL操作 Spark作业开发 AnalyticDB for MySQL支持通过...
在 数据开发 或 手动业务流程 功能模块的目录树，或通过 临时查询 功能，查找目标节点，双击进入节点编辑页面。数据开发 及 手动业务流程 目录树结构，详情请参见 DataStudio功能引导。使用临时查询，详情请参见 创建临时查询。快捷运行所...
在使用数据开发工作流完成作业任务时，如果您只关注作业任务是否完成，可以使用集群模板功能来快速建立集群，调度系统会在工作流启动时按照模板创建一个集群，然后将作业下发到该集群上执行。当工作流结束后，调度系统会自动释放该集群。...
通过DataWorks将数据从Oracle迁移至MaxCompute 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面创建目标表，用于接收从Oracle迁移...
数据安全能力：任务管理 DataWorks提供了大数据开发运维等能力，其中工作空间、安全中心等功能模块可实现对大数据计算任务的管理。工作空间：通过DataWorks的工作空间规划可以实现工作空间的人员管理、设置大数据作业可见性和可运维性。...
背景信息 在使用DataWorks进行数据开发的过程中，当您需要读写存储于OSS、NAS中的数据时，可以使用DataWorks的数据集功能。该功能支持您创建和管理数据集及其多个版本，通过数据集版本管理，您能够追踪数据的版本，并在新版本出现问题时...
任务编排 任务编排主要用于编排各类任务并进行调度执行，通过创建一个或多个任务节点组成的任务流，实现复杂的任务调度，提高数据开发效率。离线集成 离线集成是一种低代码的数据开发工具，可以组合各类任务节点，形成数据流，通过周期调度...
Data Studio主要功能 数据开发的主要功能介绍如下。您可参考 附录：数据开发相关概念 辅助理解。类型 描述 流程管理 DataWorks数据开发提供 工作流 开发模式。工作流是一种全新的研发方式，以业务视角出发的DAG可视化开发界面，轻松管理...
Data Studio主要功能 数据开发的主要功能介绍如下。您可参考 附录：数据开发相关概念 辅助理解。类型 描述 流程管理 DataWorks数据开发提供 工作流 开发模式。工作流是一种全新的研发方式，以业务视角出发的DAG可视化开发界面，轻松管理...
该方案优势如下：全托管免运维 弹性扩展能力 开放数据湖架构 一站式的数据开发平台 数据查询与分析场景 在传统数据平台下，数据仓库工程师和数据分析师通常面临两个不同的环境，甚至使用不同的引擎和语法，导致数据指标和算子行为存在差异...
任务编排 任务编排主要用于编排各类任务并进行调度执行，通过创建一个或多个任务节点组成的任务流，实现复杂的任务调度，提高数据开发效率。离线集成 离线集成是一种低代码的数据开发工具，可以组合各类任务节点，形成数据流，通过周期调度...
新建业务流程 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在数据开发页面，单击上方导航栏的 新建 新建业务流程，进入 新建业务流程 页面，在...
本次实验Hologres数据源，前提是已创建Hologres数据源，在数据开发中绑定Hologres数据源且已创建ads_ec_ec360_gmv_kpi_overview_bi外表。如果没有开通Hologres，也可以使用 数据开发 的MySQL数据源来测试。操作步骤 由于数据服务生成的API...
购买 数据安全中心DSC（Data Security Center）实例后，在使用 DSC 检测大数据产品（包括TableStore、MaxCompute、AnalyticDB-MYSQL、AnalyticDB-PG）中存在的敏感数据或审计数据库等功能前，您需要先开启对应功能。前提条件 已开通数据...
数据查询提供通过SQL查询预览数据资源，为开发人员和数据应用人员提供全面直观的数据呈现。本文介绍如何查询物理表数据。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录 数据资源平台控制台。在页面左上角，...
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...