支持资源组的资源类型 大数据开发治理平台DataWorks支持资源组的资源类型如下表所示：云服务 云服务代码 资源类型 大数据开发治理平台DataWorks dide Proyek:大数据开发治理平台DataWorks dide dwresourcegroup:DataWorks资源组 大数据开发...
大数据开发治理平台 DataWorks基于MaxCompute/EMR/Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台，自带阿里巴巴数据中台与数据治理最佳实践，赋能各行业数字化转型。每天阿里巴巴集团内部有数万名...
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。...DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
您可以使用 DMS 录入云数据库 OceanBase 的数据，通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。什么是数据管理DMS 支持的数据库...
本文描述大数据开发治理平台 DataWorks支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云...
使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。
DataWorks基于MaxCompute等引擎，提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作空间，绑定后您可以创建计算任务并进行周期调度。使用...
开源全托管服务EMR Serverless StarRocks 开源大数据平台 E-MapReduce 开源全托管服务EMR Serverless Spark 数据中台 一站式大数据开发治理DataWorks 在本案例中，DataWorks作为数据中台，用于对原始数据进行同步、加工、质量监控、数据...
操作难度 低 所需时间 30分钟 使用的阿里云产品 DataWorks：一站式大数据开发与治理平台，创建数据源并在数据开发绑定数据源后可在DataWorks上开发调度对应引擎的数据开发治理任务。MaxCompute：适用于数据分析场景的企业级SaaS模式云数据...
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
DM（达梦）数据源 Milvus数据源 TiDB数据源 DRDS（PolarDB-X 1.0）数据源 MongoDB数据源 TSDB数据源 Elasticsearch数据源 MySQL数据源 Vertica数据源 FTP数据源 OpenSearch数据源 TOS数据源 GBase8a数据源 Oracle数据源 HBase数据源 Graph ...
本文为您介绍使用大数据开发治理平台DataWorks OpenAPI的基本信息、使用限制、计费及调用说明。基本信息 版本 OpenAPI门户 支持的API列表 支持的地域 2024-05-18（新版OpenAPI）OpenAPI门户 支持的API列表 华东1（杭州）、华东2（上海）、...
作为一站式大数据开发治理平台，DataWorks沉淀阿里巴巴十多年大数据建设方法论，为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力，帮助客户提升数据的应用效率。迁移流程 阿里云DataWorks on EMR团队提供了完善...
容器载体：它作为容器，承载数据开发、数据集成等一系列功能模块，并与数据源、计算资源、资源组等外部实体进行关联。架构与实体关系解析 下图展示DataWorks各核心实体之间的依赖与关联关系：工作空间：位于架构图的中心，是所有操作的最小...
公开数据集列表 类型 数据集 数据来源及说明 数据类型 数字商业 阿里电商数据集 本数据集来源天池阿里移动推荐算法挑战赛，基于阿里巴巴100万条脱敏的商品数据，可以基于各类商品、操作、时间等字段，体验阿里云大数据分析能力。静态数据 ...
管理控制台丰富多样的功能模块，可以帮助用户进行数据集成、数据开发与运维、数据治理、数据分析以及数据服务，以及监控和管理数据服务的运行状态和性能。注意事项 管理控制台存在RAM用户（即子账号）访问控制，若您无法看到部分界面功能或...
适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、AnalyticDB、StarRocks、PAI 等数十种大数据和AI计算服务，为数据仓库、数据湖、湖仓一体、Data+AI解决方案提供全链路智能化的数据集成、大数据AI一体化开发、数据分析与主动式数据...
阿里云开放的大数据平台 E‑MapReduce(EMR)提供了多种产品形态，以满足不同用户的业务需求。根据部署方式可分为 EMR Serverless Spark、EMR Serverless StarRocks、EMR on ECS 和 EMR on ACK。为帮助用户选择合适的产品，以下整理了各产品...
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台的执行引擎和...
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
资源组是执行数据开发、数据集成等任务时，所消耗的计算资源的成本，是运行成本的核心。DataWorks推荐您使用Serverless资源组，不再推荐使用旧版资源组（独享资源组、公共资源组）。Serverless资源组具有两种付费模式，您可以根据业务负载...
通过数据服务，您可以将MaxCompute中加工好的数据结果，直接在DataV中进行呈现，实现数据开发-数据服务-数据分析展现的全链路开发。在开发过程中，请注意以下事项：DataWorks数据服务向导模式生成API仅支持单表简单条件查询，脚本模式支持...
环境限制 源工作空间跨云发布到目标工作空间时，环境限制如下：源工作空间 目标工作空间 工作空间模式 数据开发版本 简单模式 新版数据开发 简单模式 旧版数据开发 标准模式 新版数据开发 标准模式 旧版数据开发 简单模式 新版数据开发 不...
开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。调用数据服务API时，数据服务将访问该数据源来执行查询请求。数据服务支持的数据源请参见 数据服务数据源列表。重要 如果连通性测试...
开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。调用数据服务API时，数据服务将访问该数据源来执行查询请求。数据服务支持的数据源请参见 数据服务数据源列表。重要 如果连通性测试...
数据同步任务开发 数据同步任务的配置入口和通用配置流程可参见下文的配置指导。单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式配置的全量参数和脚本Demo请参见下文的 ...
本案例提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。本案例使用 数据开发（DataStudio）（旧版）进行数据加工。EMR环境准备 创建EMR集群 本教程需要您创建一个EMR集群，用于集成到...
本文为您介绍DataWorks中，数据集成、数据建模、数据开发、数据分析、数据服务等模块开发过程中涉及的相关基本概念。通用概念 工作空间 工作空间 是DataWorks管理任务、成员，分配角色和权限的基本单元。工作空间管理员可以为工作空间加入...
运维中心是一站式大数据运维监控平台，支持实时查看任务运行状态，提供智能诊断、重跑等运维操作，帮助您对异常任务进行基础运维；提供智能基线，帮助您解决重要任务产出时间不可控，海量任务监控难的问题，保障任务产出的时效性；提供引擎...
运维中心是一站式大数据运维监控平台，支持实时查看任务运行状态，提供智能诊断、重跑等运维操作，帮助您对异常任务进行基础运维；提供智能基线，帮助您解决重要任务产出时间不可控，海量任务监控难的问题，保障任务产出的时效性；提供引擎...
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
拉链表是数据仓库设计中用来处理数据变化的一种技术，它允许保存历史数据，记录一个事物从开始到当前状态的所有变化信息，可以反映任意时间点数据的状态。本文将为您介绍基于MaxCompute引擎在DataWorks上实现拉链表ETL的案例。前提条件 已...
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
在 数据服务 的左侧导航栏中，单击 服务开发 数据推送 切换到 数据推送 页下，单击 选择 新建数据推送，设置数据推送任务名称后，单击 确定，进入数据推送任务配置页面。2.配置数据推送任务 准备工作（可选）为了便于您快速完成数据推送，...
DataWorks支持可视化创建EMR（E-MapReduce）JAR、EMR（E-MapReduce）FILE资源，用于上传提交自定义函数或开源MR示例源码作为资源，便于EMR 计算节点的数据开发过程中引用。本文为您介绍如何创建资源，并上传提交资源，为资源的使用做好前期...
在个人开发环境中使用数据集 当数据集定义好以后，您可以在创建个人开发环境实例时或修改已有个人开发环境实例配置时，将DataWorks数据集的存储挂载到个人开发环境实例，后续，您可以在个人目录的终端或Notebook中直接读取数据集中的数据。...
多引擎开发：DataWorks Notebook拥有SQL Cell功能，支持多种大数据引擎的SQL开发与分析。交互式分析：交互式SQL查询：通过Python编写Widgets组件，通过在组件中直观选择或设置参数的取值，后续可以进一步在SQL中引用相同参数及取值，从而...