大数据开发治理平台 DataWorks基于MaxCompute/EMR/Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台，自带阿里巴巴数据中台与数据治理最佳实践，赋能各行业数字化转型。每天阿里巴巴集团内部有数万名...
Data+AI开发：对于整个分布式数据开发和模型开发过程依赖于第三方或自定义镜像的场景，MaxFrame提供完整的支持，以满足从数据处理到AI模型训练与部署的需要。使用须知 支持地域 华东1（杭州）、华东2（上海）、华北2（北京）、华北6...
操作难度 低 所需时间 30分钟 使用的阿里云产品 DataWorks：一站式大数据开发与治理平台，创建数据源并在数据开发绑定数据源后可在DataWorks上开发调度对应引擎的数据开发治理任务。MaxCompute：适用于数据分析场景的企业级SaaS模式云数据...
EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。
DataWorks基于MaxCompute等引擎，提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作空间，绑定后您可以创建计算任务并进行周期调度。使用...
说明 通常情况下，生产数据源和开发数据源需配置为非同一个数据源，以实现开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 部署方式 支持 集群 和 ...
说明 通常情况下，生产数据源和开发数据源需配置为非同一个数据源，以实现开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 部署方式 支持 集群 和 ...
通过创建FTP数据源能够实现Dataphin读取FTP的业务数据或向FTP写入数据。本文为您介绍如何创建FTP...测试结果为 成功有风险 时，代表应用集群连接成功、调度集群连接失败，当前数据源无法用于数据开发和集成。您可以单击 图标查看日志信息。
测试结果为 成功有风险 时，代表应用集群连接成功、调度集群连接失败，当前数据源无法用于数据开发和集成。您可以单击 图标查看日志信息。重要 如果连接测试失败，您可以根据网络连通常见问题进行排查。详细内容，请参见 网络连通解决方案...
电商网站智能推荐基于阿里巴巴的大数据和人工智能技术，结合在电商行业的多年积累，为开发者提供个性化推荐服务，提升商品的购买率和转化率。概述 本实践以电商网站为例，通过日志服务采集日志，将RDS作为后端数据服务、MaxCompute作为数据...
数据资产治理支持您按照研发链路（数据同步和数据开发）查看和分析工作空间内DataWorks离线同步任务和DataWorks调度任务运行情况及资源消耗详情。便于您了解当前花费较多的资源类别、识别运行失败的任务，合理调整消费结构，发现阻塞任务...
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏，并设置导出风险...
数据保护伞是一款数据安全管理产品，为您提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等多种功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文为您介绍数据保护伞的使用流程、使用限制等内容。使用流程...
本文描述大数据开发治理平台 DataWorks支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云...
阿里云上发展历程 2015年DataWorks正式上云，将多年沉淀的大数据建设方法论产品化输出，服务阿里云上客户，通过不断迭代的产品能力，DataWorks正在与各行各业的客户与合作伙伴一起，通过全链路数据治理，管得好数据、用得好数据，让数据从...
DataWorks数据服务模块是一个灵活轻量、安全稳定的数据API构建平台，作为数据库和数据应用之间的“桥梁”，DataWorks数据服务旨在为个人、团队和企业提供全面的数据服务和共享能力，帮助用户统一管理面向内外部的API服务。例如，您可以将...
DataWorks数据服务模块是一个灵活轻量、安全稳定的数据API构建平台，作为数据库和数据应用之间的“桥梁”，DataWorks数据服务旨在为个人、团队和企业提供全面的数据服务和共享能力，帮助用户统一管理面向内外部的API服务。例如，您可以将...
阿里云开放的大数据平台 E‑MapReduce(EMR)提供了多种产品形态，以满足不同用户的业务需求。根据部署方式可分为 EMR Serverless Spark、EMR Serverless StarRocks、EMR on ECS 和 EMR on ACK。为帮助用户选择合适的产品，以下整理了各产品...
支持资源组的资源类型 大数据开发治理平台DataWorks支持资源组的资源类型如下表所示：云服务 云服务代码 资源类型 大数据开发治理平台DataWorks dide Proyek:大数据开发治理平台DataWorks dide dwresourcegroup:DataWorks资源组 大数据开发...
大数据计算引擎与存储费用（独立计费）：DataWorks是一个大数据开发与调度平台，它本身不执行核心的计算和存储。当您通过DataWorks提交一个SQL任务时，实际执行该任务的是底层的计算引擎（如MaxCompute、Hologres、E-MapReduce等），产生的...
DataWorks数据服务提供了快速将数据表生成API的功能，通过可视化的向导模式操作，无需代码便可快速生成API，然后通过DataV调用API并在大屏中展示数据分析结果，高效实现数仓的开发和数据的展示。前提条件 要想实现DataWorks数据服务与DataV...
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
从Java Storm迁移到Flink SQL使实时计算开发周期大大减少，维护更加容易，数据一致性得到更好地保障，提升了业务监控大屏的准确性和实时性，用户可以更专注于业务，加速了业务的实时化。同时，阿里云的24小时运维服务保证了集群稳定，实现...
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
本案例提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。本案例使用 数据开发（DataStudio）（旧版）进行数据加工。EMR环境准备 创建EMR集群 本教程需要您创建一个EMR集群，用于集成到...
本文为您介绍DataWorks中，数据集成、数据建模、数据开发、数据分析、数据服务等模块开发过程中涉及的相关基本概念。通用概念 工作空间 工作空间 是DataWorks管理任务、成员，分配角色和权限的基本单元。工作空间管理员可以为工作空间加入...
本文为您介绍使用大数据开发治理平台DataWorks OpenAPI的基本信息、使用限制、计费及调用说明。基本信息 版本 OpenAPI门户 支持的API列表 支持的地域 2024-05-18（新版OpenAPI）OpenAPI门户 支持的API列表 华东1（杭州）、华东2（上海）、...
拉链表是数据仓库设计中用来处理数据变化的一种技术，它允许保存历史数据，记录一个事物从开始到当前状态的所有变化信息，可以反映任意时间点数据的状态。本文将为您介绍基于MaxCompute引擎在DataWorks上实现拉链表ETL的案例。前提条件 已...
运维中心是一站式大数据运维监控平台，支持实时查看任务运行状态，提供智能诊断、重跑等运维操作，帮助您对异常任务进行基础运维；提供智能基线，帮助您解决重要任务产出时间不可控，海量任务监控难的问题，保障任务产出的时效性；提供引擎...
运维中心是一站式大数据运维监控平台，支持实时查看任务运行状态，提供智能诊断、重跑等运维操作，帮助您对异常任务进行基础运维；提供智能基线，帮助您解决重要任务产出时间不可控，海量任务监控难的问题，保障任务产出的时效性；提供引擎...
数据开发与调度：大数据开发治理平台 DataWorks数据开发（必选）、DataWorks运维中心（必选），基础版DataWorks已包含数据开发和运维中心功能。数据治理：大数据开发治理平台 DataWorks数据质量（必选）、大数据开发治理平台 DataWorks数据...
通过本教程，您可以了解如何使用DataWorks和Spark产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站行为中...
通过本教程，您可以了解如何使用DataWorks和EMR产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站行为中获取...
通过本教程，您可以了解如何使用DataWorks和StarRocks产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站行为...
通过本教程，您可以了解如何使用DataWorks和MaxCompute产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站...
通过本教程，您可以了解如何使用DataWorks和Spark产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站行为中...
4.测试数据推送任务 创建好数据推送任务后，您可以单击工具栏上的 保存 按钮，保存当前配置，然后单击 测试 进行开发态测试，用来测试数据推送是否可以正常推送。需要您手动为变量赋值常量。说明 数据推送任务推送 提交 发布 前，必须通过...
通过本教程，您可以了解如何使用DataWorks和EMR产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站行为中获取...
通过本教程，您可以了解如何使用DataWorks和StarRocks产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站行为...
通过本教程，您可以了解如何使用DataWorks和MaxCompute产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站...