通过本教程，您可以了解如何使用DataWorks和Spark产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站行为中...
通过本教程，您可以了解如何使用DataWorks和EMR产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站行为中获取...
数据开发需基于业务流程使用对应的开发组件进行具体开发操作。在创建节点之前，您需要先新建业务流程。具体操作方法可参见 创建业务流程。该业务流程的命名为：用户画像分析_MaxCompute。设计业务流程。业务流程新建完成后，将自动展开该...
通过本教程，您可以了解如何使用DataWorks和MaxCompute产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站...
数据开发需基于业务流程使用对应的开发组件进行具体开发操作。在创建节点之前，您需要先新建业务流程。具体操作方法可参见 创建业务流程。该业务流程的命名为：用户画像分析_MaxCompute。设计业务流程。业务流程新建完成后，将自动展开该...
通过本教程，您可以了解如何使用DataWorks和MaxCompute产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站...
通过本教程，您可以了解如何使用DataWorks和StarRocks产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站行为...
通过本教程，您可以了解如何使用DataWorks和EMR Serverless Spark产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从...
通过本教程，您可以了解如何使用DataWorks和MaxCompute产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站...
通过本教程，您可以了解如何使用DataWorks和Spark产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站行为中...
通过本教程，您可以了解如何使用DataWorks和EMR产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站行为中获取...
通过本教程，您可以了解如何使用DataWorks和StarRocks产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站行为...
通过本教程，您可以了解如何使用DataWorks和MaxCompute产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站...
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
DataWorks（大数据开发治理平台）是阿里云重要的PaaS（Platform-as-a-Service）平台产品，支持多种计算和存储引擎服务。本文介绍通过DataWorks将MongoDB的离线数据迁移至Lindorm宽表。背景信息 有关大数据开发治理平台DataWorks，具体请...
本案例指导您完成购房群体分析，帮助您掌握DataWorks的数据开发与数据分析流程。案例介绍 本案例基于用户买房数据，分析不同群体的购房情况。通过DataWorks进行数据开发和数据分析。将本地数据通过DataWorks上传至MaxCompute的 bank_data ...
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目...
为了更好地指导您使用数据管理DMS（Data Management），DMS推出解决方案系列文档，旨在通过最佳实践（Step by Step）的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 DMS为在线流程化系统，可统一管理企业内...
TPC-DS官方工具只包含SQL生成器以及单机版数据生成工具，并不适合大数据场景，所以本文教程中使用的工具和集群信息如下：Hive TPC-DS Benchmark测试工具。该工具是业界最常用的测试工具，是由Hortonworks公司开发，支持使用Hive和Spark运行...
前提条件 需购买云原生大数据计算服务MaxCompute和智能数据建设与治理Dataphin（智能研发版）。建议购买时两者选择同一个地域。背景信息 规范定义是指以维度建模作为理论基础，划分并定义主题域、业务过程、维度、原子指标、统计周期和派生...
前提条件 需购买云原生大数据计算服务MaxCompute和智能数据建设与治理Dataphin（智能研发版）。建议购买时两者选择同一个地域。背景信息 规范定义是指以维度建模作为理论基础，划分并定义主题域、业务过程、维度、原子指标、统计周期和派生...
MapReduce处理数据的完整流程如下：输入数据：在正式执行Map前，需要对输入数据进行分片（即将输入数据切分为大小相等的数据块），将每片内的数据作为单个Map Worker的输入，以便多个Map Worker同时工作。Map阶段：每个Map Worker读取数据...
为保证您可以顺利完成本次教程，您需要准备教程所需的MaxCompute引擎、DataWorks工作空间，并做好相关的环境配置。本文为您介绍进行本次实验所需的必要环境。前提条件 注册阿里云账号，详情请参见 阿里云账号注册流程。实名认证，详情请...
DataWorks作为阿里云大数据平台操作系统，对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍...
阿里云原生大数据计算MaxCompute 阿里云对象存储OSS 阿里云函数计算FC MaxCompute配置 数据源类型 显示当前数据源类型，即MaxCompute。数据源名称 选择 步骤二 中创建的MaxCompute数据源。OSS配置 数据源类型 显示当前数据源类型，即OSS。...
入门教程 您可以参考数据开发入门，快速了解并掌握数据开发的基本操作及开发流程，详情请参见 数据开发入门。支持的节点类型 DataWorks的数据开发（DataStudio）模块提供多种类型节点，同时，多种类型节点支持周期性任务调度，您可基于业务...
入门教程 您可以参考数据开发入门，快速了解并掌握数据开发的基本操作及开发流程，详情请参见 数据开发入门。支持的节点类型 DataWorks的数据开发（DataStudio）模块提供多种类型节点，同时，多种类型节点支持周期性任务调度，您可基于业务...
教程列表 DataWorks当前支持的ETL工作流模板列表如下：说明 ETL工作流模板载入 数据开发 模块后，您可通过查看 虚拟节点（业务流程第一个节点）查看案例详情。教程（点击链接快速体验）涉及产品 涉及模块 DataWorks版本要求 教程描述 网站...
教程简介 本教程基于GitHub Archive公开数据集，通过DataWorks将GitHub中的项目、行为等20多种事件类型数据实时采集至Hologres进行分析，同时使用DataV内置模板，快速搭建实时可视化数据大屏，从开发者、项目、编程语言等多个维度了解...
在 DataStudio（数据开发）页面的 数据开发 页签下，右键单击目标 业务流程，选择 新建节点 MaxCompute ODPS SQL。在 新建节点 对话框中，引擎实例 选择准备工作中绑定的计算资源，输入节点 名称，单击 确认。在 ODPS SQL 节点编辑页面，...
智能推荐数据分类分级流程 为您介绍基于大模型能力，为数据智能推荐分类分级的执行全流程，包括配置数据范围 识别核心字段 推荐分类分级。数据范围：圈选需要智能推荐识别结果的数据范围。识别核心字段：通过大模型针对圈选的数据资产进行...
在该阶段，DataWorks为您提供了新人入职自动化授权、按需申请数据权限&多级审批、数据可用而不可见、数据完整性与可用性专项治理等多个场景的最佳实践，帮助企业做好数据安全防护措施并建设更加完善的安全治理策略。场景一：新人入职自动化...
湖元数据治理 Data Lake Formation(DLF)提供跨OSS、数据库、文件系统的统一元数据目录服务，支持自动元数据发现、细粒度权限控制、数据血缘追踪，简化湖内数据治理流程。全栈分析引擎 Spark、Hive、Presto/Trino 集成离线ETL（Spark/Hive）...
DataWorks的数据同步至MaxCompute节点支持将Hologres中的单表数据迁移到MaxCompute，帮助您高效存储大数据。本文将详细介绍配置流程，让您轻松迁移数据并充分利用MaxCompute的高性能处理能力。前提条件 已 创建MaxCompute项目 和 Hologres...
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
批量数据计入脏数据：如果想要保证任务运行完成并可接受批量数据丢弃，可选择将批量数据计入脏数据，通过脏数据允许条数控制任务是否退出。四、配置字段映射 选择数据来源和数据去向后，需要指定读取端和写入端列的映射关系。您可以选择 ...
当您需要大文件或多文件的纯文件复制时，可以使用DataWorks创建DistCp任务，该方式能够极大的提高同步传输的效率，实现跨文件系统、大规模数据迁移和同步需求。背景信息 什么是DistCp任务 DistCp（Distributed Copy）是一种分布式数据拷贝...
您可以通过本教程提供的方案，使用PySpark方式将 Azure Databricks的 Delta Lake表数据迁移至 AnalyticDB for MySQL。该方案具有以下优势：AnalyticDB for MySQL Spark可以直接与Azure存储账户进行集成，无需经过Databricks的JDBC端点，...