DataWorks的数据建模提供数据指标功能，为您提供统一的指标体系建立能力。指标体系 指标是衡量业务特征的统计数值，用于体现企业某一业务活动的业务状况。指标通常可分为以下几种情况：原子指标：原子指标用于明确业务的统计口径及计算逻辑...
EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...
预案演练：帮助客户在阿里云大数据平台上进行核心业务无损、风险可控的预案演练（容灾、扩容、缩容等集群维护动作）、培养平台运维团队的预案处置能力，发现并解决系统与平台的稳定性隐患。（仅限混合云）。容灾演练：帮助客户基于阿里云大...
银行 提供开箱即用的银行行业数据仓库模型内容，涉及存款产品、借贷产品、贷款放款等维度，辅助银行建立统一数据模型标准与规范，加快数字化建设进展，确保数据的准确性和完整性。汽车制造 提供开箱即用的汽车制造行业数据仓库模型内容，...
添加数据的同时支持各类型空间数据的元信息自动解析，支持按空间对平台所有空间数据进行统一检索、统计和管理。数据管理 支持添加单文件、多文件、数据库等多种形态，矢量、栅格、倾斜摄影等多种类型数据，同时可通过上传文件和基于OSS共享...
计算引擎 云原生大数据计算服务MaxCompute 本案例中，基于DataWorks使用 云原生大数据计算服务MaxCompute、开源全托管服务EMR Serverless StarRocks、开源大数据平台 E-MapReduce 或 开源全托管服务EMR Serverless Spark 中的任意一种作为 ...
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
通过MaxCompute、AnalyticDB MySQL强大的数据加工和分析能力，降低大数据平台建设的门槛，轻松解决了海量数据的计算问题。同时有效降低企业成本，并保障数据安全。与第三方开源生态无缝对接，在不侵入用户应用的情况下，传输日志至日志服务...
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
前提条件 数据湖构建采用OSS作为统一数据湖位置，您需要注册一个OSS的Bucket或指定OSS路径作为数据湖位置。详情请参见 创建存储空间。控制台概览 数据湖构建控制台 概览分为2个部分，左侧为主要功能区，右侧为产品主要信息，帮助您快速上手...
例如：“统一数据接入”、“ODS层”、“数仓汇总层”等。适用场景 部门业务单一，部门内部人员具备开发能力，数据共享场景较少，单一部门即可完成端到端业务开发。业务优先的攻坚项目，多部门联合项目。大型数仓，企业数仓公共层，数据中台...
Cloudera CDP企业数据云平台是一款统一的企业级数据管理与分析平台。本文系统阐述了其核心概念、产品优势、应用场景与计费模式，助您快速构建安全、高效的企业数据基石。
DataFlow集群可以通过数据湖构建（DLF）的统一元数据服务，访问DataLake集群或自定义集群中的Hudi表数据。本文为您介绍DataFlow集群如何连接DLF并读取Hudi全量数据。前提条件 已在E-MapReduce控制台上创建DataFlow集群和DataLake集群，且在...
数据资产编目，数据管理者对平台数据资产进行梳理，确定其共享属性，并按照技术标准，进行数据类目定义。数据资产上线，将已经注册管理的高质量数据资产资源发布，供数据使用者查询和使用。数据资产申请，数据使用者向数据管理方提出使用...
数据资产编目，数据管理者对平台数据资产进行梳理，确定其共享属性，并按照技术标准，进行数据类目定义。数据资产上线，将已经注册管理的高质量数据资产资源发布，供数据使用者查询和使用。数据资产申请，数据使用者向数据管理方提出使用...
数据湖构建是一款全托管的统一元数据和数据存储及管理平台，旨在为客户提供元数据管理、权限管理和存储优化等功能。DLF与多个阿里云大数据计算引擎无缝对接，打破数据孤岛，帮助用户迅速实现云原生数据湖及OpenLake解决方案的构建与管理。...
数据运营与管理 数据资产与安全：对数据库、数据仓库和数据湖进行统一数据资产管理、数据安全管理和数据治理。数据库设计与开发：提供多种数据设计与开发工具，如无锁变更、数据导入、结构同步、表一致性修复、数据库分组、数据追踪等。...
Kafka Manager 自研 DLF-Auth DLF-Auth是数据湖构建DLF产品提供，可以对DLF管理的数据库、数据表、数据列、函数等进行细粒度权限控制，实现数据湖上统一的数据权限管理。DLF-Auth 资源管理 资源管理层的组件提供高效的资源调度与管理能力，...
CDP是跨平台收集和整合客户数据的公共数据平台，可帮助您收集实时数据，并将其构建为单独的用户数据使用。您可在DataWorks中注册CDH及CDP集群，基于业务需求进行相关任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和...
现在，您只需一个Serverless资源组，即可统一运行数据同步、周期性调度任务和 API服务 等所有核心操作，极大简化资源管理。该资源组提供两种收费模式以满足不同需求：包年包月：提供稳定、可预期的独享计算资源，是生产环境的理想选择。...
模块 说明 相关文档 数据地图 DataWorks数据地图提供了企业级数据管理平台，能够基于统一元数据的底层建设，提供数据对象的管理和盘点的能力，以及数据对象的快速查找和深度理解的能力。数据地图概述 安全中心 数据保护伞 审批中心 安全...
模块 说明 相关文档 数据地图 DataWorks数据地图提供了企业级数据管理平台，能够基于统一元数据的底层建设，提供数据对象的管理和盘点的能力，以及数据对象的快速查找和深度理解的能力。数据地图概述 安全中心 数据保护伞 审批中心 安全...
模块 说明 相关文档 数据地图 DataWorks数据地图提供了企业级数据管理平台，能够基于统一元数据的底层建设，提供数据对象的管理和盘点的能力，以及数据对象的快速查找和深度理解的能力。数据地图概述 安全中心 数据保护伞 审批中心 安全...
对接多种阿里云大数据计算和搜索引擎、AI引擎，打破数据孤岛，帮助用户快速完成云原生数据湖及OpenLake解决方案的构建与管理，并能做到元数据统一、湖表格式统一、数据存储统一，简化客户在数据湖构建和管理上的运维工作，助力企业专注于...
导出统一元数据库的内容（只导出数据，不用导表结构）。为保证数据的一致性，在Hive服务页面停止Hive的MetaStore服务，保证导出期间不会有新的元数据变化，详情请参见 停止Hive的MetaStore服务。在Hive服务页面，单击 配置 页签。在配置...
背景信息 数据资源平台 会自动上报数据上云、统一服务和质量评估产生的任务到全景监控。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 运维监控。在左侧导航栏，...
阿里云数据湖构建（Data Lake Formation，简称DLF）是一款全托管的统一元数据和数据存储及管理平台，为客户提供元数据管理、权限管理和存储优化等功能。DLF与多个阿里云大数据计算引擎无缝对接，打破数据孤岛，帮助用户快速实现云原生数据...
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
StarRocks自2.3版本起支持Catalog（数据目录）功能，实现在一套系统内同时维护内、外部数据，方便您轻松访问并查询存储在各类外部源的数据。本文为您介绍什么是Catalog，以及如何使用Catalog管理和查询内外部数据。基本概念 内部数据：...
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
数据资源平台 会自动上报数据上云、统一服务和质量评估产生的任务到全景监控。请注意配置告警级别、告警分组、负责人和接收人信息，这些内容与任务异常时告警通知有直接关联。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，...
DLF介绍 数据湖构建（Data Lake Formation，DLF）是一款全托管的统一元数据和数据存储及管理平台，提供企业级安全能力的同时保持开放和开源社区兼容，面向全模态数据存储及管理，集成湖存储格式 Apache Paimon、Apache Iceberg、Lance ...
阿里云数据湖构建（Data Lake Formation，简称DLF）是一款全托管的统一元数据和数据存储及管理平台，旨在为客户提供元数据管理、存储管理、权限管理、存储分析和存储优化等功能。DataWorks数据集成支持写入DLF数据源，本文将为您介绍DLF的...
大数据开发治理平台 DataWorks DataWorks 是一款为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。您可以使用 DataWorks 添加 ApsaraDB For OceanBase 数据源，管理 OceanBase 数据库中的数据，通过数据集成...
DataV 数据集功能提供统一的数据源接入和管理平台。本文将详细介绍其使用说明和管理操作。背景信息 数据集介绍 DataV数据集是基于原始数据源创建的、经过结构化处理的可视化数据集合。支持接入多种数据源，包括数据库、Excel表格文件等，并...
企业数据云平台Cloudera Data Platform（简称阿里云CDP），是阿里云和Cloudera联合打造阿里云上的大数据平台。
本文为您介绍如何通过Jindo命令配置统一命名空间缓存加速。背景信息 JindoFSx存储加速系统提供统一命名空间挂载的功能，可以为应用程序提供统一的命名空间（jindo:/）。应用程序可以通过统一命名空间和接口来访问多个独立的存储系统，从而...
教程简介 阿里云DataWorks基于多种大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、...
以上工作可由平台统一完成，创建过程预计耗时2分钟。说明 执行该操作需要当前登录账号具备如下任意条件：登录账号为阿里云主账号。登录账号被授予 AdministraorAccess 权限的阿里云子账号。授权详情请参见 创建RAM用户并授权。在费用与成本...