企业数据云平台Cloudera Data Platform（简称阿里云CDP），是阿里云和Cloudera联合打造阿里云上的大数据平台。
您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析。目前Apache Paimon提供以下核心能力：基于HDFS或者对象存储构建低成本的轻量级数据湖存储服务。支持在流模式与批模式下...
Iceberg是一种开放的数据湖表格式。您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决...
名称 类型 描述 示例值 object 数据湖元数据角色 Name string 角色名 role_name Description string 角色描述 role description Users Principals ram user/ram role principal 列表，格式为 acs:ram:[accountId]:user/userName,acs:ram:...
本文为您介绍在数据湖构建中如何快速使用DLF。前提条件 在使用DLF前，已完成阿里云账号角色授权，且已开通DLF服务。详情请参见 授权并开通DLF。说明 授权和开通操作仅需在首次使用DLF时完成。若使用RAM用户管理Catalog，需满足以下权限要求...
阿里云 DLF 即将开启商业化运营 阿里云数据湖构建（DLF）服务将于 2025 年 11 月下旬正式开启商业化运营。届时，DLF 将启动计费机制，并同步提供服务等级协议（SLA）保障。计费说明 商业化启动后，DLF 相关功能将按标准计费。详细费用信息...
JindoCache（原JindoFSx）是阿里云EMR提供的用于加速云原生数据湖的一个服务。他提供了数据缓存和元数据缓存等加速功能，并根据不同的CacheSet提供不同的读写策略，以满足数据湖在不同使用场景下对访问加速的需求。背景信息 CacheSet是...
阿里云EMR针对不同业务场景提供了数据湖集群、数据分析集群、实时数据流集群、数据服务集群四类预定义业务场景。若您的业务需集成特定组合的组件，您可创建自定义集群，灵活组合EMR提供的组件，打造适配业务特性的大数据平台。本文将为您...
通过MaxCompute与DLF和OSS的组合，可以实现数据仓库和数据湖的一体化，提供更加灵活和高效的数据处理能力。本文介绍如何通过MaxCompute、DLF和OSS构建湖仓一体，以及湖仓一体项目的管理。适用范围 仅华东1（杭州）、华东2（上海）、华北2...
Location托管可以将数据湖OSS中的存储数据托管到数据湖构建（DLF）中进行管理和分析，在托管Location后将可以为您提供 存储概览，生命周期管理介绍，数据表-数据概况（如数据访问频次，数据最后更新时间等），以及存储权限等数据湖管理能力...
DLF 作为阿里云统一的数据湖底座，旨在无缝集成主流大数据计算引擎，为实时湖仓、离线湖仓及 OLAP 分析等多样化业务场景提供强大支持。目前，DLF已与实时计算Flink（VVP）、EMR Serverless Spark、EMR Serverless StarRocks 和 EMR on ECS ...
本文为您介绍如何管理数据湖构建中已添加的用户。查看用户列表 登录 数据湖构建控制台。在左侧菜单栏，单击 数据权限 用户，可以查看当前账号下的所有RAM用户信息。说明 用户管理功能仅适用于RAM用户或角色。系统会自动添加当前账号下的...
DataWorks为您提供DLF可视化权限申请、权限审批及权限审计等功能，帮助您实现数据湖全托管的统一权限管理，本文为您详细介绍如何进行DLF数据访问权限管控。前提条件 已将DLF设置为计算引擎元数据服务。例如，EMR已将DLF设置为元数据服务，...
Cloudera CDP企业数据云平台是一款统一的企业级数据管理与分析平台。本文系统阐述了其核心概念、产品优势、应用场景与计费模式，助您快速构建安全、高效的企业数据基石。
本文为您介绍数据湖构建中数据库的基本操作。说明 如果已经在其他平台上（如EMR、Flink等）关联了Catalog，也可在这些平台上创建数据库和表，元数据将会直接写入DLF中。详情请参见 引擎对接。新建数据库 登录 数据湖构建控制台。在 数据...
DLF-Auth组件是数据湖构建DLF（Data Lake Formation）产品提供的，通过该组件可以开启数据湖构建DLF的数据权限功能，可以对数据库、数据表、数据列、函数进行细粒度权限控制，实现数据湖上统一的数据权限管理。本文为您介绍如何开启DLF-...
在业务运行中，经常会沉淀到大量数据到数据湖中这部分数据可能是没有像数据仓库一样经过严格的数据管理流程或沉淀规范明确的元数据信息。元数据抽取可以分析数据湖中特定格式的数据，并自动生成元数据信息，通过周期性或手动执行，实现数据...
EMR集群类型 元数据存储类型 数据存储类型：OSS 数据存储类型：OSS-HDFS 数据存储类型：HDFS 新版数据湖集群（DataLake）数据湖构建（DLF）RDS实例 MySQL 自定义集群（Custom）数据湖构建（DLF）RDS实例 MySQL 其他集群-数据保护伞为什么有...
您在使用数据湖构建（Data Lake Formation，简称DLF）控制台和接口时，产品做了如下限制，请在使用时注意不要超过相应的限制值，以免出现异常。元数据管理 限制项 用户配额 单表QPS 500 单表分区数量 100万 用户管理 限制项 用户配额 一个...
本文主要介绍数据湖构建（DLF）的权限体系说明，介绍如何为子账号授予合适的权限，以便其可以正确使用和访问DLF的功能。数据湖构建（DLF）产品的权限体系主要分为RAM权限以及DLF数据权限控制两大类，如果您要访问DLF的页面或数据，一般都...
Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于开源的Hadoop集群提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据变化。背景信息 ...
数据湖存储格式 Hudi、Iceberg、Paimon 提供多种数据湖存储格式，满足用户实时（Hudi）、分析（Iceberg）、流批一体（Paimon）多种数据湖处理需求，同时兼容Spark、Hive、Presto、Trino等主流分析引擎。湖元数据治理 Data Lake Formation...
用户管理 查看用户列表 登录 数据湖构建控制台。在左侧导航栏，单击 系统和安全。在 访问控制 页签中的 用户 页签，单击 同步，系统会自动添加当前账号下的所有RAM用户/角色，被统一管理为DLF用户。说明 如果某 RAM 用户或角色被删除，其在...
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对...元数据使用数据湖构建DLF，助力数据湖构建。
阿里云将对《数据湖构建服务（DLF-Legacy）服务级别协议》（“SLA”）进行修订。本次修订仅涉及将服务名称由“DLF”更新为“DLF-Legacy”，SLA 的其他条款内容均保持不变。修订后的 SLA 自北京时间 2025 年 9 月 30 日起正式生效。修订后的...
本文为您介绍数据湖构建中Object数据表的基本操作。新建数据表 登录 数据湖构建控制台。在 数据目录 列表页面，单击Catalog名称，进入Catalog详情页。在 数据库 列表中，单击数据库名称，进入表列表页。在 表列表 中，单击 新建数据表。...
本文为您介绍数据湖构建中Lance数据表的基本操作。新建数据表 登录 数据湖构建控制台。在 数据目录 列表页面，单击Catalog名称，进入Catalog详情页。在 数据库 列表中，单击数据库名称，进入表列表页。在 表列表 中，单击 新建数据表。配置...
感谢您一直以来对阿里云数据湖构建（DLF-Legacy）产品的支持与信任。为了能够更好地集中资源提升服务质量及用户体验，自2026年03月31日起，湖格式管理将逐步在各地域下线。下线详情 下线时间：2026年03月31日 下线功能：DLF-Legacy产品的...
如果您第一次进入CDP 管控台，首先进行RAM角色授权：说明 使用CDP企业数据云产品之前需要主账号或权限管理员创建如下服务关联角色 角色名称：AliyunServiceRoleForCDP 角色权限策略：AliyunServiceRolePolicyForCDP Cloudera企业数据云平台...
删除数据湖中的数据库。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 DELETE/dlf/v1/{catalogId}/...
为确保RAM用户能正常使用CDP企业数据云控制台的功能，您需要使用云账号登录访问控制RAM（Resource Access Management），授予RAM用户相应的权限。背景信息 访问控制RAM是阿里云提供的资源访问控制服务，更多详情请参见 什么是访问控制。...
感谢您一直以来对阿里云数据湖构建（DLF-Legacy）产品的支持与信任。为了能够更好地集中资源提升服务质量及用户体验，自2026年03月31日起，数据探索将逐步在各地域下线。下线详情 下线时间：2026年03月31日 下线功能：DLF-Legacy产品的...
删除数据湖的数据表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 DELETE/dlf/v1/{catalogId}/...
创建数据湖的数据表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 POST/dlf/v1/{catalogId}/...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括 JindoFS 存储系统（原JindoFS Block模式）...
感谢您一直以来对阿里云数据湖构建（DLF-Legacy）产品的支持与信任。为了能够更好地集中资源提升服务质量及用户体验，自2026年03月31日起，元数据抽取将逐步在各地域下线。下线详情 下线时间：2026年03月31日 下线功能：DLF-Legacy产品的...
感谢您一直以来对阿里云数据湖构建（DLF-Legacy）产品的支持与信任。为了能够更好地集中资源提升服务质量及用户体验，自2026年03月31日起，元数据迁移将逐步在各地域下线。下线详情 下线时间：2026年03月31日 下线功能：DLF-Legacy产品的...
步骤三：通过DataWorks管理湖仓一体 使用湖仓一体 在DataWorks控制台页面左侧导航栏，单击 数据湖集成（湖仓一体）。在 数据湖集成（湖仓一体）页面，选择目标外部项目，开始使用湖仓一体。使用湖仓一体。单击目标外部项目 操作 列的 使用...
更多信息，请参见 创建数据湖。可选：将数据湖录入至DMS实例中。您可以在SQL窗口中进行数据查询，在任务编排中进行数据分析与数据开发。说明 录入DMS实例，请参见 云数据库录入。可选：数据归档成功后，您可以进行源表数据删除和空间优化。...
介绍DLF的邀测说明。免费邀测时间说明 DLF免费邀测已于2025年04月17日开启。邀测阶段面向所有用户开放，您可以填写 问卷 申请试用。申请通过后，即可使用。免费邀测限制 邀测期间，有以下限制：DLF Catalog的...什么是数据湖构建 快速使用DLF