企业构建和应用数据湖一般需要经历数据入湖、数据湖存储与管理、数据湖探索与分析等几个过程。本文主要介绍基于阿里云数据湖构建（DLF）构建一站式的数据入湖与分析实战。背景信息 随着数据时代的不断发展，数据量爆发式增长，数据形式也变...
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持数据湖的多种管理如数据生命周期、湖格式自动优化、存储分析等。同时支持多源数据入湖以及一站式数据探索的能力。本文为您介绍EMR+DLF数据湖方案...
企业级权限 FileSystem Catalog 权限依赖底层文件系统 ACL，仅能控制目录或文件的读写，无法实现表级或列级语义权限，难以满足企业数据安全与合规要求。DLF REST Catalog 基于元数据提供细粒度权限控制，支持表级、列级授权，并可实现跨...
Ganos 栅格引擎提供面向对象的存储能力，单行可保存超过1 TB的超大对象，并支持基于OSS的栅格数据湖扩展能力，同时栅格引擎还提供了栅格空间关系判断、栅格金字塔、栅格统计、栅格属性、栅格图像处理、栅格代数等多种基础算子及匀色、镶嵌...
AnalyticDB for MySQL 新推出的 企业版 和 基础版，融合了 数仓版预留模式、数仓版弹性模式 和 湖仓版 的优点，预留资源采用存算一体架构，保证常规业务的查询性能。如果业务负载有周期性变化或突变的情况，可以弹性增加或减少计算资源。...
云原生数据湖分析（Data Lake Analytics，简称DLA）是无服务器（Serverless）化的数据湖分析服务，支持按需与保留资源使用，打造最具性价比的数据湖分析平台；提供一站式的数据湖分析与计算服务，支持 ETL、机器学习、流、交互式分析，可以...
元数据 API 标题 API概述 目录 目录 CreateCatalog 创建数据湖数据目录 创建数据湖数据目录。DeleteCatalog 删除数据湖数据目录 删除数据目录。UpdateCatalog 更新目录 更新数据目录内容。ListCatalogs 获取数据目录列表 分页查询，获取...
本文为您介绍数据湖构建的常见问题。如何申请数据湖构建产品的公测资格？数据湖构建如何收费？数据湖构建与OSS有什么区别？什么情况下我需要使用数据湖构建？如何申请数据湖构建产品的公测资格？请使用阿里云 主账号 进行公测资格申请（请...
数据湖 库表 API 标题 API概述 ListDataLakeDatabase 获取数据湖的数据库列表 调用此API可以获取数据湖的数据库列表。GetDataLakeDatabase 获取数据湖的数据库信息 调用此API可以获取数据湖中的数据库信息。ListDataLakeCatalog 获取数据湖...
背景信息 通常，企业构建和应用数据湖需要经历数据入湖、数据湖存储与管理、数据探索与分析过程。MaxCompute基于阿里云DLF（Data Lake Formation）、RDS（Relational Database Service）或Flink、OSS（Object Storage Service）产品提供了...
数据湖构建 DLF 服务等级协议（SLA）的详情，请参见 数据湖构建DLF服务等级协议。
本文介绍数据湖连接CONNECTION的创建、修改、删除以及如何为其他用户授权使用。重要 当前功能处于邀测阶段，请用户通过提交工单方式开通。功能简介 数据湖连接（CONNECTION）用于提供对云服务的访问凭证托管，支持在数据发现、外部表计算等...
系统内置角色：admin（数据湖管理员）：拥有数据湖构建中，所有的数据权限及授权权限。super_administrator（超级管理员）：拥有数据湖构建中，所有的数据权限及授权权限，可以对admin的用户进行修改。创建角色 在角色列表页面，单击 创建...
自2021年1月起，数据湖构建（DLF）服务等级协议（SLA）生效。详细内容参考 数据湖构建服务等级协议。
您在使用数据湖构建（Data Lake Formation，简称DLF）控制台和接口时，产品做了如下限制，请在使用时注意不要超过相应的限制值，以免出现异常。数据湖元数据 限制项 用户配额 单表QPS 500 单表分区数量 100万 数据湖入湖预处理作业 限制项 ...
DropCatalog 删除数据湖数据目录 删除数据湖数据目录 ListCatalogs 获取数据目录列表 查看数据目录列表。GetCatalogToken 获取数据目录的临时访问凭证 获取数据湖Catalog的临时访问凭证。数据库 API 标题 API概述 GetDatabase 获取数据库...
阿里云数据湖构建（Data Lake Formation，简称 DLF）是一款全托管的快速帮助用户构建云上数据湖及Lakehouse的服务，为客户提供了统一的元数据管理、统一的权限与安全管理以及一键式数据探索能力。DLF可以帮助用户快速完成云原生数据湖及...
数据湖构建的数据表是实现实时离线一体化的核心。本文深度解析了内部表与外部表的本质区别、选型要点及其全生命周期管理，为构建高性能、易维护的现代数据湖奠定基础。
感谢您一直以来对阿里云数据湖构建（DLF）产品的支持与信任。为了能够更好地集中资源提升服务质量及用户体验，自2023年2月15日起，我们停止更新DLF产品的“数据入湖”功能。DLF产品的 其他功能正常使用，不会受到任何影响。停止更新详情 ...
此外，请按需开通对应地域的数据湖构建服务，即可顺利使用DLF功能。云资源访问授权 通常情况下，首次使用DLF时，您需要完成自动化授权操作，确保DLF能够正常访问相关云资源。登录 数据湖构建控制台。在 云资源访问授权 右侧，单击 授权。在...
阿里云数据湖构建（DLF）免费公测已于 2025 年 8 月 5 日 正式开启，面向所有用户开放。如何参与公测 您可 登录 数据湖构建控制台 开通服务，开通后即可立即使用。公测限制 存储上限：每个 DLF Catalog 的存储容量上限为 200 GB。达到上限...
该功能允许用户通过选择目标备份集并创建数据湖，在离线数据湖中使用SQL语句查询不同备份集中的数据。但随着DLA服务的停止，数据灾备（DBS）的备份数据查询功能也将于2024年05月起逐步下线。更多详情，请参见【通知】停止售卖云原生数据湖...
支持的同步类型 单表离线 数据去向为OSS或OSS-HDFS时，支持的数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：...MySQL整库离线同步到OSS数据湖 LogHub（SLS）单表实时同步至OSS-HDFS数据湖 MySQL整库实时同步至OSS-HDFS数据湖
本文主要介绍数据湖构建（DLF）的权限体系，重点阐述如何为RAM用户（子账号）授予适当权限，以确保其能够正确使用和访问DLF的各项功能。数据湖构建（DLF）的权限体系分为API权限与DLF数据权限两类。如果您要访问DLF的页面或数据，通常都...
背景信息 阿里云数据湖构建是一款全托管的快速帮助用户构建云上数据湖的服务，产品为云原生数据湖提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力，详细信息请参见 数据湖构建产品简介。...
表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。应用场景 利用数据湖投递可以实现如下场景需求：冷热数据分层 数据湖投递结合 表格存储 的 ...
元数据检索是指通过构建一个高效且全面的索引系统，实现对数据湖中数据目录、数据库、表结构等信息进行快速定位与查询的过程。本文为您介绍在数据湖构建中如何进行元数据检索。操作步骤 登录 数据湖构建控制台。在左侧菜单栏，单击 元数据 ...
本文为您介绍使用数据湖构建OpenAPI的基本信息及注意事项。说明 关于如何使用阿里云OpenAPI，请参见学习文档：使用OpenAPI。基本信息 版本说明 版本号 说明 2020-07-10 推荐 接入点说明 参见 服务接入点。用户身份 用户身份 支持情况 阿里...
本章节重点介绍如何使用主流数据湖格式（如Paimon、Hudi、Iceberg）进行数据存储与管理，并结合流批一体技术实现高效的数据处理。使用Paimon 使用Hudi 使用Iceberg 使用Delta Lake 使用DLF 基于Flink、EMR Serverless Spark与Paimon构建流...
全托管数据湖治理：Lindorm列存引擎提供全托管的数据湖治理能力，如文件合并、快照清理、冷热分离等，列存引擎会自动调度计算引擎提供的Spark弹性计算资源来实现数据湖治理。高性能写入：支持百万级QPS的高并发实时写，写入性能随集群规模...
本文介绍数据湖构建中各资源的计费规格，包括元数据对象存储、元数据请求、数据探索和湖管理优化。计量计费项 重要 DLF产品目前所有功能为 0折扣活动阶段，即使超过免费阶梯限定后，目前也均不会产生实际计费。元数据对象的存储量 元数据...
名称 类型 描述 示例值 object 数据湖相关配置 Config object 配置 string 数据湖权限配置,auth.permission.check.enable 表示是否开启元数据服务端鉴权，开启后通过 API 访问元数据将被鉴权，auth.super.principal 表示设置超级用户，超级...
新增授权 打开 数据湖构建控制台，并以数据湖管理员身份或已有授权权限的用户身份登录。在左侧菜单栏，单击 数据权限 数据授权。单击 新增授权，打开新增授权页面。指定 授权主体。主体类型：可以选择RAM用户/角色或DLF角色。RAM用户/角色...
资源 数据湖中管理的资源：数据目录（Catalog）：数据湖元数据最上层实体，它可以包含多个数据库。库（Database）：数据湖元数据中管理的库。表（Table）：数据湖元数据中管理的表。列（Column）：数据湖元数据中管理的列。函数（Function...
实时数据湖涉及的阿里云服务介绍如下：服务 介绍 相关链接 阿里云数据湖构建（Data Lake Formation，DLF）是一款全托管的快速帮助用户构建云上数据湖及Lakehouse的服务，产品提供了云上数据湖统一的元数据管理、统一的权限与安全管理、便捷...
名称 类型 描述 示例值 array 数据湖元数据角色和用户关系列表。UserRoles UserRole 用户角色信息。
EMR on ACK支持使用数据湖元数据DLF（Data Lake Formation）和自建Hive Metastore元数据两种方式，为Spark集群设置元数据。本文为您介绍如何在EMR on ACK中设置Spark集群的元数据。背景信息 因为数据湖元数据DLF具有高可用和易维护的特点，...
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
名称 类型 描述 示例值 object role input Name string 数据湖角色名 test Description string 角色描述 注释 DisplayName string 角色显示名 显示名称，允许中文
感谢您一直以来对阿里云数据湖构建（DLF-Legacy）产品的支持与信任。为了能够更好地集中资源提升服务质量及用户体验，自2026年03月31日起，数据入湖将逐步在各地域下线。下线详情 下线时间：2026年03月31日 下线功能：DLF-Legacy产品的...