根据名称更新数据湖中数据表信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 POST/dlf/v1/{...
本文为您介绍创建独立的Trino集群后，如何配置连接器和数据湖元数据，以使用独立的Trino集群。背景信息 在使用开源大数据平台E-MapReduce控制台时，您可以在创建DataLake集群、自定义集群或Hadoop集群时选择Trino服务，或者创建独立的Trino...
创建数据集 登录 数据湖构建控制台。单击左侧导航栏 数据目录。点击 数据共享 我接收的，找到名为dlf_samples的数据共享，并 创建Catalog。单击 Catalogs 页签，可以看到创建后的Catalog。查询数据集 数据共享目录提供了多种规格的 TPC-DS ...
生命周期管理支持多种类型的生命周期管理规则，通过建立不同的规则，您可以方便地管理数据湖内的数据生命周期，以便节约存储成本。本文为您介绍生命周期管理规则的基础操作。功能说明 通过生命周期管理对数据湖中的数据库、数据表配置数据...
本文为您介绍数据湖构建中Iceberg数据表的基本操作。表类型介绍 特性 采用湖格式Iceberg表,遵循 Apache Iceberg 的开放API规范，推荐使用 Apache Iceberg Client 读写。数据管理 数据由DLF完全管理，包括元数据和实际数据文件。删除表时，...
更新数据湖Catalog的配置，需admin角色以上角色。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限...
OSS Foreign Table外表与本地表关联分析 使用OSS Foreign Table进行数据湖分析 您可以通过OSS Foreign Table将OSS数据导入到AnalyticDB PostgreSQL版数据库。使用OSS Foreign Table导入和导出数据 您可以通过OSS Foreign Table将AnalyticDB...
本文为您介绍数据湖构建中如何对数据目录、数据库、数据表进行授权。使用限制 仅有 DLF super_administrator、DLF admin 以及拥有资源 Grant 权限的用户可以为用户或角色赋权，可联系 DLF super_administrator 赋予 admin 权限。数据目录 ...
本文介绍Cloudera企业数据云平台服务关联角色AliyunServiceRoleForCDP以及如何删除该角色。背景信息 Cloudera企业数据云平台服务关联角色AliyunServiceRoleForCDP是Cloudera企业数据云平台在某些情况下，为了完成自身的某个功能，需要获取...
如果您开通了数据湖管理功能，还可以查询到存储分层分布统计和大小文件分布统计信息。适用场景 随着业务逐渐增大，期望能尽快分析出每个表中存储数据大小，以便更有针对性地进行存储优化，此时结合表存储大小可以解决此类场景。数据越来越...
获取数据湖Catalog的配置，需admin角色以上角色。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限...
StarRocks提供了开箱即用的数据湖查询功能，非常适用于对湖中的数据进行探查式查询分析。通过使用异步物化视图，您可以为数据湖中的报表和应用实现更高的并发，以及更好的性能。本文为您介绍如何使用StarRocks的异步物化视图来优化数据湖中...
获取数据湖具体的一个数据库的详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/dlf/v1/{...
数据目录是数据湖构建（Data Lake Formation）或 Hive Metastore(HMS)的元数据最上层实体，可以包含若干个数据库。在EMR Serverless Spark中，您可以通过该功能来查看绑定的数据目录中的数据库和表，还可以添加已有的数据目录。该功能适用...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
元数据管理是构建数据湖重要一环，通过有效的集中式元数据管理，可以提升数据资产价值。本文为您介绍数据湖构建中数据库、数据表及函数的相关操作。数据库 创建数据库 登录 数据湖管理控制台。在左侧菜单栏，选择 元数据 元数据管理。单击 ...
本文为您介绍数据湖构建中Format数据表的基本操作。表类型介绍 数据管理：数据由DLF完全管理，包括元数据和实际数据文件。存储系统：数据存储路径由DLF基于UUID自动生成，用户无需手动指定存储路径。删除行为：删除表时，默认保留数据1天以...
对User/数据湖角色授予资源的操作权限。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
数仓/数据湖构建 周期性地将线上业务数据库（OLTP）的全量或增量数据，批量同步至数据仓库或数据湖的贴源层（ODS），作为后续数据分析的源头。数据备份与灾备 定期将生产数据库的全量数据备份到低成本的存储介质（如HDFS、OSS）。跨地域/...
取消对User/数据湖角色授予资源的操作权限。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略...
数据目录（Catalog）是数据湖构建（Data Lake Formation）的元数据最上层实体，它可以包含多个数据库。本文为您介绍数据目录（Catalog）的基本操作。适用场景 主要适用于元数据隔离的场景，比如多个E-MapReduce集群，每个集群绑定不同的...
对User/数据湖角色的权限进行更新。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
调用此API可以获取数据湖的数据库列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
本文为您介绍在数据湖构建中如何快速配置权限。配置API权限 您可以使用以下三种方式获取API的授权。联系阿里云账号（主账号）或RAM管理员，为您添加AliyunDLFFullAccess，您即可具备所有DLF API的调用权限。联系阿里云账号（主账号）或RAM...
删除数据湖数据目录 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用...
通过 PVFS，开发者和数据工程师可以在本地或脚本环境中便捷地探索、调试和操作 Paimon 表，显著提升数据湖开发与运维效率。权限控制 PVFS文件系统使用DLF统一的权限控制策略，以表粒度控制文件的读写权限，详情请参见 快速配置权限。
Ververica Flink支持的实时数据源 存储类型 数据源类型 读 写 维表读 大数据存储 MaxCompute 支持 支持 支持 DataHub 支持 支持-Hologres 支持 支持 支持 数据湖 Hudi 支持 支持-Iceberg 支持（仅支持原生DDL方式）支持（仅支持原生DDL方式...
数据湖分析 云原生数据仓库AnalyticDB PostgreSQL版 可以通过外部表机制，高并行直接访问海量云存储OSS上的数据，构筑阿里云统一数据湖分析平台。产品功能优势 针对主要的OLAP业务，云原生数据仓库AnalyticDB PostgreSQL版 具备以下优势。...
外部项目无法被独立创建和使用，需要配合数据湖集成，用以实现访问和管理Hadoop集群Hive数据库中的表数据，或数据湖构建DLF中的表数据。详情参见 MaxCompute湖仓一体。外部项目本身没有执行作业的权限，需要关联到MaxCompute项目，通过 ...
提升整体企业数据资产安全透明度，强化企业数据治理能力。降低数据安全运维成本，为企业制定数据安全策略提供强有力的数据支撑。智能化：运用大数据和机器学习能力，通过智能化的算法，对敏感数据和高风险活动，例如数据异常访问和潜在的...
DLF产品（数据湖构建）提供元数据抽取和数据探索的功能，本文介绍如何通过DLF完成对淘宝用户行为样例的分析。前提条件 已创建 OSS Bucket。如未创建，请参见 创建存储空间。操作流程 服务开通：开通阿里云账号及DLF和OSS相关服务。样例数据...
调用此API可以获取数据湖的数据目录列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句...
OSS-HDFS服务（即JindoFS服务）是一个基于OSS的云原生数据湖存储功能。该服务基于统一的元数据管理能力，完全兼容HDFS文件系统接口。此外，由于数据存储在OSS中，OSS-HDFS服务完美地继承了OSS的数据保护功能。在EMR集群中内置了JindoSDK，...
本文为您介绍 数据湖构建（DataLake）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。数据湖构建（DataLake）的RAM代码（RamCode）为 dlf，支持的授权粒度为 操作级。权限策略通用结构 权限策略支持JSON格式，...
调用此API可以获取数据湖中表的基本信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句...
本文主要为您介绍如何将已有EMR集群中存储在RDS或内置MySQL中的Hive Metastore元数据迁移到DLF，并说明如何在EMR集群中切换DLF作为统一元数据，从而实现多种数据源入湖，搭建高效的数据湖解决方案。适用场景 从其他大数据集群迁移到阿里云...
获取数据湖中数据表列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/dlf/v1/{catalogId}/...
查询外部数据源 SelectDB 支持联邦查询，能够对数据湖、数据库、远端文件等外部数据源进行联邦分析，从而为您提供简单而高效的数据分析体验。更多详情，请参见 数据湖分析 与 数据库分析。升级内核版本 SelectDB 支持升级内核版本。该升级...
企业数据云平台Cloudera Data Platform（简称阿里云CDP），是阿里云和Cloudera联合打造的阿里云上的大数据平台。前置概念 阅读本文前，您可能需要了解如下概念：什么是边缘计算？什么是人工智能（AI）？什么是SQL？Cloudera CDP企业数据云...
NAS 通用型 NAS 文件存储 EXTREM_NAS 极速型 NAS 文件存储 DLF_LANCE 数据湖构建 CPFS CPFS 文件存储 BMCPFS 智算 CPFS 文件存储 MAXCOMPUTE MaxCompute 表 OSS CreatorId string 创建者 ID 210484359 Readme string 数据集使用说明，支持 ...