本文为您介绍数据湖构建的常见问题。如何申请数据湖构建产品的公测资格？数据湖构建如何收费？数据湖构建与OSS有什么区别？什么情况下我需要使用数据湖构建？如何申请数据湖构建产品的公测资格？请使用阿里云 主账号 进行公测资格申请（请...
阿里云数据湖构建（Data Lake Formation，简称 DLF）是一款全托管的快速帮助用户构建云上数据湖及Lakehouse的服务，为客户提供了统一的元数据管理、统一的权限与安全管理以及一键式数据探索能力。DLF可以帮助用户快速完成云原生数据湖及...
旧版 城市三维场景构建器 是需要您额外购买的增值服务，购买服务后需要购买您所需的三维城市资源包，两者结合才能创建三维城市场景，旧版 城市三维场景构建器 以组件的形式透出在DataV画布编辑器资产面板中，旧版 城市三维场景构建器 的...
数据湖构建的数据表是实现实时离线一体化的核心。本文深度解析了内部表与外部表的本质区别、选型要点及其全生命周期管理，为构建高性能、易维护的现代数据湖奠定基础。
数据湖构建 DLF 服务等级协议（SLA）的详情，请参见 数据湖构建DLF服务等级协议。
领先的开源生态：深度集成Paimon，提供全托管的元数据与存储管理，并与阿里云的计算引擎及AI产品无缝对接，构建强大的生态系统。应用场景 Lakehouse场景 Lakehouse结合了数据仓库与数据湖的优点，提供了一套能够处理多样化数据类型并保持高...
在使用DLF之前，您需要通过DLF管控台进行云资源访问授权，为阿里云账号授予系统默认角色AliyunDLFNextWorkFlowDefaultRole，该授权操作可自动完成，无需手动配置。每个账号仅需授权一次，且无需为其他RAM用户额外操作。此外，请按需开通...
兼容开源并具备更强大的生态 Paimon商业化增值平台，兼容开源并超越开源，与阿里云大数据+搜索+AI多引擎融合，构建强大的生态系统。并实现引擎平权，各引擎元数据、存储、权限统一管理。更多信息详情请参见 什么是数据湖构建。控制台入口：...
系统内置角色：admin（数据湖管理员）：拥有数据湖构建中，所有的数据权限及授权权限。super_administrator（超级管理员）：拥有数据湖构建中，所有的数据权限及授权权限，可以对admin的用户进行修改。创建角色 在角色列表页面，单击 创建...
自2021年1月起，数据湖构建（DLF）服务等级协议（SLA）生效。详细内容参考 数据湖构建服务等级协议。
元数据检索是指通过构建一个高效且全面的索引系统，实现对数据湖中数据目录、数据库、表结构等信息进行快速定位与查询的过程。本文为您介绍在数据湖构建中如何进行元数据检索。操作步骤 登录 数据湖构建控制台。在左侧菜单栏，单击 元数据 ...
本文为您介绍使用数据湖构建OpenAPI的基本信息及注意事项。说明 关于如何使用阿里云OpenAPI，请参见学习文档：使用OpenAPI。基本信息 版本说明 版本号 说明 2020-07-10 推荐 接入点说明 参见 服务接入点。用户身份 用户身份 支持情况 阿里...
元数据管理 元数据管理是构建高效数据湖的关键组成部分，通过集中化和系统化的元数据管理，能够显著提升数据资产的价值与可用性。您可以使用该功能管理数据湖中的数据目录、数据库和数据表。创建数据目录 登录 数据湖构建控制台。在左侧...
您在使用数据湖构建（Data Lake Formation，简称DLF）控制台和接口时，产品做了如下限制，请在使用时注意不要超过相应的限制值，以免出现异常。元数据管理 限制项 用户配额 单表QPS 500 单表分区数量 100万 用户管理 限制项 用户配额 一个...
2021/12/31 新功能 创建 Tag 标签支持填写相关描述。2021/12/29 新功能 支持.net core 6.0。2021/12/24 新功能 Golang 新增版本 1.17.3。2021/12/17 新功能 新增系统默认 环境变量。CI_SOURCE_NAME：代码源名称。多个代码源情况下，支持...
本文为您介绍如何管理数据湖构建中已添加的用户。查看用户列表 登录 数据湖构建控制台。在左侧菜单栏，单击 数据权限 用户，可以查看当前账号下的所有RAM用户信息。说明 用户管理功能仅适用于RAM用户或角色。系统会自动添加当前账号下的...
文件访问：通过 Paimon 虚拟文件系统（PVFS），将表数据抽象为标准文件路径，直接读取底层数据文件与元数据，无需依赖完整计算引擎，适用于脚本化探索、调试及轻量级数据处理。通过这三种方式，您可以根据自身引擎的技术栈和架构偏好，选择...
新增授权 打开 数据湖构建控制台，并以数据湖管理员身份或已有授权权限的用户身份登录。在左侧菜单栏，单击 数据权限 数据授权。单击 新增授权，打开新增授权页面。指定 授权主体。主体类型：可以选择RAM用户/角色或DLF角色。RAM用户/角色...
阿里云 DLF 即将开启商业化运营 阿里云数据湖构建（DLF）服务将于 2025 年 11 月下旬正式开启商业化运营。届时，DLF 将启动计费机制，并同步提供服务等级协议（SLA）保障。计费说明 商业化启动后，DLF 相关功能将按标准计费。详细费用信息...
本文主要介绍数据湖构建（DLF）的权限体系，重点阐述如何为RAM用户（子账号）授予适当权限，以确保其能够正确使用和访问DLF的各项功能。数据湖构建（DLF）的权限体系分为API权限与DLF数据权限两类。如果您要访问DLF的页面或数据，通常都...
本文为您介绍数据湖构建中数据库的基本操作。说明 如果已经在其他平台上（如EMR、Flink等）关联了Catalog，也可在这些平台上创建数据库和表，元数据将会直接写入DLF中。详情请参见 引擎对接。新建数据库 登录 数据湖构建控制台。在 数据...
介绍DLF的邀测说明。免费邀测时间说明 DLF免费邀测已于2025年04月17日开启。邀测阶段面向所有用户开放，您可以填写 问卷 申请试用。申请通过后，即可使用。免费邀测限制 邀测期间，有以下限制：DLF Catalog的...什么是数据湖构建 快速使用DLF
名称 类型 描述 示例值 object iceberg 表元数据 currentSnapshot IcebergSnapshot iceberg 最新 snapshot partitionFields array 分区字段列表 IcebergPartitionField 分区字段 fields array 列字段 IcebergNestedField 列字段 properties...
本文为您介绍数据湖构建中Lance数据表的基本操作。新建数据表 登录 数据湖构建控制台。在 数据目录 列表页面，单击Catalog名称，进入Catalog详情页。在 数据库 列表中，单击数据库名称，进入表列表页。在 表列表 中，单击 新建数据表。配置...
本文为您介绍数据湖构建中Object数据表的基本操作。新建数据表 登录 数据湖构建控制台。在 数据目录 列表页面，单击Catalog名称，进入Catalog详情页。在 数据库 列表中，单击数据库名称，进入表列表页。在 表列表 中，单击 新建数据表。...
MaxCompute+DLF湖仓一体方案打破数据湖与数据仓库割裂的体系，架构上将数据湖的灵活性、生态丰富与数据仓库的企业级能力进行融合，构建数据湖和数据仓库融合的数据管理平台。本文介绍湖仓一体的具体方案。背景信息 大数据计算服务...
newName string 新字段名称，action 是 RenameColumn 时必传。new_col_test newNullability boolean 新字段是否可空，action 是 UpdateColumnType 时必传。true fieldNames array 表字段名称列表，action 是 AddColumn/RenameColumn/...
创建数据集 登录 数据湖构建控制台。单击左侧导航栏 数据目录。点击 数据共享 我接收的，找到名为dlf_samples的数据共享，并 创建Catalog。单击 Catalogs 页签，可以看到创建后的Catalog。查询数据集 数据共享目录提供了多种规格的 TPC-DS ...
本文为您介绍在数据湖构建中如何快速配置权限。配置API权限 您可以使用以下三种方式获取API的授权。联系阿里云账号（主账号）或RAM管理员，为您添加AliyunDLFFullAccess，您即可具备所有DLF API的调用权限。联系阿里云账号（主账号）或RAM...
非生产分支构建 开启后，将对非生产分支（比如非 main 分支）的新提交生成构建版本，但不会自动部署。安装命令 若需先安装依赖，填写命令，例如 npm install。支持 npm、yarn、cnpm、pnpm。构建命令 若需先构建，填写命令，例如 npm run ...
企业构建和应用数据湖一般需要经历数据入湖、数据湖存储与管理、数据湖探索与分析等几个过程。本文主要介绍基于阿里云数据湖构建（DLF）构建一站式的数据入湖与分析实战。背景信息 随着数据时代的不断发展，数据量爆发式增长，数据形式也变...
操作步骤 开启权限 登录 数据湖构建控制台。在左侧菜单栏，单击 数据权限 权限设置。当目标数据目录的权限控制处于关闭状态时，单击 是否开启权限控制 列的，在弹出的确认框中，单击 确定，完成权限开启。说明 权限开启后，访问元数据和...
本文为您介绍在DLF中如何查看系统的资源概览，包括关键的计费指标和限额指标监控信息。通过资源概览，您可以全面掌握当前资源的使用情况、计费状态以及系统限额的实时监控数据，从而更好地进行资源规划和优化管理。查看资源概览 登录 数据...
本文为您介绍数据湖构建中Iceberg数据表的基本操作。表类型介绍 特性 采用湖格式Iceberg表,遵循 Apache Iceberg 的开放API规范，推荐使用 Apache Iceberg Client 读写。数据管理 数据由DLF完全管理，包括元数据和实际数据文件。删除表时，...
获取数据湖构建指定地域的服务开通状态。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的...
当前支持接入的代码平台 支持以下代码托管平台作为代码源：GitHub Gitee GitLab Codeup 触发器事件 支持以下构建触发模式：Push到指定分支：每次新提交代码到指定分支时，系统都会自动构建应用的新版本。手动触发构建：选择手动触发时，...
应用管理将从远端拉取最新的代码构建并更新容器镜像，并运行新版本的容器应用。应用管理也支持修改云服务器的配置，包括实例规格和公网带宽。限制条件 仅支持创建单ECS实例的应用，且新建ECS实例操作系统为Alibaba Cloud Linux 3。支持...
元数据迁移提供可视化的元数据迁移能力，可以帮您快速地将Hive Metastore的元数据迁移到数据湖构建（DLF）中。使用限制 支持的Hive版本：2.3.x，3.1.x 版本。支持的数据库类型：MySQL。创建元数据迁移任务 登录 数据湖构建控制台。在左侧...
本文为您介绍数据湖构建中Format数据表的基本操作。表类型介绍 数据管理：数据由DLF完全管理，包括元数据和实际数据文件。存储系统：数据存储路径由DLF基于UUID自动生成，用户无需手动指定存储路径。删除行为：删除表时，默认保留数据1天以...
操作路径：智慧零售 营销 拼团活动 普通拼团 4.3.2 老带新拼团 新老用户都可下单开团，仅限新用户参团，快速拉动新客户的使用。操作路径：智慧零售 营销 拼团活动 老带新拼团 4.3.3 拼团活动列表 拼图活动列表分为普通拼团列表和老带新拼团...