本文为您介绍数据湖构建中Format数据表的基本操作。表类型介绍 数据管理：数据由DLF完全管理，包括元数据和实际数据文件。存储系统：数据存储路径由DLF基于UUID自动生成，用户无需手动指定存储路径。删除行为：删除表时，默认保留数据1天以...
数据目录（Catalog）是数据湖构建（Data Lake Formation）的元数据最上层实体，它可以包含多个数据库。本文为您介绍数据目录（Catalog）的基本操作。适用场景 主要适用于元数据隔离的场景，比如多个E-MapReduce集群，每个集群绑定不同的...
存储概览开通 登录 数据湖构建控制台。在左侧菜单栏，单击 湖管理 存储概览，单击 立即启用，开启存储概览功能。重要 开通湖资产，数据库的OSS地址会将文件的统计信息写入到OSS中，将产生少量存储成本。首日开通无统计数据，需要等待第二...
Location托管可以将数据湖OSS中的存储数据托管到数据湖构建（DLF）中进行管理和分析，在托管Location后将可以为您提供 存储概览，生命周期管理介绍，数据表-数据概况（如数据访问频次，数据最后更新时间等），以及存储权限等数据湖管理能力...
本文介绍数据湖构建中各资源的计费规格，包括元数据对象存储、元数据请求、数据探索和湖管理优化。计量计费项 重要 DLF产品目前所有功能为 0折扣活动阶段，即使超过免费阶梯限定后，目前也均不会产生实际计费。元数据对象的存储量 元数据...
阿里云将对《数据湖构建服务（DLF-Legacy）服务级别协议》（“SLA”）进行修订。本次修订仅涉及将服务名称由“DLF”更新为“DLF-Legacy”，SLA 的其他条款内容均保持不变。修订后的 SLA 自北京时间 2025 年 9 月 30 日起正式生效。修订后的...
本文为您介绍在数据湖构建中如何快速使用DLF。前提条件 在使用DLF前，已完成阿里云账号角色授权，且已开通DLF服务。详情请参见 授权并开通DLF。说明 授权和开通操作仅需在首次使用DLF时完成。若使用RAM用户管理Catalog，需满足以下权限要求...
本文为您介绍 数据湖构建（DataLake）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。数据湖构建（DataLake）的RAM代码（RamCode）为 dlf，支持的授权粒度为 操作级。权限策略通用结构 权限策略支持JSON格式，...
数据目录 登录 数据湖构建控制台。在 数据目录 列表页面，单击目标Catalog名称，查看数据目录详细信息。单击 存储概览 页签，您可查看当前数据目录的物理存储数据，包括：元数据使用观测：展示元数据对象、库、表及分区的总数量统计。...
操作步骤如下：登录 数据湖构建控制台。单击左侧菜单栏的 系统和安全，进入系统和安全页面。单击 系统安全 页签，单击 新增VPC ID。在弹出的对话框中，输入VPC ID，单击 确定。授予角色DLF权限 授予ECS角色RAM权限。如果是EMR集群，则角色...
本文为您介绍 数据湖构建 为 RAM 权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。数据湖构建 的 RAM 代码（RamCode）为 dlf，支持的授权粒度为 操作级。权限策略通用结构 权限策略支持 JSON 格式，其通用结构如下：{...
近7天文件访问次数 该表最近7天的访问次数 近30天文件访问次数 该表最近30天的访问次数 操作说明 登录 数据湖构建控制台。在左侧菜单栏，选择 元数据 元数据管理。单击 数据表 页签，选择目标 数据目录 和 库名，输入搜索的表名。单击目标...
在 数据湖构建控制台 授予角色或子账号待同步数据表的 Data Editor 权限，详情可参见 授权管理。DLF数据目录（Catalog）选择DataWorks同地域下的 DLF数据目录。数据库名称 选择数据目录下的数据库。以上内容配置完成后，需在连接配置模块...
参数 说明 产品 数据湖构建（DLF）资源范围 选择 实例，报警规则作用于Catalog。关联资源 单击 添加实例，左上角选择目标地域，然后勾选需要监控的Catalog，单击 确认。规则描述 单击 添加规则 简单指标 或 组合指标，进入 设置规则描述 ...
本文主要介绍数据湖构建（DLF）的权限体系说明，介绍如何为子账号授予合适的权限，以便其可以正确使用和访问DLF的功能。数据湖构建（DLF）产品的权限体系主要分为RAM权限以及DLF数据权限控制两大类，如果您要访问DLF的页面或数据，一般都...
感谢您一直以来对阿里云数据湖构建（DLF-Legacy）产品的支持与信任。为了能够更好地集中资源提升服务质量及用户体验，自2026年03月31日起，数据探索将逐步在各地域下线。下线详情 下线时间：2026年03月31日 下线功能：DLF-Legacy产品的...
感谢您一直以来对阿里云数据湖构建（DLF-Legacy）产品的支持与信任。为了能够更好地集中资源提升服务质量及用户体验，自2026年03月31日起，数据入湖将逐步在各地域下线。下线详情 下线时间：2026年03月31日 下线功能：DLF-Legacy产品的...
通过Serverless Spark访问DLF文件 登录 数据湖构建控制台。在绑定的DLF Catalog的default数据库下，创建一个名为 object_table 的 Object表。单击新建的表，进入表详情页，在上方选择 文件列表 页签。单击上传文件：employee.csv。返回 EMR...
数据湖构建（DLF）可以结合阿里云实时计算Flink版（Flink VVP），以及Flink CDC相关技术，实现灵活定制化的数据入湖。并利用DLF统一元数据管理、权限管理等能力，实现数据湖多引擎分析、数据湖管理等功能。本文为您介绍Flink+DLF数据湖方案...
本文为您介绍数据湖构建中如何对数据目录、数据库、数据表进行授权。使用限制 仅有 DLF super_administrator、DLF admin 以及拥有资源 Grant 权限的用户可以为用户或角色赋权，可联系 DLF super_administrator 赋予 admin 权限。数据目录 ...
感谢您一直以来对阿里云数据湖构建（DLF-Legacy）产品的支持与信任。为了能够更好地集中资源提升服务质量及用户体验，自2026年03月31日起，元数据抽取将逐步在各地域下线。下线详情 下线时间：2026年03月31日 下线功能：DLF-Legacy产品的...
感谢您一直以来对阿里云数据湖构建（DLF-Legacy）产品的支持与信任。为了能够更好地集中资源提升服务质量及用户体验，自2026年03月31日起，元数据迁移将逐步在各地域下线。下线详情 下线时间：2026年03月31日 下线功能：DLF-Legacy产品的...
操作步骤 登入 数据湖构建控制台。在左侧导航栏，单击 元数据 元数据抽取。在元数据抽取页面，单击 新建抽取任务。输入元数据抽取任务的配置参数，详细参数说明如下。参数配置 字段描述 抽取任务名称 元数据抽取任务的名称，输入为中英文...
感谢您一直以来对阿里云数据湖构建（DLF-Legacy）产品的支持与信任。为了能够更好地集中资源提升服务质量及用户体验，自2026年03月31日起，湖格式管理将逐步在各地域下线。下线详情 下线时间：2026年03月31日 下线功能：DLF-Legacy产品的...
镜像构建提供将应用的源代码编译成镜像的服务能力。创建构建后，系统会自动在 ACR 镜像中心上创建出以应用名为仓库名称的镜像仓库。镜像成功构建后，会自动推送到该镜像仓库。创建构建 本部分介绍如何通过容器应用服务控制台完成镜像构建...
镜像构建提供将应用的源代码编译成镜像的服务能力。镜像成功构建后，默认会推送至 LHC 默认的镜像中心。创建构建 本部分介绍如何通过单元化应用服务控制台完成镜像构建操作。前提条件 已创建应用。操作步骤 登录控制台，在左侧导航栏单击 ...
数据目录（Catalog）是数据湖构建（Data Lake Formation）的元数据顶层逻辑实体，采用层级化结构组织元数据资源。适用于不同业务或不同用户间的元数据隔离与权限管控，以及湖数据存储和湖表运维管理等场景。本文为您介绍数据目录（Catalog...
构建核分 构建核分为当前组织内所有流水线任务构建核分总和（仅使用云效公共构建集群的任务会纳入构建核分统计，使用私有构建集群的任务不纳入构建核分统计），包括 Flow 流水线任务、Codeup 代码扫描任务、AppStack 研发流程任务。构建...
构建镜像示例一：基于固定分支main构建镜像（支持手动立即构建）基于固定分支main构建镜像的规则参数配置示例如下：类型：Branch Branch/Tag：main 构建上下文目录：/Dockerfile文件名：Dockerfile 镜像版本：latest 当main分支上源代码...
构建镜像示例一：基于固定分支main构建镜像（支持手动立即构建）基于固定分支main构建镜像的规则参数配置示例如下：类型：Branch Branch/Tag：main 构建上下文目录：/Dockerfile文件名：Dockerfile 镜像版本：latest 当main分支上源代码...
构建集群对比 公共构建集群 VPC托管构建集群 私有构建集群 构建机来源 云效提供 云效提供 用户自己准备主机 构建机覆盖地域 北京、杭州、香港 上海 取决于用户主机 操作系统 Linux Linux Linux/Windows/macOS 网络连接方式 必须通过公网...
本文介绍如何在个人版实例创建镜像仓库、设置构建规则以及构建镜像。使用说明 说明 个人版镜像构建的超时时间设定为30分钟。如果您对构建性能有要求，需要使用灵活构建配置、自定义构建参数、多架构构建等功能，建议您使用企业版实例构建...
安装DataLake SDK 您可以在Maven Repository中获取数据湖构建最新的SDK包，获取地址 Maven SDK地址。dependency groupId com.aliyun /groupId artifactId datalake20200710 /artifactId version 2.0.12 /version /dependency 参考示例 您...
3.镜像构建缓存 3.1 镜像构建任务缓存 云效流水线镜像构建任务提供了构建缓存能力：当使用公共构建集群时：云效流水线会在构建环境中临时拉起一个 buildkitd 的 sidecar 容器，然后在镜像构建的容器中通过 http 连接到这个 buildkitd，使用...
构建集群 支持以下构建集群：云效默认构建集群 私有构建集群 构建环境 支持以下构建环境：指定容器环境（云效默认构建集群）：流水线 Flow 在构建机器上启动指定容器，在单容器环境进行构建。云效提供 官方常用镜像 供选择使用、您也可以...
您可以通过以下两种方式触发构建规则：在 构建 页面 构建规则设置 区域单击目标构建规则 操作 列下的 立即构建，触发构建规则。向代码仓库的master分支提交代码，触发构建规则。说明 在 构建 页面 构建日志 区域单击目标构建任务 操作 列的...
登录 数据湖构建控制台。在左侧导航栏，单击 数据目录，进入数据目录页面。单击 数据共享 页签，进入数据共享页面。在 我共享的 页签，单击 创建分享，填写以下信息，单击 确定。名称：共享名称，自定义，唯一标识符。描述：可选，自定义。...
要想修改DLF数据目录的访问权限，只能在数据湖构建控制台修改对应同名RAM用户的权限。（可选）验证用户是否关联成功。因上一步操作有10～20秒的延迟，您可使用该用户登录StarRocks Manager，在 SQL Editor 的 查询列表 页面，单击 图标，...
获取数据湖构建某个用户的服务开通状态。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的...
本文主要介绍云效 Flow 流水线提供的步骤 steps 清单，包括静态扫描、覆盖率、测试、构建、代码、发布、上传、下载、工具等丰富的步骤。分类 步骤 说明 静态扫描 安卓代码扫描 AndroidCodeScan Android 代码扫描步骤。Cpp 代码扫描 ...