存储概览开通 登录 数据湖构建控制台。在左侧菜单栏,单击 湖管理 存储概览,单击 立即启用,开启存储概览功能。重要 开通湖资产,数据库的OSS地址会将文件的统计信息写入到OSS中,将产生少量存储成本。首日开通无统计数据,需要等待第二...
Location托管可以将数据湖OSS中的存储数据托管到数据湖构建(DLF)中进行管理和分析,在托管Location后将可以为您提供 存储概览,生命周期管理介绍,数据表-数据概况(如数据访问频次,数据最后更新时间等),以及存储权限等数据湖管理能力...
本文介绍数据湖构建中各资源的计费规格,包括元数据对象存储、元数据请求、数据探索和湖管理优化。计量计费项 重要 DLF产品目前所有功能为 0折扣活动阶段,即使超过免费阶梯限定后,目前也均不会产生实际计费。元数据对象的存储量 元数据...
阿里云将对《数据湖构建服务(DLF-Legacy)服务级别协议》(“SLA”)进行修订。本次修订仅涉及将服务名称由“DLF”更新为“DLF-Legacy”,SLA 的其他条款内容均保持不变。修订后的 SLA 自北京时间 2025 年 9 月 30 日起正式生效。修订后的...
本文为您介绍在数据湖构建中如何快速使用DLF。前提条件 在使用DLF前,已完成阿里云账号角色授权,且已开通DLF服务。详情请参见 授权并开通DLF。说明 授权和开通操作仅需在首次使用DLF时完成。若使用RAM用户管理Catalog,需满足以下权限要求...
阿里云数据资源平台是构建数据智能的全流程平台,提供数据汇聚、规范设计、指标与标签体系构建、数据质量管控、数据资产管理、数据资产服务与共享、智能分析等核心功能,支持行业知识内容沉淀,帮助金融、政府及企业客户快速构建智能数据中...
名称 类型 描述 示例值 object 分区详情。lastFileCreationTime integer 最新文件创建时间。1741701564261 recordCount integer 记录数。1 fileSizeInBytes integer 文件大小。1 fileCount integer 文件数量。1 done boolean 是否记标完成...
全部触发 步骤四:触发构建并查看信息 当您在Codeup项目的master分支修改并提交代码后,将触发仓库的构建规则进行自动构建,产生新版本的镜像。无状态Deployment会自动重新部署拉取最新版本镜像。在 镜像仓库 页面单击目标仓库右侧 操作 列...
本文为您介绍 数据湖构建(DataLake)为RAM权限策略定义的操作(Action)、资源(Resource)和条件(Condition)。数据湖构建(DataLake)的RAM代码(RamCode)为 dlf,支持的授权粒度为 操作级。权限策略通用结构 权限策略支持JSON格式,...
单击左侧菜单栏的 系统和安全,进入系统和安全页面。单击 系统安全 页签,单击 新增VPC ID。在弹出的对话框中,输入VPC ID,单击 确定。授予角色DLF权限 授予ECS角色RAM权限。如果是EMR集群,则角色为AliyunECSInstanceForEMRRole。使用...
本文为您介绍 数据湖构建 为 RAM 权限策略定义的操作(Action)、资源(Resource)和条件(Condition)。数据湖构建 的 RAM 代码(RamCode)为 dlf,支持的授权粒度为 操作级。权限策略通用结构 权限策略支持 JSON 格式,其通用结构如下:{...
近7天文件访问次数 该表最近7天的访问次数 近30天文件访问次数 该表最近30天的访问次数 操作说明 登录 数据湖构建控制台。在左侧菜单栏,选择 元数据 元数据管理。单击 数据表 页签,选择目标 数据目录 和 库名,输入搜索的表名。单击目标...
如何在阿里云DataWorks数据集成服务通过Paimon REST将数据导入至DLF Catalog。前提条件 已创建DataWorks工作空间。如未创建,详情请参见 创建工作空间。创建DLF Catalog 详情请参见 DLF 快速入门。创建数据源 进入数据源页面。...
本文主要介绍数据湖构建(DLF)的权限体系说明,介绍如何为子账号授予合适的权限,以便其可以正确使用和访问DLF的功能。数据湖构建(DLF)产品的权限体系主要分为RAM权限以及DLF数据权限控制两大类,如果您要访问DLF的页面或数据,一般都...
感谢您一直以来对阿里云数据湖构建(DLF-Legacy)产品的支持与信任。为了能够更好地集中资源提升服务质量及用户体验,自2026年03月31日起,数据探索将逐步在各地域下线。下线详情 下线时间:2026年03月31日 下线功能:DLF-Legacy产品的...
感谢您一直以来对阿里云数据湖构建(DLF-Legacy)产品的支持与信任。为了能够更好地集中资源提升服务质量及用户体验,自2026年03月31日起,数据入湖将逐步在各地域下线。下线详情 下线时间:2026年03月31日 下线功能:DLF-Legacy产品的...
如何在Serverless Spark访问Paimon虚拟文件系统(PVFS)。使用限制 仅支持使用esr-3.5.0、esr-2.9.0、esr-4.6.0及以上版本。创建DLF Catalog 详情请参见 DLF 快速入门。在Serverless Spark中绑定DLF Catalog 您可以新建Serverless Spark...
本文为您介绍数据湖构建中如何对数据目录、数据库、数据表进行授权。使用限制 仅有 DLF super_administrator、DLF admin 以及拥有资源 Grant 权限的用户可以为用户或角色赋权,可联系 DLF super_administrator 赋予 admin 权限。数据目录 ...
感谢您一直以来对阿里云数据湖构建(DLF-Legacy)产品的支持与信任。为了能够更好地集中资源提升服务质量及用户体验,自2026年03月31日起,元数据抽取将逐步在各地域下线。下线详情 下线时间:2026年03月31日 下线功能:DLF-Legacy产品的...
感谢您一直以来对阿里云数据湖构建(DLF-Legacy)产品的支持与信任。为了能够更好地集中资源提升服务质量及用户体验,自2026年03月31日起,元数据迁移将逐步在各地域下线。下线详情 下线时间:2026年03月31日 下线功能:DLF-Legacy产品的...
感谢您一直以来对阿里云数据湖构建(DLF-Legacy)产品的支持与信任。为了能够更好地集中资源提升服务质量及用户体验,自2026年03月31日起,湖格式管理将逐步在各地域下线。下线详情 下线时间:2026年03月31日 下线功能:DLF-Legacy产品的...
在数据湖元数据中创建一个新的元数据库。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句的...
选择 构建触发模式:Push到指定分支:每次新提交代码到指定分支时,系统都会自动构建应用的新版本。手动触发构建:选择手动触发时,系统不会自动执行持续部署。Tag/Release 事件:在GitHub中该类事件用Release表示,在GitLab中用Tag表示。...
创建构建后,系统会自动在 ACR 镜像中心上创建出以应用名为仓库名称的镜像仓库。镜像成功构建后,会自动推送到该镜像仓库。创建构建 本部分介绍如何通过容器应用服务控制台完成镜像构建操作。前提条件 已创建应用。拥有 AKS 开发者角色。已...
镜像构建提供将应用的源代码编译成镜像的服务能力。镜像成功构建后,默认会推送至 LHC 默认的镜像中心。创建构建 本部分介绍如何通过单元化应用服务控制台完成镜像构建操作。前提条件 已创建应用。操作步骤 登录控制台,在左侧导航栏单击 ...
数据目录(Catalog)是数据湖构建(Data Lake Formation)的元数据顶层逻辑实体,采用层级化结构组织元数据资源。适用于不同业务或不同用户间的元数据隔离与权限管控,以及湖数据存储和湖表运维管理等场景。本文为您介绍数据目录(Catalog...
构建核分 构建核分为当前组织内所有流水线任务构建核分总和(仅使用云效公共构建集群的任务会纳入构建核分统计,使用私有构建集群的任务不纳入构建核分统计),包括 Flow 流水线任务、Codeup 代码扫描任务、AppStack 研发流程任务。构建...
智能加速:系统默认使用高效构建工具BuildKit,具备强大的构建能力(尤其针对多阶段构建场景),支持丰富的构建特性。系统托管了常用基础镜像。使用这些基础镜像,使构建过程无需进行任何镜像拉取,大大缩减构建时间。系统使用远程构建缓存...
智能加速:系统默认使用高效构建工具BuildKit,具备强大的构建能力(尤其针对多阶段构建场景),支持丰富的构建特性。系统托管了常用基础镜像。使用这些基础镜像,使构建过程无需进行任何镜像拉取,大大缩减构建时间。系统使用远程构建缓存...
1344371 DatabaseInput DatabaseInput 否 新的数据库 Name string 否 修改前的数据库名称,更新前后数据库相同则仅更新其他 Meta。database_test 返回参数 名称 类型 描述 示例值 object 返回结果。Code string 状态描述。OK Message ...
3.镜像构建缓存 3.1 镜像构建任务缓存 云效流水线镜像构建任务提供了构建缓存能力:当使用公共构建集群时:云效流水线会在构建环境中临时拉起一个 buildkitd 的 sidecar 容器,然后在镜像构建的容器中通过 http 连接到这个 buildkitd,使用...
您可以通过以下两种方式触发构建规则:在 构建 页面 构建规则设置 区域单击目标构建规则 操作 列下的 立即构建,触发构建规则。向代码仓库的master分支提交代码,触发构建规则。说明 在 构建 页面 构建日志 区域单击目标构建任务 操作 列的...
在弹出的对话框中,输入 名称,单击 确定,系统将生成共享目录。可单击 Catalogs 页签,查看Share Catalog。步骤三:授权访问Share Catalog 在 Catalogs 页签,单击目标Share Catalog,进入Catalog详情页。单击 权限 页签,单击 授权,在弹...
获取数据湖构建某个用户的服务开通状态。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句的...
本文主要介绍云效 Flow 流水线提供的步骤 steps 清单,包括静态扫描、覆盖率、测试、构建、代码、发布、上传、下载、工具等丰富的步骤。分类 步骤 说明 静态扫描 安卓代码扫描 AndroidCodeScan Android 代码扫描步骤。Cpp 代码扫描 ...
true Code 错误码说明:InvalidOperation:找不到对应的数据库、表,或者新的分区名已经存在。InternalError:其他类型错误,请参考 Message 提示。示例 正常返回示例 JSON 格式 {"Code":"OK","Message":".","RequestId":"B7F4B621-E41E-4C...
本文主要介绍使用Flow流水线构建阶段的典型问题汇总。构建问题 如何解决构建失败,依赖缺失问题?如何解决构建的依赖在海外站点,导致下载慢的问题?Java 构建未拉取到最新依赖包 GO 构建下载海外依赖导致构建缓慢 构建找不到指定文件或...
镜像构建诊断概述 镜像构建诊断功能结合了专家经验和通义千问大模型的能力,形成一种基于专家知识和人工智能的双重诊断模式,旨在深入定位问题根因并提供修改建议。重要 使用镜像构建诊断功能时,将采集您的容器镜像仓库实例的相关数据信息...
Flow 通过集成阿里云 EMAS 服务支持移动端的构建场景,目前已经支持 EMAS Android 构建。在使用 Android 构建任务前,请确保您已经开通了阿里云 EMAS 服务。更多 EMAS 功能请 查看帮助。配置 Android 构建任务 创建流水线并选择 Android ...
构建集群 支持以下构建集群:云效默认构建集群 私有构建集群 构建环境 支持以下构建环境:指定容器环境(云效默认构建集群):流水线 Flow 在构建机器上启动指定容器,在单容器环境进行构建。云效提供 官方常用镜像 供选择使用、您也可以...