元数据 API 标题 API概述 目录 目录 CreateCatalog 创建数据湖数据目录 创建数据湖数据目录。DeleteCatalog 删除数据湖数据目录 删除数据目录。UpdateCatalog 更新目录 更新数据目录内容。ListCatalogs 获取数据目录列表 分页查询，获取...
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。元数据采集与接入 MaxCompute数据 如果您使用了...
背景信息 阿里云数据湖构建是一款全托管的快速帮助用户构建云上数据湖的服务，产品为云原生数据湖提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力，详细信息请参见 数据湖构建产品简介。...
MaxCompute的租户级别Information Schema从租户角度提供项目元数据及使用历史数据等信息，您可以一次性拉取您同一个元数据中心下所有Project的某类元数据，从而进行各类元数据的统计分析：MaxCompute元数据使用实践-作业统计 MaxCompute...
数据目录（Catalog）是数据湖构建（Data Lake Formation）的元数据最上层实体，它可以包含多个数据库。本文为您介绍数据目录（Catalog）的基本操作。适用场景 主要适用于元数据隔离的场景，比如多个E-MapReduce集群，每个集群绑定不同的...
同时也可以手动输入表的相关信息（所在实例名、数据库、Schema）以及表的元数据收集时间，即可查看表对应的元数据信息。基本信息 包含表名、是否分区，以及分区对应的信息。表元数据信息 包含表的创建时间，收集时间，存储量等信息。表属性...
默认情况下，在受版本控制的存储空间（Bucket）中调用HeadObject接口仅获取文件（Object）当前版本的元数据。说明 如果Object的当前版本为删除标记，则返回404 Not Found。请求参数中指定versionId则返回指定版本Object的元数据。注意事项 ...
元数据检索是指通过构建一个高效且全面的索引系统，实现对数据湖中数据目录、数据库、表结构等信息进行快速定位与查询的过程。本文为您介绍在数据湖构建中如何进行元数据检索。操作步骤 登录 数据湖构建控制台。在左侧菜单栏，单击 元数据 ...
元数据管理层 基于处理引擎层提供的功能，通过对场景的深入理解和梳理，智能媒体管理封装了场景的元数据设计，对外提供场景的元数据访问接口，简化场景应用的设计难度、无需关注元数据索引数据库的运维工作，目前支持的元数据索引如下：...
open-meta-query命令用于开启元数据管理功能。注意事项 阿里云账号默认拥有开启元数据管理功能的权限。如果您需要通过RAM用户或者STS的方式开启功能，您必须拥有 oss:OpenMetaQuery 权限。具体操作，请参见 为RAM用户授权自定义的权限策略...
80 由调用链&元数据接入点、指标接入点、持续剖析服务提供，分别用于调用链、指标、持续剖析数据的上报。9092 由调用链&元数据接入点提供，用于应用诊断功能。编译环境 编译环境需要和公网或阿里云内网连通，且编译环境所在安全组已开放...
数据管理DMS的元数据访问控制功能是指在DMS中对数据库、实例的查看与访问权限进行控制的功能。元数据访问控制开启后，如果用户没有数据库或实例的查询、导出或变更权限，则无法查看与访问该资源。本文将介绍如何在DMS中开启实例与数据库...
创建时序表后，您可以通过PutTimeseriesData接口或者时序Writer工具写入时序数据，您还可以迁移 MySQL或 Kafka数据源的数据到表格存储时序表。时序数据写入到时序表后，您可以使用QueryTimeseriesMeta接口检索时间线以及使用...
关于OSS支持的Region与Endpoint的对应关系，请参见 访问域名和数据中心。本文以OSS域名新建OSSClient为例。如果您希望通过自定义域名、STS等方式新建OSSClient，请参见 新建OssClient。要设置文件元数据，您必须具有 oss:PutObject 权限；...
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、物化视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持...
数据库名称：步骤一：元数据库准备 中设置的数据库名称。javax.jdo.option.ConnectionUserName RDS用户名 填写 步骤一：元数据库准备 中账号的用户名。javax.jdo.option.ConnectionPassword RDS密码 填写 步骤一：元数据库准备 中账号的...
通常，图片应用会选择采用业务服务器安装不同厂家的AI分析能力，通过这些功能得到关键的元数据信息，然后保存到数据库中，从而更好的支撑元数据检索，支撑业务和监管的需求。采用此方案存在如下问题：接口不统一 因为有多厂家的选型，需要...
特殊地，如果您搜索的是数据表且数据表非Dataphin平台创建，或由于系统元数据获取延迟导致查询新建表无结果时，您可以使用点击 手动同步 获取最新的元数据信息，将指定的数据表元数据刷新至Dataphin系统中。刷新元数据详情请参见 刷新...
特殊地，如果您搜索的是数据表且数据表非Dataphin平台创建，或由于系统元数据获取延迟导致查询新建表无结果时，您可以使用点击 手动同步 获取最新的元数据信息，将指定的数据表元数据刷新至Dataphin系统中。刷新元数据详情请参见 刷新...
OSS-HDFS服务支持在未部署任何导入和导出工具的情况下，直接将OSS元数据转换为OSS-HDFS元数据。前提条件 已开通并授权访问OSS-HDFS服务。具体步骤，请参见 开通OSS-HDFS服务。仅 华北3（张家口）地域支持将OSS元数据转换为OSS-HDFS元数据。...
云原生数据仓库 AnalyticDB MySQL 版 元数据发现任务具备自动映射OSS路径、自动对OSS文件分组、自动探索OSS文件字段、自动感知字段变化的能力，能够自动创建和更新数据湖元数据。您可以通过创建OSS元数据发现任务，自动发现同地域下OSS的...
共享使用的缓存盘由数据空间和元数据空间组成，默认20%的缓存盘空间会用来存储元数据。当可用元数据空间不足3 GB或者不足所有元数据空间的20%时会触发此告警。处理方式 建议扩展共享对应的缓存盘来扩大元数据空间，避免因元数据空间不足而...
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
默认情况下，在已开启版本控制的存储空间（Bucket）中调用HeadObject接口只能获取文件（Object）当前版本的元数据。通过指定文件的版本ID（versionId），您可以获取文件指定版本的元数据。说明 如果文件的当前版本为删除标记，则返回404 ...
数据管理DMS新推出的元数据访问控制功能，是指在DMS中对数据库、实例的查看与访问权限进行控制的功能。本文将介绍如何在DMS中开启元数据访问控制功能。前提条件 目标实例的管控模式为安全协同模式，更多信息，请参见 管控模式。系统角色为...
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
概述 Dataphin中元数据同步规则。详细信息 在MaxCompute建的物理表，和OSS上的外表都是15分钟对比一次，如果有差异进行元数据更新。也可以根据需要点击如图所示的手动更新元数据按钮，进行元数据更新。适用于 Dataphin
本文介绍如何修改已有文件（Object）的元数据。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持的Region与Endpoint的对应关系，请参见 OSS访问域名、...
删除（Evict）将释放CPFS上文件的数据，删除后文件在CPFS上只保留元数据，您仍能看到该文件，但文件的数据块已清除，不占用CPFS上的存储空间，访问该文件数据时，再从源端存储（例如OSS）按需加载。说明 删除前，请务必确认对应文件在OSS上...
选择数据源时请选择 从文件导入有关信赖方的数据，导入第1步获取的SP元数据文件。编辑声明规则。在信赖方信任列表中，右键单击上一步添加的信赖方依赖，选择 编辑声明规则。在弹出的对话框中，单击 添加规则。按照向导完成规则配置。配置...
数据湖管理使用限制 限制 描述 元数据发现支持发现的数据源 OSS SLS Tablestore 元数据发现OSS数据源的文件格式 只支持识别CSV、JSON、Parquet、ORC格式的文件 元数据发现OSS数据源目录结构 按照库/表/分区布局的路径 元数据发现OSS数据源...
相关概念如下：身份提供商IdP：一个包含有关外部身份提供商元数据的实体，提供身份管理服务，负责收集存储用户身份信息（例如用户名、密码等），在登录时验证用户身份。常见的身份提供商IdP有：企业本地IdP：Microsoft Active Directory ...