新建库 进入元数据管理页面。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 元数据管理 页签。在 表管理 页面，单击 新建库。在 新建库 对话框中，配置各项参数。因为EMR表管理功能仅支持基于...
介绍 统一的元数据管理，可以实现：持久化的元数据存储。支持统一元数据之前，元数据都是在集群内部的MySQL数据库，元数据会随着集群的释放而丢失，特别是EMR提供了灵活按量模式，集群可以按需创建用完就释放。如果您需要保留现有的元数据...
元数据管理功能主要展示当前实例的所有数据库、数据表、分区及各种任务等信息，同时支持创建数据库和数据表，并定义其列及相关属性。前提条件 已创建StarRocks实例，详情请参见 创建实例。使用限制 普通用户无法查看数据库大小、缓存数据...
基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。说明 本文仅说明相关计费项及付费方式。有关计费项的定价详情，请参见 OSS产品定价。计费项 计费...
问题描述 无法为Bucket开启元数据管理功能。问题原因 您发起OpenMetaQuery请求为Bucket开启元数据管理功能，但是请求的Bucket已开启或者正在关闭元数据索引库。问题示例 例如，您发起OpenMetaQuery请求为Bucket（oss-example）开启元数据...
计费项 计费项 计费条件 计费规则 计费周期 付费方式 免费额度 元数据管理费-数据管理 开启数据索引 标量检索 模式时收取 按文件的实际个数收取。按小时出账。按量付费：元数据管理费用=文件个数×元数据管理费用单价 资源包：不支持 每个 ...
为了满足用户对文件元数据的采集、分析、查询等需求，智能媒体管理IMM推出了元数据管理功能。本文介绍元数据管理的应用场景、使用流程等。功能简介 使用智能媒体管理服务时，在授权允许的情况下，元数据管理功能可以根据您的需求分析存储在...
close-meta-query命令用于关闭存储空间（Bucket）的元数据管理功能。注意事项 阿里云账号默认拥有关闭元数据管理功能的权限。如果您需要通过RAM用户或者STS的方式进行关闭，您必须拥有 oss:CloseMetaQuery 权限。具体操作，请参见 为RAM...
添加Topic 进入Kafka数据管理页。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 元数据管理 页签。在左侧导航栏，单击 Kafka数据管理。在 Kafka数据管理 页面，单击右上角的 添加Topic。在 ...
本文主要为您介绍搭建海量智能元数据管理系统的技术点以及使用表格存储搭建智能元数据管理系统的方案。背景信息 用户在存储海量文档、媒体文件等数据时，元数据管理至关重要。元数据包含多维度字段信息，例如文件大小、创建时间、用户等...
问题原因 您发起了DoMetaQuery或GetMetaQueryStatus请求，但是请求的目标Bucket没有开启元数据管理功能。问题示例 例如，你发起了DoMetaQuery请求，但是请求的Bucket（oss-example）未开启元数据管理功能，导致请求错误。POST/?metaQuery&...
数据湖构建是一款全托管的统一元数据和数据存储及管理平台，旨在为客户提供元数据管理、权限管理和存储优化等功能。DLF与多个阿里云大数据计算引擎无缝对接，打破数据孤岛，帮助用户迅速实现云原生数据湖及OpenLake解决方案的构建与管理。...
调用 CloseMetaQuery 接口关闭存储空间（Bucket）的元数据管理功能。关闭元数据管理功能后，OSS会自动删除Bucket的元数据索引库，您将无法进行元数据索引。注意事项 要关闭Bucket的元数据管理功能，您必须有 oss:CloseMetaQuery 权限。具体...
阿里云数据湖构建（Data Lake Formation，简称DLF）是一款全托管的统一元数据和数据存储及管理平台，为客户提供元数据管理、存储管理、权限管理、存储分析和存储优化等功能。DLF与多个阿里云大数据计算引擎无缝对接，打破数据孤岛，帮助...
在HoloWeb开发页面，单击 元数据管理 数据库。您也可以在 元数据管理 界面的 已登录实例 列表。鼠标右击目标连接，选择 新建数据库。配置 数据库名称、权限策略 和 立即登录 参数，单击 确认。参数 说明 实例名 默认展示当前数据库所在的已...
open-meta-query命令用于开启元数据管理功能。注意事项 阿里云账号默认拥有开启元数据管理功能的权限。如果您需要通过RAM用户或者STS的方式开启功能，您必须拥有 oss:OpenMetaQuery 权限。具体操作，请参见 为RAM用户授予自定义的权限策略...
元数据管理 元数据管理是构建高效数据湖的关键组成部分，通过集中化和系统化的元数据管理，能够显著提升数据资产的价值与可用性。您可以使用该功能管理数据湖中的数据目录、数据库和数据表。创建数据目录 登录 数据湖构建控制台。在左侧...
查看数据目录 在左侧菜单栏，选择 元数据 元数据管理。单击 数据目录 页签，可查看Catalog列表信息。修改数据目录 在左侧菜单栏，选择 元数据 元数据管理。单击 数据目录 页签。在数据目录列表页面，单击操作列的 编辑。在输入框中修改以下...
EMR StarRocks Manager是阿里云EMR团队针对Serverless StarRocks实例提供的数据管理控制台，为您提供对实例内数据的管理、诊断与分析，以及安全权限配置等功能。前提条件 已创建StarRocks实例，详情请参见 创建实例。步骤一：进入StarRocks...
为了支撑网盘的数据管理，通常需要提供各类元数据管理，特别是在AI智能处理场景下，需要定义相关的存储格式，处理数据库的异常，带来了较大的开发难度。采用此方案存在如下问题：元数据表设计难度大 针对不同的元数据，需要分类设计各类表...
功能说明 元数据分析 Location分析 元数据分析 资源总计 总存储量及月/日变化：元数据管理下的表的总存储量（仅包括OSS类型存储，不包括HDFS存储）。总表数量及月/日变化：元数据管理中所有表的总数量。总库数量及月/日变化：元数据管理中...
元数据管理层 基于处理引擎层提供的功能，通过对场景的深入理解和梳理，智能媒体管理封装了场景的元数据设计，对外提供场景的元数据访问接口，简化场景应用的设计难度、无需关注元数据索引数据库的运维工作，目前支持的元数据索引如下：...
元数据管理 可视化元数据检索、元数据管理、多版本管理、数据统计概况和生命周期管理等。无 无 高可用性 主备等容灾措施 主备等容灾措施 无容灾措施。运维成本 免运维，自动水平弹性扩容。需要自行升级和扩容等运维操作，适合需要灵活、...
关闭权限后影响如下：DLF的元数据管理和数据探索功能将不会再受到权限控制，无论用户是否有数据权限，只要有菜单权限即可访问任意数据。E-MapReduce中如要关闭权限，要同时对DLF-AUTH执行相关disable操作。比如关闭Hive权限，需要在DLF-...
基于Tablestore多元索引打造亿量级店铺搜索系统 基于TableStore的海量电商订单元数据管理 基于Tablestore的海量保险单查询平台 TableStore：用户画像数据的存储和查询利器 TableStore：交通数据的存储、查询和分析利器 空间数据 多维的网格...
元数据 智能媒体管理提供的元数据管理功能可以帮助用户对存储在对象存储（OSS）、相册与网盘服务（PDS）等产品中的文件的元数据进行采集、分析、查询等。元数据管理支持的文件元数据包括：文件大小、文件格式、创建时间等文件的基础信息。...
在左侧导航栏，选择 元数据管理 元数据迁移。在 元数据迁移 页面，单击 创建迁移任务。配置源库信息。配置以下信息，单击 下一步。参数 说明 数据库类型 选择MySQL类型即可。MySQL类型 根据Hive元数据类型选择。集群内置MySQL：请选择 其他...
元数据管理是构建数据湖重要一环，通过有效的集中式元数据管理，可以提升数据资产价值。本文为您介绍数据湖构建中数据库、数据表及函数的相关操作。数据库 创建数据库 登录 数据湖管理控制台。在左侧菜单栏，选择 元数据 元数据管理。单击 ...
阿里云数据湖构建（Data Lake Formation，简称 DLF）是一款全托管的快速帮助用户构建云上数据湖及Lakehouse的服务，为客户提供了统一的元数据管理、统一的权限与安全管理以及一键式数据探索能力。DLF可以帮助用户快速完成云原生数据湖及...
元数据管理 停止更新，仅对历史用户开放。切换至新版控制台 建议您切换至EMR新版控制台管理集群，您可以在旧版控制台，单击右上方的 升级新版控制台，直接进入 EMR新版控制台。新版控制台的相关介绍，请参见 新版控制台上线公告。如果针对...
EMR功能 新版控制台 旧版控制台 EMR on ECS√EMR on ACK√x EMR Doctor√x EMR Serverless√x EMR Workbench√x DLF元数据管理√x 旧版数据开发（停止更新，仅对历史用户开放）√旧版元数据管理（停止更新，仅对历史用户开放）√新版控制台...
示例代码 开启元数据管理功能 以下代码用于为指定Bucket开启元数据管理功能。开启后，OSS会为Bucket创建元数据索引库并为Bucket中的所有Object建立元数据索引。元数据索引库创建完成后，OSS会继续对Bucket中新增文件进行准实时的增量追踪...
如下图：EMR集群引擎切换元数据 阿里云EMR集群的元数据存储从MySQL切换至DLF，需更新相关配置，以确保EMR能够正确地与DLF集成并利用其提供的元数据管理功能。Hive 在 hive-site.xml 中 修改如下配置，保存配置并使配置生效，具体操作请参见...
背景信息 阿里云数据湖构建是一款全托管的快速帮助用户构建云上数据湖的服务，产品为云原生数据湖提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力，详细信息请参见 数据湖构建产品简介。...
在 元数据管理 页面，单击 数据表 页签。获取DLF数据库名称。目前仅支持选择DLF默认Catalog（数据目录）下的数据库。登录 数据湖构建（DLF）控制台，在左上角选择地域。在左侧导航栏，选择 元数据 元数据管理。在 元数据管理 页面，单击 ...
功能变更公告 数字工厂 1）元数据管理优化 删除元数据的时候，检查是否有定义关联，提醒防止误操作 已存在主数据的情况下，在不影响原有数据情况，可以对元数据定义的属性进行修改 2）物联网开发应用集成后可进行取消 区域/行业平台 业务中...
本文介绍使用智能媒体管理过程中可能遇到的元数据管理相关的问题。什么是工作流模板？工作流模板（Template）定义了部分接口所需要执行的工作流。在创建智能媒体管理项目、数据集时，可以设置工作流模板ID（TemplateId）。在为存储在阿里云...
如果您想创建新的DLF数据目录，可以单击 创建数据目录，跳转至数据湖构建控制台创建，详情请参见 元数据管理。说明 使用DLF数据目录时，仅支持使用以下引擎版本：esr-4.3.0及以上版本、esr-3.3.0及以上版本、esr-2.7.0及以上版本。外部 ...
Hologres从3.0版本 新增External Database功能，支持DLF、MaxCompute等数据源的Catalog级别元数据映射，提升数据湖的元数据和数据管理能力，详情请参见 CREATE EXTERNAL DATABASE。新增External Schema 和 External Table能力，支持往指定...
Flink Catalog是元数据管理核心。它可以注册、存储并加载各类数据源元数据。Catalog统一访问管理外部系统元数据，使Flink SQL实现元数据集中持久化。为什么使用Catalog 统一管理：集中管理不同系统元数据，简化数据发现。简化操作：SQL ...