本文汇总了使用E-MapReduce的元数据管理时的常见问题。报错提示“oss:/yourbucket/*/*/*”或“hdfs:/yourhost:9000/*/*/*”路径不存在，该如何处理？删除Hive Database时提示“java.lang.IllegalArgumentException:java....
元数据指的是那些可以用来描述数据属性的信息数据，通过数据同步服务元数据管理功能，您可以连通数据源中的库表元数据信息，包括库名、表名、表字段等信息。可以通过元数据管理中的 绑定逻辑表 功能，将多张 schema 一致的物理表绑定成一张...
基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。说明 本文仅说明相关计费项及付费方式。有关计费项的定价详情，请参见 OSS产品定价。计费项 计费...
问题描述 无法为Bucket开启元数据管理功能。问题原因 您发起OpenMetaQuery请求为Bucket开启元数据管理功能，但是请求的Bucket已开启或者正在关闭元数据索引库。问题示例 例如，您发起OpenMetaQuery请求为Bucket（oss-example）开启元数据...
元数据管理是构建数据湖重要一环，通过有效集中式的元数据管理，可以提升数据资产价值。您可以使用该功能管理元数据库和元数据表。创建元数据库 登录 数据湖管理控制台，选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库...
新建库 进入元数据管理页面。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 元数据管理 页签。在 表管理 页面，单击 新建库。在 新建库 对话框中，配置各项参数。因为EMR表管理功能仅支持基于...
为了满足用户对文件元数据的采集、分析、查询等需求，智能媒体管理IMM推出了元数据管理功能。本文介绍元数据管理的应用场景、使用流程等。功能简介 使用智能媒体管理服务时，在授权允许的情况下，元数据管理功能可以根据您的需求分析存储在...
调用 OpenMetaQuery 接口为存储空间（Bucket）开启元数据管理功能。开启元数据管理功能后，OSS会为Bucket创建元数据索引库并为Bucket中的所有文件（Object）建立元数据索引。元数据索引库创建完成后，OSS会继续对Bucket中新增文件进行准...
调用 CloseMetaQuery 接口关闭存储空间（Bucket）的元数据管理功能。关闭元数据管理功能后，OSS会自动删除Bucket的元数据索引库，您将无法进行元数据索引。注意事项 要关闭Bucket的元数据管理功能，您必须有 oss:CloseMetaQuery 权限。具体...
添加Topic 进入Kafka数据管理页。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 元数据管理 页签。在左侧导航栏，单击 Kafka数据管理。在 Kafka数据管理 页面，单击右上角的 添加Topic。在 ...
在HoloWeb开发页面，单击 元数据管理>数据库。您也可以在 元数据管理 界面的 已登录实例 列表。鼠标右击目标连接，选择 新建数据库。配置 数据库名称、权限策略 和 立即登录 参数，单击 确认。参数 说明 实例名 默认展示当前数据库所在的已...
本文主要为您介绍搭建海量智能元数据管理系统的技术点以及使用表格存储搭建智能元数据管理系统的方案。用户存储海量的文档、媒体文件等数据的同时，对文件元数据（Meta）的管理不可或缺。元数据拥有多维度的字段信息，基本信息包含文件大小...
问题原因 您发起了DoMetaQuery或GetMetaQueryStatus请求，但是请求的目标Bucket没有开启元数据管理功能。问题示例 例如，你发起了DoMetaQuery请求，但是请求的Bucket（oss-example）未开启元数据管理功能，导致请求错误。POST/?metaQuery&...
元数据管理 数据湖元数据管理包括元数据库和元数据表两层结构构成。数据源 用户从数据源抽取数据到注册的数据湖位置，数据湖构建支持多种形式的数据源，目前RDS MySQL已对外开放。参数 描述 连接名称 数据湖构建中惟一的名称 连接类型 目前...
介绍 统一的元数据管理，可以实现：持久化的元数据存储。支持统一元数据之前，元数据都是在集群内部的MySQL数据库，元数据会随着集群的释放而丢失，特别是EMR提供了灵活按量模式，集群可以按需创建用完就释放。如果您需要保留现有的元数据...
菜单选择：“元数据-元数据管理”。切换标签页到“数据目录”。点击“新建数据目录”。在输入框中输入如下内容：目录ID，必选，唯一标识，不可重名。描述，可选，输入描述信息。目录路径，可选，输入默认的存储路径，目前仅支持OSS路径。...
元数据管理功能主要为您展示当前实例的所有数据库，数据表，分区及各种任务等信息。本文为您介绍如何通过EMR StarRocks Manager查看元数据。前提条件 已创建StarRocks实例，详情请参见 创建实例。使用限制 普通用户无法查看数据库大小、...
产品功能架构 元数据管理，通过控制台查看和管理数据湖中元数据库和表的信息，通过 新增元数据库 的方式操作元数据，集成到第三方应用服务。并支持多版本管理、可通过元数据发现和入湖任务自动生成元数据。入湖基础操作，通过入湖任务的...
总表数量及月/日变化：元数据管理中所有表的总数量 总库数量级月/日变化：元数据管理中所有库的总数量 API月/日访问量：当前月（自然月）的API月访问量 趋势变化 存储量、表数量、库数量、API接口趋势的趋势变化图。您可以按照时间段，选择...
为了支撑网盘的数据管理，通常需要提供各类元数据管理，特别是在AI智能处理场景下，需要定义相关的存储格式，处理数据库的异常，带来了较大的开发难度。采用此方案存在如下问题：元数据表设计难度大 针对不同的元数据，需要分类设计各类表...
开启元数据管理功能 以下代码用于为Bucket开启元数据管理功能。开启后，OSS会为Bucket创建元数据索引库并为Bucket中的所有Object建立元数据索引。元数据索引库创建完成后，OSS会继续对Bucket中新增文件进行准实时的增量追踪扫描并为增量...
智能媒体管理围绕海量数据、端云拉通、标准统一、智能分析、场景结合、一键处理六个关键点采用分层架构进行设计，分层架构包含处理引擎、元数据管理、场景化封装三层。智能媒体管理采用分层架构进行设计，分层架构包含处理引擎、元数据管理...
V1.7.0版本 发布日期 2024年01月11日 功能更新 功能分类 功能更新说明 存算分离场景 元数据管理新增支持数据库、表、分区、缓存显示功能。Query Profile中新增缓存命中分析指标。数据湖分析场景 元数据管理支持显示External Catalog的外部...
Transaction Table2.0的增量存储和处理架构的特殊设计...元数据管理 主要负责增量场景下 事务并发冲突管理、数据版本管理、Time travel管理、元数据更新和分析等。数据文件组织 主要包含对全量和增量 数据文件格式 的管理以及读写相关的模块。
在 资源 页面，按照下图操作指引，进入 元数据管理 页面。在 元数据管理 页面，查看系统元数据及自定义的元数据。您可以在搜索框中输入元数据名称的关键字快速搜索元数据。您也可以单击 图标，通过选择 数据对象、存储类型、引用状态、负责...
创建并使用自定义Catalog 进入元数据管理页面。登录 实时计算控制台。单击目标工作空间 操作 列下的 控制台。在左侧导航栏，单击 元数据管理。单击 创建Catalog，在 自定义Catalog 页签，单击 创建自定义Catalog类型。在 创建自定义Catalog...
开启权限后影响如下：DLF的元数据管理，数据探索功能将会受到权限控制，如用户未被授予权限，则无法访问对应元数据和数据。E-MapReduce中如同时开启引擎（如Hive/Spark/Presto/Impala）的权限控制，则通过这些引擎访问数据时，如用户未设置...
在 资源 页面，按照下图操作指引，进入 元数据管理 页面。在 元数据管理 页面，查看系统元数据及自定义的元数据。您可以在搜索框中输入元数据名称的关键字快速搜索元数据。您也可以单击 图标，通过选择 数据对象、存储类型、引用状态、负责...
开启元数据管理功能 以下代码用于为指定Bucket开启元数据管理功能。开启后，OSS会为Bucket创建元数据索引库并为Bucket中的所有Object建立元数据索引。元数据索引库创建完成后，OSS会继续对Bucket中新增文件进行准实时的增量追踪扫描并为...
元数据 智能媒体管理提供的元数据管理功能可以帮助用户对存储在对象存储（OSS）、相册与网盘服务（PDS）等产品中的文件的元数据进行采集、分析、查询等。元数据管理支持的文件元数据包括：文件大小、文件格式、创建时间等文件的基础信息。...
元数据迁移提供可视化的元数据迁移能力，可以帮...验证元数据同步结果 在元数据管理-元数据库中，查询期望同步的数据库信息，可以查询到相应的数据库信息。在元数据管理-元数据表中，查询期望同步的数据表信息，可以查询到相应的数据表信息。
如果您想添加新的DLF数据目录，可以单击 创建数据目录，跳转至数据湖构建控制台创建，详情请参见 元数据管理。查看数据库和表 在 数据目录 页面，单击数据目录ID。展示当前数据目录下的所有数据库信息。单击操作列的 表。展示当前数据库下...
在左侧导航栏，选择 元数据管理>元数据迁移。在 元数据迁移 页面，单击 创建迁移任务。配置源库信息。配置以下信息，单击 下一步。参数 说明 数据库类型 选择MySQL类型即可。MySQL类型 根据Hive元数据类型选择。集群内置MySQL：请选择 其他...
删除StarRocks Catalog UI方式 进入元数据管理页面。登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。单击 元数据管理。在 Catalog列表 页面，单击目标Catalog名称对应 操作 列的 删除。在弹出的提示页面...
元数据管理 停止更新，仅对历史用户开放。切换至新版控制台 建议您切换至EMR新版控制台管理集群，您可以在旧版控制台，单击右上方的 升级新版控制台，直接进入 EMR新版控制台。新版控制台的相关介绍，请参见 新版控制台上线公告。如果针对...
EMR功能 新版控制台 旧版控制台 EMR on ECS√EMR on ACK√x EMR Doctor√x EMR Serverless√x EMR Workbench√x DLF元数据管理√x 旧版数据开发（停止更新，仅对历史用户开放）√旧版元数据管理（停止更新，仅对历史用户开放）√新版控制台...
进入元数据管理页面。登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。单击 元数据管理。在 Catalog列表 页面，查看 Catalog名称 和 类型。说明 如果您需要查看目标Catalog下的数据库和表，请单击 查看。...
如果您希望通过RAM用户或者STS的方式执行数据索引相关操作，例如：开启元数据管理功能，您必须拥有 oss:OpenMetaQuery 权限。获取元数据索引库信息，您必须拥有 oss:GetMetaQueryStatus 权限。查询满足指定条件的Object，您必须拥有 oss:...
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖...
数据湖构建（Data Lake Formation，DLF）产品主要使用流程如下。...创建数据源 创建数据湖的入湖来源，当前支持阿里云RDS MySQL...创建数据湖的元数据 添加元数据库 创建元数据表，指定表中数据的存储位置和存储格式 详细操作请参见 元数据管理。