如果您希望通过RAM用户或者STS的方式执行数据索引相关操作，例如：开启元数据管理功能，您必须拥有 oss:OpenMetaQuery 权限。获取元数据索引库信息，您必须拥有 oss:GetMetaQueryStatus 权限。查询满足指定条件的Object，您必须拥有 oss:...
在左侧导航栏选择 元数据管理 元数据清单，进入 元数据清单 页面。在 元数据清单 页面，您可以单击 数据表 页签或 仪表板 页签，查看不同对象的元数据信息，特殊的，仪表板为您展示指定应用系统下的仪表板元数据，您 可以通过页面右上角的...
在左侧导航栏选择 元数据管理 元数据清单，进入 元数据清单 页面。在 元数据清单 页面，您可以单击 数据表 页签或 仪表板 页签，查看不同对象的元数据信息，特殊的，仪表板为您展示指定应用系统下的仪表板元数据，您 可以通过页面右上角的...
网络连通 将数据源中的元数据导入数据地图进行统一的元数据管理，需要先确保数据地图元数据采集器能正常访问您的数据库。如果您需要进行元数据采集的数据库已开启白名单访问控制，请在数据库白名单列表中，添加您使用的DataWorks所在地域...
当Hologres数据库中的元数据管理器（Storage Master）和FE节点保存的表元数据不一致时，会导致DDL操作报错或影响费用等。Hologres提供了表Meta诊断功能，以检测当前实例中表元数据的一致性，并每周更新一次诊断结果，您可以根据对应元数据...
问题描述 管理元数据转换任务请求（修改或删除）时，设置了RoleID。问题原因 您发起了管理元数据转换任务请求（修改或删除），并设置了RoleID。问题示例 该功能为邀测功能，未对全部用户开放，暂不提供示例。解决方案 管理元数据转换任务...
云服务组件：云服务组件包括网关、Meta Service、Holo Master等，主要具备元数据管理、安全认证管理、统一接入管理以及节点管理等能力。其中网关（Gateway）主要用于转发连接，负责将不同的连接转发到各个计算组的FE。例如，需要使用 read_...
用于关闭特定存储空间的元数据管理功能 request:=oss.CloseMetaQueryRequest{ Bucket:oss.Ptr(bucketName),/指定要操作的存储空间名称 } result,err:=client.CloseMetaQuery(context.TODO(),request)/执行请求以关闭存储空间的元数据管理...
单击目标工作空间名称，然后在左侧导航栏，选择 数据管理。在右侧 Catalog列表 界面，单击 创建Catalog。在弹出的 创建 Catalog 对话框里，选择 Apache Paimon，单击 下一步 并配置如下参数：参数 是否必填 说明 metastore 必填 元数据存储...
ossfs元数据缓存适用于单机高I/O读写OSS数据的场景。开启ossfs元数据缓存后，能够提升整体的文件操作效率，使文件操作响应更加迅速。本文将为您介绍如何更好地使用和配置ossfs元数据缓存。重要 在使用元数据缓存时，需要留意数据一致性和...
DataWorks支持StarRocks数据源，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、开发、分析、数据服务等功能。本文为您介绍EMR Serverless StarRocks在DataWorks上的操作流程。背景信息 了解EMR ...
基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求，表格存储 推出了一站式物联网存储IoTstore解决方案，为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、分析、...
在Lindorm实例绑定至DataWorks后，您可以在数据地图中进行元数据管理和查看操作。本文为您介绍如何查看和管理Lindorm表数据。前提条件 已在计算资源绑定页面设置了SPARK参数信息，用于采集Lindorm的元数据，详情请参见 Lindorm计算资源设置...
但是这些数据缺少元数据管理，导致数据难以分析和计算。云原生数据仓库 AnalyticDB MySQL 版 元数据发现任务支持自动映射OSS路径、智能分组文件、动态探索字段及变化感知，实现数据湖元数据的自动创建与更新。您可通过创建OSS元数据发现...
数据运维：提供即开即用的数据管理能力，例如可视化SQL编辑器、导入任务、慢查询、数据审计、元数据管理以及权限配置等能力。基于以上产品能力，您可以更加高效地聚焦于自己的业务应用，例如运营分析、用户画像、自助报表、订单分析以及...
本文介绍EMR Serverless StarRocks产品中涉及的一些基本名词...EMR StarRocks Manager EMR StarRocks Manager是阿里云EMR团队针对Serverless StarRocks实例提供的数据管理控制台，提供对实例内数据的管理、诊断与分析、安全权限配置等能力。
数据标准-提交上线数据标准 数据标准-下线数据标准 数据标准-删除数据标准 数据标准-编辑关联标准 数据标准-编辑关联文档 数据标准-批量导入数据标准（同时拥有标准模板-批量导入标准的权数据标准-限）数据标准-批量导出数据标准（同时拥有...
权限点 超级管理员 系统管理员 普通成员 查看元数据清单列表 Y Y N 查看元数据清单详情 Y Y N 数据探查配置权限列表 具有 数据探查-数据探查配置 权限的自定义全局角色支持 配置数据探查配置。权限点 超级管理员 运营管理员 普通成员 数据...
权限点 超级管理员 系统管理员 普通成员 查看元数据清单列表 Y Y N 查看元数据清单详情 Y Y N 数据探查配置权限列表 具有 数据探查-数据探查配置 权限的自定义全局角色支持 配置数据探查配置。权限点 超级管理员 运营管理员 普通成员 数据...
编辑数据标准 数据标准-克隆数据标准 数据标准-提交上线数据标准 数据标准-下线数据标准 数据标准-删除数据标准 数据标准-编辑关联标准 数据标准-编辑关联文档 数据标准-批量导入数据标准（同时拥有标准模板-批量导入标准的权数据标准-限）...
您可以登录 数据湖管理控制台，选择 元数据 元数据管理，然后在 数据目录 页签，获取数据目录名称。dlf_database 需要自动加载的DLF数据库名称。您可以登录 数据湖管理控制台，选择 元数据 元数据管理，然后在 数据库 页签，获取数据库名称...
在左侧导航栏，选择 元数据 元数据管理，单击 数据表。在 数据表 页面，通过库名过滤，可以查看已创建的表信息。步骤二：DataFlow集群连接DLF读取Hive全量数据 通过SSH方式登录DataFlow集群，详情请参见 登录集群。执行以下命令启动Yarn ...
背景信息 CREATE EXTERNAL DATABASE 用于在Hologres实例中创建一个外部数据库，来加载外部数据源的元数据到Hologres，方便在一个系统中同时管理内、外部数据，实现湖仓一体架构下统一的元数据管理。内部数据是指存储于Hologres标准存储和...
冷热数据管理 FileSystem Catalog 冷热策略作用于文件级别，依赖文件修改时间，无法对齐业务逻辑，易误降冷或遗漏关键数据。DLF REST Catalog 支持表级、分区级冷热策略，按业务语义精准控制数据生命周期，确保热数据高性能、冷数据低成本...
背景信息 数据湖构建DLF是一款全托管的快速帮助用户构建云上数据湖的服务，提供了云上数据湖统一的权限管理和元数据管理，详细信息请参见 数据湖构建产品简介。数据权限功能，请参见 数据权限。前提条件 已创建E-MapReduce集群，并选择了...
背景说明 元数据管理和数据权限控制 是DLF产品提供的数据湖构建所需的基础能力。通过DLF提供的统一元数据视图访问湖上数据，有效解决了数据湖中元数据一致性问题以及数据共享难题。同时各引擎也可通过集成DLF统一权限获得企业级的权限管理...
支持Hive Metastore：可读取Hive中维护的元数据信息，便于统一管理元数据。详情请参见 管理Hive Catalog。重要 仅支持Hive Metastore 2.3.6版本。Hive Metastore暂不支持Kerberos方式认证。支持快速配置监控告警：您可以直接在实时计算开发...
通过OSS向量检索，您可以基于语义内容、OSS元数据、多媒体元数据、对象ETag及标签和自定义元数据等条件，快速定位海量Object中的目标文件，优化检索效率。使用场景 个人及企业办公场景 向量检索可以通过特定语义内容直接对办公文件进行搜索...
采集任务通过采集适配器连接到指定的数据源，将源数据库中的对象元数据信息采集至Dataphin，通过内置解析器进行解析后存储并进行统一呈现。本文为您介绍如何创建及管理元数据采集任务。前提条件 需先在 管理中心 数据源管理 应用系统 创建...
V5.3版本之前，部分数据源需要先在元仓租户中完成 元数据中心 初始化配置才可采集，包括AnalyticDB for MySQL 3.0、PolarDB-X（原DRDS）、SAP HANA、Hologres；V5.3及之后版本，无需进行元数据中心初始化配置，可直接开始配置采集任务。...
介绍 统一的元数据管理，可以实现：持久化的元数据存储。支持统一元数据之前，元数据都是在集群内部的MySQL数据库，元数据会随着集群的释放而丢失，特别是EMR提供了灵活按量模式，集群可以按需创建用完就释放。如果您需要保留现有的元数据...
ossfs 2.0支持通过元数据缓存减少访问文件时产生的OSS元数据请求并提升元数据性能。元数据缓存包括文件属性缓存和负缓存。本文介绍元数据缓存的工作原理。背景信息 当通过 ossfs 2.0 查询文件元数据时，系统会将其转换为多个 OSS 请求，以...
基于DataWorks平台提供的开放数据，您可进行以下应用：数据盘点：清晰统计工作空间、负责人管理的数据对象（如表、任务），了解数据结构、来源、更新频率及依赖关系，消除“数据黑盒”问题。全链路追溯：基于表和数据血缘等元数据，支持...
在Fluss控制台中，在左侧导航栏选择 数据管理，单击对应的数据库，在右侧展示的数据表中，可选择 开启湖流一体。说明 数据表开启湖流一体后，系统会自动将表的元数据同步至 DLF。可在 DLF 中对应关联的 Catalog 下，找到一个与 Fluss 中...
当您需要全面了解并高效地使用表数据，您可在 数据管理DMS 的SQL窗口查看表的详细信息，包含表所属库、字段、索引、行数等技术元数据，类目、表描述等业务元数据，以及表权限、表Owner等管理元数据。背景信息 DMS在表详情中引入表的元数据...
名称 类型 描述 示例值 object 元数据采集器类型 Type string 类型标识，当前支持的元数据采集器类型，取值有 maxcompute dlf hms（使用 HMS 管理元数据的 EMR 集群或 CDH_HIVE 集群）holo mysql oracle postgresql sqlserver analyticdb_...
Kudu是一个分布式的，具有可扩展性的列式存储管理器，可以对快速变化的数据进行快速分析。使用场景 典型的应用场景如下：近实时计算场景 时间序列数据的场景 预测建模 与存量数据共存 通常生产环境中会有大量的存量数据，数据可能存储在...
元数据实体对象 数据地图通过元数据采集器采集并纳管了不同类型和不同层级（子类型）的元数据实体对象。完整的采集器类型支持列表请参见 采集器类型（CrawlerType）支持列表。按照元数据层级结构，数据地图支持的完整元数据实体层级分为：...
创建Hologres Catalog 单击目标工作空间名称，然后在左侧导航栏，选择 数据管理。在右侧 Catalog列表 界面，单击 创建Catalog。在弹出的 创建 Catalog 对话框里，选择 Hologres，单击 下一步 并配置如下参数：参数 是否必填 说明 catalog ...
查看及管理我可用的资产 创建及管理仪表板 创建及管理自助取数 创建及管理电子表格 元数据共享模型 数据服务API表dim_dataphin_service_api新增字段update_rate_detail、call_mode、execution_timeout字段，可记录异步调用API的执行超时间...