整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
EMR on ECS是指在ECS上运行EMR，它将EMR的大数据处理能力与ECS的弹性灵活优势相结合，使得您能够更加便捷地配置和管理EMR集群，同时支持多种开源和自研大数据组件，适用于复杂的大数据处理和分析场景。产品架构 EMR主要由四部分组成，分别...
为了满足用户对文件元数据的采集、分析、查询等需求，智能媒体管理IMM推出了元数据管理功能。本文介绍元数据管理的应用场景、使用流程等。功能简介 使用智能媒体管理服务时，在授权允许的情况下，元数据管理功能可以根据您的需求分析存储在...
基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。更多信息，请参见 什么是OSS-HDFS服务。JindoData是阿里云开源大数据团队自研的数据湖存储加速...
表格存储可以帮助您实现高效的元数据管理。消息数据 表格存储自研的Timeline模型主要用于消息数据，能够抽象出支撑海量Topic的轻量级消息队列，可以存储大量社交信息，包括IM聊天，以及评论、跟帖和点赞等Feed流信息。目前表格存储Timeline...
分区是 数据管理手段 分区主要用于高效的数据过期、分层存储、批量删除等，而不是首选的查询优化工具。详细信息，请参见 Choosing a Partitioning Key。选择低基数字段作为分区键 推荐分区数控制在100~1000以内，避免高基数字段（即不同...
本文将为您介绍如何基于AnalyticDB构建企业数仓，并进行运维和元数据管理等操作。开始本文的操作前，请首先创建工作...元数据管理 您可以单击进入 DataWorks控制台，选择 数据治理 数据地图，进行元数据管理操作。详情请参见 数据地图概述。
验证元数据同步结果 在左侧菜单栏，单击 元数据 元数据管理。单击 数据库 页签，选择 数据目录，输入同步的 数据库名称，可以查询到相应的数据库信息。单击 数据表 页签，选择 数据目录 和 库名，输入同步的 表名，可以查询到相应的数据表...
通过MaxCompute与DLF和OSS的组合，可以实现数据仓库和数据湖的一体化，提供更加灵活和高效的数据管理和处理能力。访问DLF Legacy的元数据和OSS数据需要指定MaxCompute 外部Schema使用的，能够访问DLF Legacy和OSS的RAM权限。外部Schema映射...
如需进一步了解元数据表的详细信息，可单击对应表的 详情，在表详情页查看具体 字段 及其 描述 信息，方便您在使用过程中快速建立开放数据元数据表之间的关联关系。安装开放数据 您可以参考开放数据中的详情信息，根据业务需求，将本租户...
DataWorks数据地图为您提供 元数据采集 功能，方便您将DataWorks不同数据源的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。功能...
DMS数据分析与应用介绍 DMS通过Data Fabric+大模型构建数据管理底座，赋能数据分析与应用。该场景下核心的四个功能如下：安全托管：DMS在阿里集团数据库权限访问控制最佳实践，为企业提供一系列数据库权限管控的集合，可帮助企业实现多云...
调用 OpenMetaQuery 接口为存储空间（Bucket）开启元数据管理功能并选择检索模式。开启元数据管理功能并选择检索模式后，OSS会为Bucket创建元数据索引库并为Bucket中的所有文件（Object）建立元数据索引。元数据索引库创建完成后，OSS会...
背景信息 E-MapReduce（简称EMR）新版控制台是EMR发布的下一代云原生开源大数据平台，为用户提供全新平台体验、全新开发平台、全新资源形态和全新分析场景。新版控制台的功能特点，详情请参见 EMR新版控制台上线公告。EMR on ECS作为EMR...
通常每月或定期对数据进行核对，对比云服务提供商的原生工具数据与标准化数据 最大限度地减少或消除数据源系统之外的数据更改，并对所有源变更进行记录与核对，确保可回溯。采购 在与数据源供应商的合同或受管理的互动中，应明确数据摄取的...
客户需求 如架构图所示，MaxCompute和EMR不同引擎用于不同的业务场景，使用阿里云数据湖构建DLF统一做元数据管理和统一用户权限管理。通过DataWorks进行全链路数据治理，提升数据质量与应用能力。价值体现 将EMR的元数据统一到DLF，底层...
数据湖计算与分析 相比于数据仓库，数据湖以更开放的方式对接多种不同的计算引擎，如传统开源大数据计算引擎Hive、Spark、Presto、Flink等，同时也支持云厂商自研的大数据引擎，如阿里云MaxCompute、Hologres等。在数据湖存储与计算引擎...
close-meta-query命令用于关闭存储空间（Bucket）的元数据管理功能。注意事项 阿里云账号默认拥有关闭元数据管理功能的权限。如果您需要通过RAM用户或者STS的方式进行关闭，您必须拥有 oss:CloseMetaQuery 权限。具体操作，请参见 为RAM...
EMR StarRocks Manager是阿里云EMR团队针对Serverless StarRocks实例提供的数据管理控制台，为您提供对实例内数据的管理、诊断与分析，以及安全权限配置等功能。前提条件 已创建StarRocks实例，详情请参见 创建实例。步骤一：进入StarRocks...
云原生大数据计算服务MaxCompute（原名ODPS）是阿里云自主研发的集 高性价比、多模计算、企业级安全 和 AI驱动 于一体的 企业级SaaS化智能云数据仓库（AI-Native Datawarehouse）。视频简介 产品简介 MaxCompute是面向分析的 企业级 SaaS ...
Hologres MCP Server优势 实现AI Agent与大数据系统的通信交互 Hologres MCP Server服务器能达成AI Agent与Hologres数据库之间的无缝通信。借助该服务器AI Agent可直接与Hologres数据库进行交互，无需复杂的适配工作，为数据交互与处理奠定...
单可用区故障可能导致 HDFS 数据丢失及...结合数据生命周期管理，优化老旧数据的备份频率。性能调优 使用压缩传输减少网络带宽消耗。调整MapReduce任务配置，以优化备份恢复的性能。合理配置distcp的并发度（-m参数），以平衡网络带宽与负载。
Hudi概述 Hudi与Spark SQL集成 常见问题 Iceberg Iceberg是一种开放的数据湖表格式，提供高性能的读写和元数据管理功能。Iceberg 基础使用 Spark批式读写Iceberg DeltaLake DeltaLake是一个开源的数据存储层，提供ACID事务、可扩展的元数据...
管理用户及数据授权 元数据管理 元数据管理功能主要为您展示当前实例的所有数据库，数据表，分区及各种任务等信息。查看元数据 查询管理 通过EMR StarRocks Manager提供的全部查询功能，您可以获取系统的整体查询情况，以便于进行深入分析...
基于TableStore的海量电商订单元数据管理 基于Tablestore的海量保险单查询平台 TableStore：用户画像数据的存储和查询利器 TableStore：交通数据的存储、查询和分析利器 空间数据 多维的网格数据是一种科学大数据，在地球科学领域（气象、...
数据分析 SQL查询 第三方工具 数据库管理工具 通过数据库管理工具连接MaxCompute，目前主要支持DBeaver、DataGrip、SQL Workbench/J。数据库管理工具 ETL工具连接 通过ETL工具连接MaxCompute并进行开发作业调度，目前主要支持Kettle、...
为了支撑网盘的数据管理，通常需要提供各类元数据管理，特别是在AI智能处理场景下，需要定义相关的存储格式，处理数据库的异常，带来了较大的开发难度。采用此方案存在如下问题：元数据表设计难度大 针对不同的元数据，需要分类设计各类表...
解决方法：进入 我的数据 我的工具 刷新表元数据，操作成功后，重新搜索即可。表被隐藏：表可能被设置为“隐藏”状态，导致无法通过搜索发现。表状态设为“隐藏”时，所有人不可见；设为“仅项目”时，仅本工作空间成员可见。权限不足：...
数据管理DMS的元数据访问控制功能是指在DMS中对数据库、实例的查看与访问权限进行控制的功能。元数据访问控制开启后，如果用户没有数据库或实例的查询、导出或变更权限，则无法查看与访问该资源。本文将介绍如何在DMS中开启实例与数据库...
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
说明 此处的“报告”一词包含纸质报告、电子报告及组织内基于收集的云数据、元数据、运营数据和其他数据创建的看板、自定义数据馈送和结构化信息API。数据分析和报告是指利用云资源和资源体系数据和元数据，根据不同角色的需求建立不同的...
单击目标工作空间名称，然后在左侧导航栏，选择 数据管理。在右侧 Catalog列表 界面，单击 创建Catalog。在弹出的 创建 Catalog 对话框里，选择 Apache Paimon，单击 下一步 并配置如下参数：参数 是否必填 说明 metastore 必填 元数据存储...
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
StarRocks数据管理 AI Catalog 管理AI Catalog数据集和模型元数据。AI Catalog数据管理 span.aliyun-docs-icon { color:transparent!important;font-size:0!important;} span.aliyun-docs-icon:before { color:black;font-size:16px;} span...
open-meta-query命令用于开启元数据管理功能。注意事项 阿里云账号默认拥有开启元数据管理功能的权限。如果您需要通过RAM用户或者STS的方式开启功能，您必须拥有 oss:OpenMetaQuery 权限。具体操作，请参见 为RAM用户授予自定义的权限策略...
阿里云开放的大数据平台 E‑MapReduce(EMR)提供了多种产品形态，以满足不同用户的业务需求。根据部署方式可分为 EMR Serverless Spark、EMR Serverless StarRocks、EMR on ECS 和 EMR on ACK。为帮助用户选择合适的产品，以下整理了各产品...
在 元数据管理 页面，单击 数据表 页签。获取DLF数据库名称。目前仅支持选择DLF默认Catalog（数据目录）下的数据库。登录 数据湖构建（DLF）控制台，在左上角选择地域。在左侧导航栏，选择 元数据 元数据管理。在 元数据管理 页面，单击 ...
支持资源组的资源类型 大数据开发治理平台DataWorks支持资源组的资源类型如下表所示：云服务 云服务代码 资源类型 大数据开发治理平台DataWorks dide Proyek:大数据开发治理平台DataWorks dide dwresourcegroup:DataWorks资源组 大数据开发...
PARQUET：列式存储格式，压缩率高，适合大数据分析。ORC：优化的列式存储格式，性能优异，支持复杂数据类型。AVRO：支持模式演化的二进制格式，适合动态数据结构。JSON：支持嵌套结构，适合半结构化数据。SELE_DEFINE：允许用户自定义序列...