数据湖构建已与操作审计服务集成，您可以在操作审计中查询用户操作数据湖构建产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...
数据开发 数据开发-创建节点并编辑代码 自动采集 数据开发（旧版）数据开发（旧版）-创建节点并编辑代码 数据分析 数据分析-新建SQL查询并编辑代码 数据服务 数据服务-新建API数据推送服务 API资产 数据地图支持查看数据服务API的元数据，...
EMR-2.4.0之前版本，所有集群采用的是集群本地的MySQL数据库作为Hive元数据库；EMR-2.4.0及后续版本，E-MapReduce（简称EMR）支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请...
Holoweb是基于Hologres引擎的可视化数据库管理和开发一站式平台，灵活适用于数据库管理、数据库接入、数据开发、数据分析、性能分析和诊断等用户场景。本文为您介绍HoloWeb以及HoloWeb提供的开发和运维功能。HoloWeb介绍 Hologres是为大...
在业务运行中，经常会沉淀到大量数据到数据湖中这部分数据可能是没有像数据仓库一样经过严格的数据管理流程或沉淀规范明确的元数据信息。元数据抽取可以分析数据湖中特定格式的数据，并自动生成元数据信息，通过周期性或手动执行，实现数据...
Dev-Prod：选择了Dev-Prod模式后，服务单元读取数据时您可以选择开发数据源和生产数据源。您可以在数据源页面，查看您的数据源是生产数据源还是开发数据源。物理数据表 您可根据数据源类型以及数据源筛选物理表。也可以单击 新增数据源 ...
Dev-Prod：选择了Dev-Prod模式后，服务单元读取数据时您可以选择开发数据源和生产数据源。您可以在数据源页面，查看您的数据源是生产数据源还是开发数据源。物理数据表 您可根据数据源类型以及数据源筛选物理表。也可以单击 新增数据源 ...
元数据是用于描述集群中数据存储位置、结构定义和访问权限等的关键信息。EMR支持将元数据存储在DLF、云数据库RDS MySQL和内置MySQL中。本文将为您介绍这三类元数据服务的区别，帮助您快速选型。元数据服务选型 对比维度 DLF统一元数据 自建...
迁移元数据上云是指将开源RabbitMQ集群的元数据导出，并将其导入到阿里云 云消息队列 RabbitMQ 版 实例。云消息队列 RabbitMQ 版 会根据成功导入的元数据在目标 云消息队列 RabbitMQ 版 实例中创建对应的Vhost、Queue、Exchange、Binding，...
新增支持Amazon RDS for PostgreSQL/MySQL/SQL Server/Oracle/DB2、Amazon Redshift数据源，可用于离线集成、元数据采集、全域表质量规则/数据源监控规则创建、API开发（Redshift、DB2数据源暂不支持数据服务）。创建Amazon RDS for MySQL...
使用ossfs 2.0与对象存储OSS交互时，合理优化发往OSS服务端的元数据请求量，不仅能减少OSS请求以节省服务调用成本，还能提升系统并发处理能力以及改善挂载点的读写性能。本文介绍一些典型场景下的元数据调优最佳实践。配置项 配置项 说明 ...
本文为您介绍如何将Hive MetaStore存储在MySQL、RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置使用DLF作为数据湖统一元数据。适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品。从阿里云EMR老集群（MySQL做元数据），整体...
本文主要为您介绍如何将已有EMR集群中存储在RDS或内置MySQL中的Hive Metastore元数据迁移到DLF，并说明如何在EMR集群中切换DLF作为统一元数据，从而实现多种数据源入湖，搭建高效的数据湖解决方案。适用场景 从其他大数据集群迁移到阿里云...
深度适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、PAI等数十种大数据和AI计算服务，为数据仓库、数据湖、OpenLake湖仓一体数据架构提供智能化ETL开发服务，它支持：数据目录：具备湖仓一体元数据管理能力的数据目录。Workflow：...
V5.3版本之前，部分数据源需要先在元仓租户中完成 元数据中心 初始化配置才可采集，包括AnalyticDB for MySQL 3.0、PolarDB-X（原DRDS）、SAP HANA、Hologres；V5.3及之后版本，无需进行元数据中心初始化配置，可直接开始配置采集任务。...
本文介绍数据湖构建中各资源的计费规格，包括元数据对象存储、元数据请求、数据探索和湖管理优化。计量计费项 重要 DLF产品目前所有功能为 0折扣活动阶段，即使超过免费阶梯限定后，目前也均不会产生实际计费。元数据对象的存储量 元数据...
DataWorks默认租户成员可进入数据地图模块，在数据地图模块中，默认可查看已接入数据地图的项目元数据，您可通过当前文档针对以上场景进行不同粒度的访问控制。数据地图权限管控介绍 数据地图支持的 功能模块、项目、表 这三个级别的元数据...
ossfs元数据缓存适用于单机高I/O读写OSS数据的场景。开启ossfs元数据缓存后，能够提升整体的文件操作效率，使文件操作响应更加迅速。本文将为您介绍如何更好地使用和配置ossfs元数据缓存。重要 在使用元数据缓存时，需要留意数据一致性和...
本文为您介绍迁移E-MapReduce（简称EMR）元数据至数据湖元数据DLF（Data Lake Formation）中的原因及迁移流程。迁移原因 2020年阿里云EMR推出全新的数据湖构建和统一元数据服务，为EMR用户提供了更好的统一元数据服务方案。阿里云EMR团队...
深度适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、PAI等数十种大数据和AI计算服务，为数据仓库、数据湖、OpenLake湖仓一体数据架构提供智能化ETL开发服务，它支持：数据目录：具备湖仓一体元数据管理能力的数据目录。Workflow：...
Dev-Prod：选择了Dev-Prod模式后，服务单元读取数据时您可以选择开发数据源和生产数据源。您可以在数据源页面，查看您的数据源是生产数据源还是开发数据源。服务单元描述 填写对服务单元的简单描述。不超过128字符。最大返回条数 Dataphin...
ossfs 2.0支持通过元数据缓存减少访问文件时产生的OSS元数据请求并提升元数据性能。元数据缓存包括文件属性缓存和负缓存。本文介绍元数据缓存的工作原理。背景信息 当通过 ossfs 2.0 查询文件元数据时，系统会将其转换为多个 OSS 请求，以...
Dev-Prod：选择了Dev-Prod模式后，服务单元读取数据时您可以选择开发数据源和生产数据源。您可以在数据源页面，查看您的数据源是生产数据源还是开发数据源。服务单元描述 填写对服务单元的简单描述。不超过128字符。最大返回条数 Dataphin...
元数据迁移提供可视化的元数据迁移能力，可以帮您快速地将Hive Metastore的元数据迁移到数据湖构建（DLF）中。使用限制 支持的Hive版本：2.3.x，3.1.x 版本。支持的数据库类型：MySQL。创建元数据迁移任务 登录 数据湖构建控制台。在左侧...
本文介绍如何在 云消息队列 Kafka 版 控制台创建元数据导入任务，将元数据迁移至 云消息队列 Kafka 版 已有实例。前提条件 下载JDK 8 购买并部署云消息队列 Kafka 版实例：购买并部署VPC实例 购买并部署公网/VPC实例 说明 购买实例的规格可...
元数据用于产品内的展示、检索使用，同时也是敏感数据规则自动化识别的基础信息，也是库、表、字段、数据行、可编程对象等细粒度的权限管控的基础信息。数据管理DMS会根据数据库实例的管控模式提供不同的采集范围与采集方式。背景信息 ...
当您在Hologres需要加速查询MaxCompute数据时，可以使用元数据映射至Hologres节点，将MaxCompute表元数据映射至Hologres，通过Hologres外表实现对MaxCompute数据的加速查询。前提条件 已创建需要映射元数据的 MaxCompute项目。已 创建...
用户画像分析任务流程完成后，在MaxCompute、EMR或StarRocks内将创建5张数据表。生成的数据表可在数据地图模块进行查看，可通过 血缘查看 来查生成表之间的关系。前提条件 开始本实验前，请先完成 同步数据 和 加工数据 的操作。数据源版本...
元数据管理 元数据管理是构建高效数据湖的关键组成部分，通过集中化和系统化的元数据管理，能够显著提升数据资产的价值与可用性。您可以使用该功能管理数据湖中的数据目录、数据库和数据表。创建数据目录 登录 数据湖构建控制台。在左侧...
为什么使用数据索引 传统的文件检索方式存在显著局限性，OSS数据索引能有效弥补这些不足：传统检索方式 OSS数据索引 操作复杂：需使用ListObject遍历并抽取元数据自建数据库，耗时且繁琐。简单易用：无需搬迁数据或自建检索系统，直接通过...
云效示例：Java K8s 应用标准研发流程模板，开发阶段设置为 自由选择分支（通常开发环境需要灵活，可以自由部署任意分支进行开发自测），测试阶段设置为 手动选择变更（通常测试环境需要相对稳定进行联调，可以限制只能部署变更特性分支）...
数据迁移：元数据迁移：通过使用阿里云 RabbitMQ 控制台迁移工具，进行元数据迁移 数据校验：元数据校验：通过检查迁移前后 vhost 的条数、Queue 的条数来校验元数据的一致性。2、数据迁移方案 2.1、使用阿里云 RabbitMQ 控制台迁移工具...
2.进入Microsoft Azure AD界面，配置SP的元数据信息，获取IDP的元数据信息 步骤一：在Azure AD中创建应用 管理员用户登录 Microsoft Azure AD界面，点击 查看。在左侧导航栏，选择 企业应用程序 所有应用程序。单击 新建应用程序。在 浏览...
接入性能监控数据后，您可以通过数据查询页面，查看目标Profile在某一段时间内的数值情况。前提条件 已接入性能监控数据。具体操作，请参见 接入Pyroscope性能监控数据。背景信息 接入性能监控数据后，性能监控数据被存储于名为${实例ID}-...
持续性产品更新：如果您定期更新产品文档或软件，希望用户始终通过同一个链接下载最新版本，且文件名保持不变，可以通过设置元数据来实现。权限说明 要修改文件元数据，您必须具有 oss:PutObject 权限。具体操作，请参见 为RAM用户授权...
高级配置 填写集群的高级选项，包括：机房元数据（dc）：填写集群的数据中心 DC（datacenter）名称。机房元数据是为了在多机房部署时，区分当前集群所在的机房，从而实现本机房优先等高级策略。地域元数据（region）：填写集群的 region。...
元数据支持丰富的采集源类型，如传统数据库MySQL、Oracle，大数据存储Hologres、应用系统等，可一览不同数据源类型或应用系统已创建的采集任务数、采集对象类型等信息。前提条件 需先在 管理中心 数据源管理 应用系统 创建应用系统，才能...
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...