创建及管理元数据采集任务 不同类型的采集源支持的操作 附录：元数据版本及属性说明 采样配置 数据质量 新增支持自定义SQL类型模板创建的质量规则的批量导入导出。批量导入质量规则 批量导出质量规则 目录管理 新增资产标签功能，可统一纳...
本文为您介绍Dataphin半托管版实例及增值功能包的定价和计费项折算逻辑、支持的地域、购买时长和数量，不包含所依赖云资源的计费信息说明。...功能 规格 定价（CNY/年）元数据管理 标准版 50,000 元数据采集 大数据引擎版 10,000
应用系统可作为元数据采集的数据来源，也可同步开启消费功能以对接Quick BI自助消费。本文为您介绍如何创建及管理应用系统。前提条件 仅支持V5.5.1及以上版本、独立部署环境的Quick BI应用系统。需购买资产消费功能才能配置消费相关配置。...
EMR Doctor存储元数据采集会根据用户资源动态调整采集的资源，不会占用过多用户资源。EMR Doctor的任务采集使用Java探针技术，不会单独启动Java进程监控。采集使用异步方式，不会阻塞任务主进程，当采集造成的压力过大时，会自动丢弃采集...
元数据采集 5分钟快速了解-元数采集 元数据是描述数据的数据，用于描述数据的内容、结构、来源以及关系等，帮助理解、管理和高效利用数据资源。Dataphin 支持元数据功能，通过从不同业务系统中抽取、加工以及集中存储和管理元数据，以支持...
元数据采集 5分钟快速了解-元数采集 元数据是描述数据的数据，用于描述数据的内容、结构、来源以及关系等，帮助理解、管理和高效利用数据资源。Dataphin 支持元数据功能，通过从不同业务系统中抽取、加工以及集中存储和管理元数据，以支持...
元数据采集 5分钟快速了解-元数采集 元数据是描述数据的数据，用于描述数据的内容、结构、来源以及关系等，帮助理解、管理和高效利用数据资源。Dataphin 支持元数据功能，通过从不同业务系统中抽取、加工以及集中存储和管理元数据，以支持...
其他系统资产搜索区 若当前租户开通了元数据采集与管理功能，支持切换到Dataphin资产或其他系统资产，查看不同资产类型下资产对象详情。您可以根据元数据对象的完整名称或描述关键字进行搜索。支持搜索框搜索全量资产。如果有搜索记录，将...
其他系统资产搜索区 若当前租户开通了元数据采集与管理功能，支持切换到Dataphin资产或其他系统资产，查看不同资产类型下资产对象详情。您可以根据元数据对象的完整名称或描述关键字进行搜索。支持搜索框搜索全量资产。如果有搜索记录，将...
在数据地图 首页，单击 元数据采集 后的 数据总览。在数据总览页，查看当前地域所有的引擎资源。MaxCompute关键指标说明：名称 描述 总项目数 当前地域下，所有MaxCompute项目总数。准实时 数据。总表数 当前地域下，所有MaxCompute表总...
本文为您介绍如何查看元数据的资产详情。使用限制 需要开通元数据采集与管理功能...说明 数据源表如果没有配置过元数据采集任务，则无法单击查看资产详情，仅支持查看部分基本信息，包括字段的名称、对象类型、所属表、数据源类型、血缘来源。
元数据采集任务 不可跳过，可手动启动元数据采集任务，支持查看任务状态及日志详情，日志中包含总工作流数量和已完成工作流数量。升级过程中，已生成的采集实例不做变更且使用最新版本的执行代码，若实例中包含了调度变更，则变更在升级...
本文为您介绍如何查看元数据的资产详情。使用限制 需要开通元数据采集与管理功能...说明 数据源表如果没有配置过元数据采集任务，则无法单击查看资产详情，仅支持查看部分基本信息，包括字段的名称、对象类型、所属表、数据源类型、血缘来源。
5分钟快速了解 前提条件 默认支持关系型数据库的元数据采集，如需采集其他数据源类型，请增购对应功能。权限说明 仅超级管理员、系统管理员和具有元数据功能查看权限的全局自定义角色支持查看元数据相关的菜单。元数据介绍 元数据是描述...
5分钟快速了解 前提条件 默认支持关系型数据库的元数据采集，如需采集其他数据源类型，请增购对应功能。V5.3版本之前，部分数据源需要先在元仓租户中完成 元数据中心 初始化配置才可采集，包括AnalyticDB for MySQL 3.0、PolarDB-X（原DRDS...
本文为您介绍如何创建及管理元数据采集任务。前提条件 需先在 管理中心 数据源管理 应用系统 创建应用系统，才能使用应用系统类型的采集源。使用限制 若采集的元数据存在同名但名称大小写不一致的情况时，系统仅识别计算引擎默认支持的写法...
数据采集计划 采集频率 用于控制任务采集的频率，支持 定时采集 和 手动采集。定时采集：根据配置的调度时间自动执行任务的采集，适用于对采集任务更新时效性较高的场景，支持 每日、每周、每月，可配置的定时开始执行时间区间为00:00～23:...
一级菜单 二级菜单 说明 元数据采集 采集概览 元数据支持丰富的采集源类型，如传统数据库MySQL、Oracle，大数据存储Hive、Hologres等，可一览不同数据源类型已创建的采集任务、已创建的数据源、采集对象类型和支持的版本。采集任务 通过...
数据管理DMS 中管控模式为安全协同模式的实例，在采集元数据时会默认屏蔽实例的系统库。本文列举不同数据库类型默认屏蔽的实例系统库。背景信息 数据管理DMS中录入实例后，系统将自动采集实例中数据库的元数据（字典）信息。为了保护系统库...
Hive（MySQL元数据库、HMS元数据）采集是否分区表、是否湖表、湖表格式、表存储模式、存储格式、创建时间、最近DDL更新时间信息，针对不同的表类型所展示的信息差异如下：视图：无法采集存储类型、存储格式、存储量、是否分区表、表行数...
编辑数据标准 数据标准-克隆数据标准 数据标准-提交上线数据标准 数据标准-下线数据标准 数据标准-删除数据标准 数据标准-编辑关联标准 数据标准-编辑关联文档 数据标准-批量导入数据标准（同时拥有标准模板-批量导入标准的权数据标准-限）...
查看 任务管理 查看 任务管理-查看 回收站列表 查看 回收站列表-查看 元数据 元数据采集-采集任务与采集实例 管理 查看采集任务列表 创建采集任务 编辑采集任务 删除采集任务 查看元数据清单 查看元数据实例 置为生效/失效 手动执行/临时...
实例录入数据管理DMS后，DMS会自动采集实例中数据库的字典信息。当您在DMS发现实例信息不一致时，您可以手动同步字典。如果您在DMS进行数据库结构变更，DMS会自动同步字典，否则需要手动同步字典。背景信息 字典信息用于实现数据库、表、...
DolphinDB通过调用函数采集相关元数据，根据数据源配置的用户账号在DolphinDB中的角色差异决定采集的数据范围不同：集群管理员：可以采集所有数据库下的表。DB_OWNER、有指定DB的DB_MANAGE、DB_READ权限的账号：可采集对应数据库下的所有表...
Metadata Prometheus 支持仅主机抓取模式 修复 移除无效的 GPU Collector 条目 修复磁盘采集器未挂载磁盘数据 bug 修复进程采集器崩溃问题 修复切换输入类型时未暂停 FileServer 的问题 修复无法为软链接文件创建 reader 的问题 修复单个...
DataWorks开放数据为您提供各维度的表或视图，便于您采集元数据。本文为您介绍当前DataWorks开放数据提供的表和视图列表，及其结构明细。MetaData元数据 本套元数据表及示例指标统计表由DataWorks基于当前租户的表、任务、实例、工作空间、...
元数据编辑器 单击 元数据编辑器，设置需要绑定的变量后，单击 保存。复制数据定义 在资源管理窗口，在选中资源上右键单击 复制，可以复制当前数据定义。删除数据定义 在资源管理窗口，在选中资源上右键单击 删除，可以删除当前数据定义。
存储元数据采集过程会产生中间数据，数据大小与FSImage成正比。collect.storage.max.depth 6 高级配置。存储元数据遍历目录层深，包含从'/'开始的目录层级。说明 不建议您将该参数值修改的过大，过大可能会造成分析时间过长、中间存储数据...
具体操作，请参见 元数据采集。当前仅华北2（北京）、华东2（上海）、华东1（杭州）和华南1（深圳）地域的数据资产治理支持Hologres计算资源。查看治理项问题解决方案 在 治理 知识库 治理项 页面，您可以通过不同维度，查看目标维度下数据...
IMM处理引擎将根据配置的工作流模板来决定要执行的算子操作，算子对元数据进行采集并将元数据索引到数据集中。请求类型 同步请求 客户端发出请求后阻塞等待结果返回，通常在几百毫秒内返回。例如图片实例中的人脸检测、内容识别等。异步...
例如相册场景，一个相册创建一个数据集，调用 BatchIndexFileMeta-批量索引文件元信息 或者 IndexFileMeta-索引文件元信息 接口为照片建立元数据索引，使用人脸聚类功能，将相册中存在相似人脸的多张照片进行分组。具体操作，请参见 创建...
新增支持Amazon Redshift、Amazon RDS for PostgreSQL、Amazon RDS for MySQL、Amazon RDS for SQL Server、Amazon RDS for Oracle、Amazon RDS for DB2数据源，可用于离线集成、元数据采集、全域表和数据源监控规则创建。资产治理升级，...
当Hologres数据库中的元数据管理器（Storage Master）和FE节点保存的表元数据不一致时，会导致DDL操作报错或影响费用等。Hologres提供了表Meta诊断功能，以检测当前实例中表元数据的一致性，并每周更新一次诊断结果，您可以根据对应元数据...
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
如需创建，请参见 创建及管理应用系统、创建及管理元数据采集任务。功能概述 仅 已上架 状态的资产可以在资产目录中搜索、查看。从数据源采集到的资产和从数据中台获取的资产最初会显示在准资产列表中。上架资产前，您需要完善属性，包括...
对于对象，还支持根据元信息进行筛选。过滤选项只能在命令行中使用，不能在配置文件里指定。在测试过滤配置时，您可以通过ls命令方式验证。也可以使用-dry-run/-n选项，在不进行任何更改的情况下执行试运行。基于路径/文件名过滤 在文件名...
注意事项 在通过绑定OSS Bucket或调用 IndexFileMeta-索引文件元信息、BatchIndexFileMeta-批量索引文件元信息 接口建立元数据索引时，根据数据集和项目配置的工作流模板来决定要执行的算子操作。在数据集中建立元数据索引时，数据集的模板...
支持选择业务系统、数据采集层、数据加工层、数据应用层、数据服务（API）、报表应用。业务系统：源数据层，是组织中各个业务系统（如ERP系统、CRM系统、生产系统等）产生和存储数据的地方。数据采集层：负责从多个业务系统或外部数据源中...
支持选择业务系统、数据采集层、数据加工层、数据应用层、数据服务（API）、报表应用。业务系统：源数据层，是组织中各个业务系统（如ERP系统、CRM系统、生产系统等）产生和存储数据的地方。数据采集层：负责从多个业务系统或外部数据源中...
但需要注意表的元数据采集自hg_table_info表，默认T+1日更新数据，如果表是当天创建的，会查询不到。表锁分析：跳转至表锁分析页面，可以查看当前Query是否有锁，仅会检测DML相关的锁。例如走Fixed Plan的SQL查询变慢，可以使用表锁分析...