查询数据地图支持的元数据采集器类型列表，其中包含元数据采集器类型，及给定类型支持的子类型和子类型之间的层级关系信息。接口说明 需要购买 DataWorks 基础版及以上版本才能使用。调试 您可以在OpenAPI Explorer中直接运行该接口，免去...
名称 类型 描述 示例值 object 元数据采集器类型 Type string 类型标识，当前支持的元数据采集器类型，取值有 maxcompute dlf hms（使用 HMS 管理元数据的 EMR 集群或 CDH_HIVE 集群）holo mysql oracle postgresql sqlserver analyticdb_...
其他操作 数据总览 您可以在数据总览页面查看当前地域（Region）下配置了数据采集器的Hologres数据库统计信息和表信息，进入数据总览详细步骤请参见 数据总览。查找表 数据地图支持通过表名，表描述、字段名及字段描述等搜索表，同时还可以...
元数据采集完成后，您可以在数据总览页面查看当前地域下，配置了数据采集器的Hologres数据库统计信息和表信息，详情请参见 数据总览。如果需要查找表，可参见 通用数据查询与管理。查看血缘详情。查找到目标表后，您可以单击目标表名称进入...
暂不支持使用MySQL元数据采集器来采集OceanBase数据源。功能入口 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理 数据地图，在右侧页面中单击 进入数据地图。在左侧导航栏中，单击 进入元数据采集页面。系统内置采集...
元数据采集 MaxCompute元数据&DLF元数据：系统默认内置MaxCompute元数据采集器和DLF元数据采集器，数据地图将自动获取元数据。其他类型元数据：通过自定义元数据采集功能将不同数据源中的元数据导入数据地图进行统一管理。目前数据地图支持...
操作步骤 以StarRocks中MySQL External Catalog为例，您如配置某MySQL_DB为 mysql_catalog_db，则需您在数据地图中配置并建立MySQL类型元数据采集器，采集MySQL_DB相应元数据信息后，对应StarRocks中的 mysql_catalog_db 下元数据信息亦可...
取值与元数据采集器类型相关 Internal CreateTime long 创建时间（毫秒级时间戳）1722073854000 ModifyTime long 修改时间（毫秒级时间戳）1722073854000 ParentMetaEntityId string 父层级实体 ID 对于 dlf 类型，ParentMetaEntityId 格式...
元数据实体对象 数据地图通过元数据采集器采集并纳管了不同类型和不同层级（子类型）的元数据实体对象。完整的采集器类型支持列表请参见 采集器类型（CrawlerType）支持列表。按照元数据层级结构，数据地图支持的完整元数据实体层级分为：...
背景信息 创建 旧版数据开发：EMR计算资源 后，平台将自动在 数据地图 新建EMR元数据采集器来采集该集群元数据，若您创建EMR计算资源后仍无法在此界面选择到EMR库，请前往数据地图找到该集群的元数据采集器重新采集，详情请参见 采集E-...
父层级实体类型参考 ListCrawlerTypes 接口 若父层级实体为数据目录，ParentMetaEntityId 格式参考 Catalog 对象 如果父层级实体为元数据采集器，ParentMetaEntityId 格式为${CrawlerType}:${实例 ID 或转义后的 URL} 几种常用类型的 ...
数据地图 API 标题 API概述 元数据采集器类型 元数据采集器类型 ListCrawlerTypes 获取数据地图元数据采集器类型列表 查询数据地图支持的元数据采集器类型列表，其中包含元数据采集器类型，及给定类型支持的子类型和子类型之间的层级关系...
测试表 TableType string 表类型，取值与元数据采集器类型相关。TABLE PartitionKeys array 分区键列表，非分区表时为空。string 分区键。ds ParentMetaEntityId string 父层级元数据实体 ID，可参考 元数据实体相关概念说明。对于支持 ...
由系统自动运维元数据采集器，您无需额外管理元数据采集器。在数据地图中，通过全局 元数据检索 搜索目标MaxCompute表。重要 若在数据地图中，没有找到目标表，您可进入 我的数据 我的工具 刷新表元数据，手动同步相关表。查看表详情 在...
元数据采集工作流说明 若采集的 数据源网络环境与Dataphin集群所在网络环境不通，需要依赖注册调度集群功能，并将采集数据写入到Dataphin部署依赖的对象存储系统（如OSS）作中转，再将数据写入Dataphin系统，此时会产生额外的存储费用。...
进入数据地图模块 本示例在数据地图模块的元数据采集功能中进行操作。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理 数据地图，在右侧页面中单击 进入数据地图。一、采集元数据 在左侧导航栏单击 元数据采集，然后...
在 数据源视角 的 Lindorm 采集器中配置元数据采集计划，即可采集Lindorm表的元数据信息，详情请参见 元数据采集。查找表 等待Lindorm元数据采集计划执行成功后，您可通过以下步骤查看所采集的Lindorm表元数据信息。单击左侧的菜单栏的 ...
新增支持Amazon Redshift、Amazon RDS for PostgreSQL/MySQL/SQL Serve/Oracle/DB2数据源，可用于离线集成、元数据采集、全域表质量规则/数据源监控规则创建、API开发（Redshift、DB2数据源暂不支持数据服务）。直连数据源异步模式创建API...
元数据采集工作流说明 若采集的 数据源网络环境与Dataphin集群所在网络环境不通，需要依赖注册调度集群功能，并将采集数据写入到Dataphin部署依赖的对象存储系统（如OSS）作中转，再将数据写入Dataphin系统，此时会产生额外的存储费用。...
深入解析DataWorks元数据采集白名单，助您理解其网络通信机制，避免因安全组策略错误导致采集失败，并提供各地域完整IP列表，保障数据治理顺畅运行。
默认情况下您需要先配置其他引擎的元数据采集后，DataWorks的数据地图才会根据配置结果采集对应引擎的元数据。如果您不希望采集其他引擎的元数据，不配置对应引擎的元数据采集即可。元数据采集的配置请参见 元数据采集。支持的权限管控策略...
采集范围与采集方式 采集范围与采集方式 安全托管 非 安全托管 元数据采集范围 采集并存储数据库实例的所有元数据，元数据详情信息请参见 采集的元数据列表。仅会采集并存储库级别信息，其余元数据将在登录后进行实时加载。首次录入时是否...
采集任务权限列表 具有 采集任务与采集实例-管理 权限的自定义全局角色支持新建及管理元数据采集任务。权限点 超级管理员 系统管理员 普通成员 我负责的 创建采集任务 Y Y N Y 编辑&删除采集任务 Y Y N Y 查看元数据清单 Y Y N Y 查看...
采集任务权限列表 具有 采集任务与采集实例-管理 权限的自定义全局角色支持新建及管理元数据采集任务。权限点 超级管理员 系统管理员 普通成员 我负责的 创建采集任务 Y Y N Y 编辑&删除采集任务 Y Y N Y 查看元数据清单 Y Y N Y 查看...
创建AnalyticDB for MySQL3.0数据源 创建ClickHouse数据源 注册EMR集群至DataWorks 注册CDH或CDP集群至DataWorks 开发前准备 开发前准备：绑定计算资源或集群 元数据采集 元数据采集 进入表管理 进入数据开发。进入数据开发页面。登录 ...
说明 仅支持对MaxCompute引擎进行相关操作，其他引擎的权限管控可通过其他引擎的元数据采集配置来实现，操作详情请参见 元数据采集。单击左侧导航的 配置管理 项目管理配置，进入项目配置页面。在 工作空间（我是负责人或管理员）区域选择...
大数据存储型数据源 数据源类型 离线集成 实时集成 离线研发-数据库SQL 元数据采集 实时研发 Dataphin表/全域表质量 数据源质量-表结构异动性 数据服务 标签工厂 创建指导 MaxCompute 支持 支持 不支持 不支持 支持 支持 支持 支持 支持 ...
所有租户的元数据采集任务将统一在元仓租户中运行，在使用元数据中心功能前，您需要先在元仓租户中完成元数据中心的初始化设置，指定元数据采集任务运行时计算源信息。本文为您介绍如何进行元数据中心设置。使用限制 元数据中心设置的计算...
应用系统可作为元数据采集的数据来源。本文为您介绍如何创建及管理应用系统。使用限制 支持创建不超过100个应用系统。权限说明 超级管理员和系统管理员支持创建及管理应用系统。Quick BI采集和消费依赖的OpenAPI Dataphin和Quick BI系统...
当DataWorks功能模块（如数据集成、数据服务、元数据采集、数据分析等）需要访问您的数据源时，部分数据源会通过白名单机制限制访问来源。为确保各功能模块的正常运行，您需要将对应模块的出口IP地址或网段加入数据源的白名单。背景信息 ...
大数据存储型数据源 数据源类型 离线集成 实时集成 离线研发-数据库SQL 元数据采集 实时研发 全域表质量 数据源质量-表结构异动性 数据服务 标签工厂 创建指导 MaxCompute 支持 支持 不支持 不支持 支持 支持 支持 支持 支持 创建...
离线集成任务支持自动解析的字段血缘为元数据中心支持采集的数据源类型的表，支持的数据源请参见 元数据采集概览。使用Schema选择表的输入组件，若该组件关联的数据源Schema更新，需重新提交集成任务才能自动更新血缘。若您使用了MySQL ...
数据地图 数据地图模块支持对StarRocks数据的元数据采集、搜索和表详情页。元数据采集 进入数据地图页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理 数据地图，在右侧页面中单击 进入数据地图。在左侧导航栏单击...
元数据采集：对 E-MapReduce、Hologres、AnalyticDB、CDH 等非 MaxCompute 数据源配置规则前，需要先完成元数据采集。详情请参见 元数据采集。网络连通性：当校验非 MaxCompute 数据源时，关联的调度节点需要使用已配置好 网络连通方案 的...
创建全域数据表质量规则 创建数据源质量规则 批量创建质量规则 元数据采集 新增支持数据源表的探查配置，支持根据数据源粒度进行探查配置，包括并发限流、是否开启探查、探查超时等，并支持设置set语句便于对探查任务进行调优。创建及管理...
增值功能包括 实时研发、智能运维、数据标准、资产质量、资产安全、资源治理、数据服务、OpenAPI、实时集成、标签工厂、注册调度集群、租户数量、行级权限、资产运营、元数据中心（元数据管理+元数据采集）。增值功能包 描述 实时研发 基于...
详情请参见 元数据采集。操作步骤 进入 数据开发 页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在左侧导航栏，单击 公共表。单击左下方的 ...
在左侧导航栏选择 元数据采集 采集实例，进入 采集实例 页面。采集实例页面为您保留最近7天运行过的实例记录，包括实例的名称、执行状态、数据来源和数据源编码、数据来源类型、运行时间、执行方式、执行人及任务负责人信息。数据源：您...
在左侧导航栏选择 元数据采集 采集实例，进入 采集实例 页面。采集实例页面为您保留最近7天运行过的实例记录，包括实例的名称、执行状态、数据来源和数据源编码、数据来源类型、运行时间、执行方式、执行人及任务负责人信息。数据源：您...