查询数据地图支持的元数据采集器类型列表，其中包含元数据采集器类型，及给定类型支持的子类型和子类型之间的层级关系信息。接口说明 需要购买 DataWorks 基础版及以上版本才能使用。调试 您可以在OpenAPI Explorer中直接运行该接口，免去...
它通过运行“采集器”（Crawler），自动地从分散在同一地域下不同工作空间的DataWorks数据源（如MaxCompute、Hologres、MySQL、CDH Hive等），抽取技术元数据（库、表、字段等）、数据血缘、分区信息等，汇集到DataWorks数据地图中，为您...
网络连通 将数据源中的元数据导入数据地图进行统一的元数据管理，需要先确保数据地图元数据采集器能正常访问您的数据库。如果您需要进行元数据采集的数据库已开启白名单访问控制，请在数据库白名单列表中，添加您使用的DataWorks所在地域...
数据地图 API 标题 API概述 元数据采集器类型 元数据采集器类型 ListCrawlerTypes 获取数据地图元数据采集器类型列表 查询数据地图支持的元数据采集器类型列表，其中包含元数据采集器类型，及给定类型支持的子类型和子类型之间的层级关系...
2024-11-21 所有地域 所有用户 ApsaraDB for OceanBase整库实时同步至MaxCompute 数据地图 数据地图元数据采集支持采集并管理AnalyticDB for Spark元数据。2024-11-21 所有地域 使用新版数据开发（Data Studio）的用户 元数据采集 数据地图...
Beats是轻量级的数据采集工具，使用 Beats 数据采集器，您可以实时监控系统状态、分析日志并快速识别和解决问题。阿里云Elasticsearch支持Filebeat、Metricbeat、Auditbeat和Heartbeat等多种采集器。您可以根据本文介绍的具体使用场景选择...
按照元数据层级结构，数据地图支持的完整元数据实体层级分为：Catalog（数据目录）Database（数据库）Schema（数据库模式）Table（数据表）Column（字段）其中，不同采集器类型对于实体层级的支持情况不同。采集器类型（CrawlerType）支持...
该方式需要先下载一个数据采集器，并安装到一台可以访问公网的机器上。该机器可以是用户自己提供的任何服务器。请单击 下载离线采集器，并将采集器上传至一台可以访问公网的服务器或虚拟机上。解压后，您将可以看到三个文件：cadt-...
下载采集器：如果源库不能对外使用公网，或者无法从云上去访问，可以通过ADAM数据采集器采集数据库。更多信息，请参见 采集器采集。在线采集 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 Data+AI 异构数据库迁移（ADAM）数据库评估。在 ...
敏感数据保护：为保证数据库的敏感信息不被泄漏，数据采集器会对采集到的数据进行脱敏。兼容性分析：源库特性匹配：识别对象使用了哪些特性，并给出在目标库上的解决方案。源库使用场景匹配：针对一些特定的使用场景（通常可能会影响性能）...
LoongCollector 是日志服务推出的一款集性能、稳定性和可编程性于一身的新一代数据采集器，专为构建下一代可观测 Pipeline 设计。LoongCollector扩展融合了可观测性技术栈，改变传统日志采集器的单一场景限制，支持Logs、Metrics、Traces、...
由系统自动运维元数据采集器，您无需额外管理元数据采集器。在数据地图中，通过全局 元数据检索 搜索目标MaxCompute表。重要 若在数据地图中，没有找到目标表，您可进入 我的数据 我的工具 刷新表元数据，手动同步相关表。查看表详情 在...
Elastic Beats Elastic Beats是一组轻量型的数据采集器，可以方便地将数据发送给Elasticsearch服务。由于是轻量型的，Beats不会产生太多的运行开销，因此，可以在硬件资源有限的设备（如 IoT 设备、边缘设备或嵌入式设备）上运行和收集数据...
Telegraf是InfluxData开发的数据采集器，支持众多的输入输出插件（例如MySQL、Redis、Elasticsearch等），在开源领域被广泛使用。本文介绍Telegraf的工作机制、安装步骤及采集方式。工作机制 日志服务基于Telegraf开发的监控模板，支持将...
该参数仅控制采集配置的创建地域，不控制采集器数据投递目标。如需跨地域采集，请配置 config_server_address和data_server_list。uid string 否 目标Project所属的阿里云主账号的uid。默认值为当前集群所属的主账号uid。该参数仅控制采集...
其他操作 数据总览 您可以在数据总览页面查看当前地域（Region）下配置了数据采集器的Hologres数据库统计信息和表信息，进入数据总览详细步骤请参见 数据总览。查找表 数据地图支持通过表名，表描述、字段名及字段描述等搜索表，同时还可以...
全部地域 采集配置生成器 2025年01月 功能名称 功能描述 支持地域 相关文档 LoongCollector LoongCollector 是一款集卓越性能、超强稳定性和灵活可编程性于一身的数据采集器，专为构建下一代可观测 Pipeline 设计。在继承了Logtail 强大的...
背景信息 创建 旧版数据开发：EMR计算资源 后，平台将自动在 数据地图 新建EMR元数据采集器来采集该集群元数据，若您创建EMR计算资源后仍无法在此界面选择到EMR库，请前往数据地图找到该集群的元数据采集器重新采集，详情请参见 采集E-...
计算资源、数据库节点 数据地图 采集数据源元数据，用户可查看表结构及血缘信息。支持的数据源及元数据采集方式 数据分析 连接数据库进行数据处理、分析、加工及可视化操作。支持的数据源 数据服务 基于数据源表结构生成API服务，提供数据...
dataworks:ListContacts-dataworks:ListCrawlerTypes 查询数据地图支持的元数据采集器类型列表，其中包含元数据采集器类型，及给定类型支持的子类型和子类型之间的层级关系信息。dataworks:ListDataAssetTags-dataworks:ListDataAssets-...
元数据采集完成后，您可以在数据总览页面查看当前地域下，配置了数据采集器的Hologres数据库统计信息和表信息，详情请参见 数据总览。如果需要查找表，可参见 通用数据查询与管理。查看血缘详情。查找到目标表后，您可以单击目标表名称进入...
请使用 ADAM 数据库采集器采集的 ZIP 包进行上传并创建画像。画像报错，采集数据中缺乏某信息？ADAM 画像必须分析完整的采集数据，如果缺乏某些必要信息，请重启采集或联系 ADAM 工作人员。画像内容，如何查看兼容度？ADAM 数据库画像主要...
迁移评估采集文件：您可以下载迁移评估采集器进行数据采集，采集完成后的文件将上传至云上进行评估。详情请参见 通过迁移评估采集器采集数据库对象。上传文件 单击 上传文件，选择需要评估的文件进行上传。支持上传多个文件，生成一个评估...
您可以自行采集数据库对象定义，也可以下载迁移评估采集器完成数据库对象的采集。本文为您介绍如何通过迁移评估采集器采集数据库对象。背景信息 迁移评估采集器是用于在公有云环境采集用户 Schema 数据的工具。您在公有云环境下不可以使用...
建设效果 目前图扑软件联合阿里云端支撑泛在电力物联网及智能楼宇行业客户实现终端设备传感器云端数据采集、存储、检索，实现并发量100万TPS以上的传感器采集数据的并发写入，最高存储时序时间线40万能力，节约数据存储和系统维护成本达6成...
说明 AnalyticDB for PostgreSQL、Hologres和EMR（E-MapReduce）数据源还需要在 数据地图 页面采集元数据，才能查看公共表。详情请参见 元数据采集。操作步骤 进入 数据开发 页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏...
您可以自行采集数据库对象定义，也可以安装迁移评估采集器完成数据库对象的采集。详情请参见 通过迁移评估采集器采集数据库对象。在线评估需要连接目标数据库，采集源端数据库的对象、SQL 语句和数据库负载等信息。离线评估需要上传 SQL ...
地图面板快捷键说明 数据编辑器地图面板右下角，新增快捷键面板说明，您可以使用键盘即可快速操作，快捷键兼容Windows、Linux和macOS系统。快捷键 说明 Esc 中止当前的操作状态 Ctrl/Cmd+a 全选地图面板中的所有要素 Ctrl/Cmd+Shift+a 撤销...
数据地图-数据专辑：数据地图中汇集某一些主题表的 数据专辑，每个数据专辑即可添加成一个数据集。我的收藏：数据目录中我收藏的表。我的MaxCompute表：当前登录账号是表Owner的所有MaxCompute表。公共数据：DataWorks提供的 公开数据集，...
说明 如需在数据资产治理中使用Hologres计算资源，请先在数据地图中采集Hologres元数据。具体操作，请参见 元数据采集。当前仅华北2（北京）、华东2（上海）、华东1（杭州）和华南1（深圳）地域的数据资产治理支持Hologres计算资源。查看...
数据库和应用采集 登录阿里云官方网站，在 ADAM官网 下载 数据库采集器 和 应用采集器，按照 数据库采集 进行Oracle数据库采集，应用采集 进行Oracle应用采集，生成相应的zip格式的数据压缩包，便于后续上传到阿里云ADAM官网进行分析使用。...
注意事项：此时无法保证容器内数据采集的完整性。建议在业务退出前增加几秒的延迟，以确保日志能够完整采集。FORCE_RELEASE_STOP_CONTAINER_FILE":"true"示例场景：以下列举一些常见的场景下的操作示例供参考：采集性能配置规划 为防止...
说明 如需在数据资产治理中使用Hologres计算资源，请先在数据地图中采集Hologres元数据。具体操作，请参见 元数据采集。当前仅华北2（北京）、华东2（上海）、华东1（杭州）和华南1（深圳）地域的数据资产治理支持Hologres计算资源。查看并...
如需查看Hologres数据源下的表，请先在数据地图中采集Hologres元数据。具体操作，请参见 元数据采集。说明 当前仅华北2（北京）、华东2（上海）、华东1（杭州）和华南1（深圳）地域的数据资产治理支持Hologres计算资源。进入资产360页面 ...
说明 如需在数据资产治理中使用Hologres计算资源，请先在数据地图中采集Hologres元数据。具体操作，请参见 元数据采集。当前仅华北2（北京）、华东2（上海）、华东1（杭州）和华南1（深圳）地域的数据资产治理支持Hologres计算资源。查看并...
目前RUM SDK内置了API、static Resource等丰富的采集器。数据过滤：您可以选择过滤指定的资源或异常。链路追踪 链路追踪开关：开启链路追踪后，RUM SDK 将默认采取 OTel 标准，在端侧请求 header 中写入 TraceID。链路请求匹配：默认对所有...
数据地图 数据地图模块支持对StarRocks数据的元数据采集、搜索和表详情页。元数据采集 进入数据地图页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理 数据地图，在右侧页面中单击 进入数据地图。在左侧导航栏单击...
数据地图-数据专辑：数据地图中汇集某一些主题表的 数据专辑，每个数据专辑即可添加成一个数据集。我的收藏：数据地图中我收藏的表。我的MaxCompute表：当前登录账号是表Owner的所有MaxCompute表。公共数据：MaxCompute提供的 公开数据集，...
单击 前往采集中心查看，返回 Beats数据采集中心 页面，在 采集器管理 区域中，查看启动成功的Metricbeat采集器。等待 采集器状态 变为 已生效 后，单击右侧 操作 栏下的 查看运行实例。在 查看运行实例 页面，查看 采集器安装情况，当显示...
具体流程如下：数据采集 实时采集：通过Flume抓取日志数据，结合Kafka消息队列实现高吞吐、低延迟的流式数据缓冲，确保实时处理稳定性。 离线采集：基于Sqoop或DataX定期批量抽取MySQL、Oracle等关系型数据库的数据，同步至StarRocks...