业务系统：源数据层，是组织中各个业务系统（如ERP系统、CRM系统、生产系统等）产生和存储数据的地方。数据采集层：负责从多个业务系统或外部数据源中抽取数据，并进行初步处理，如清洗和格式转换。数据加工层：接收经过初步处理的数据，...
业务系统：源数据层，是组织中各个业务系统（如ERP系统、CRM系统、生产系统等）产生和存储数据的地方。数据采集层：负责从多个业务系统或外部数据源中抽取数据，并进行初步处理，如清洗和格式转换。数据加工层：接收经过初步处理的数据，...
Logstash Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。Logstash的数据处理流程如下：输入：采集各种格式、大小和来源的数据。在实际业务中，数据往往以各种各样...
当指定某一个 数据源 时，将为您展示元数据的名称、Database/Schema、描述、元数据类型、最新版本信息，您可以单击列表标题后的 查看详情 或数据源后的 查看详情，查看该数据源对应的采集任务信息，包括数据源名称、数据源编码、采集任务、...
LoongCollector 是日志服务推出的一款集性能、稳定性和可编程性于一身的新一代数据采集器，专为构建下一代可观测 Pipeline 设计。LoongCollector扩展融合了可观测性技术栈，改变传统日志采集器的单一场景限制，支持Logs、Metrics、Traces、...
当指定某一个 数据源 时，将为您展示元数据的名称、Database/Schema、描述、元数据类型、最新版本信息，您可以单击列表标题后的 查看详情 或数据源后的 查看详情，查看该数据源对应的采集任务信息，包括数据源名称、数据源编码、采集任务、...
核心概念 名词 说明 相关文档 准资产 通过采集适配器指定数据源采集的资产和从数据中台获取的资产，您可以根据业务场景判断是否上架，如需上架，需完善资产属性，包括设置上架的目标专题及目录、设置资产的可见范围以及是否允许查看数据...
核心概念 名词 说明 相关文档 准资产 通过采集适配器指定数据源采集的资产和从数据中台获取的资产，您可以根据业务场景判断是否上架，如需上架，需完善资产属性，包括设置上架的目标专题及目录、设置资产的可见范围以及是否允许查看数据...
核心概念 名词 说明 相关文档 准资产 通过采集适配器指定数据源采集的资产和从数据中台获取的资产，您可以根据业务场景判断是否上架，如需上架，需完善资产属性，包括设置上架的目标专题及目录、设置资产的可见范围以及是否允许查看数据...
建设效果 目前图扑软件联合阿里云端支撑泛在电力物联网及智能楼宇行业客户实现终端设备传感器云端数据采集、存储、检索，实现并发量100万TPS以上的传感器采集数据的并发写入，最高存储时序时间线40万能力，节约数据存储和系统维护成本达6成...
生成API支持的数据源 数据源环境隔离 为保障数据安全，标准模式的工作空间支持 数据源环境隔离 功能。您可以为开发环境和生产环境分别配置独立的数据源。开发环境数据源仅用于节点的开发与调试，而生产环境数据源则专用于已发布节点的周期...
Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。云原生数据仓库 AnalyticDB MySQL 版 完全兼容MySQL，您可以将Logstash Input插件支持的任一数据源中的数据写入 ...
数仓规划：数仓规划是数据建设中的蓝图，在开始数据开发前，需要完成数据仓库的规划，数仓规划配置包括：创建数据板块和主题域、计算源、数据源（源数据源和目标数据源）、项目及项目中的成员。数据集成：数据集成是Dataphin的能力模块，是...
1、业务流程简介 流量回放功能的使用流程大致分为以下几个步骤：第一步：数据采集。在生产环境中，需要选择合适的工具对数据库的读写请求进行捕获和记录。此过程需要谨慎操作，避免对生产环境造成过大的影响。通常，可以使用数据库代理、...
创建TDSQL for MySQL数据源 创建Hive数据源 创建MySQL数据源 创建Microsoft SQL Server数据源 创建PostgreSQL数据源 创建Oracle数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for MySQL 3.0数据源 创建AnalyticDB for ...
数据服务系统配置 通过直连数据源模式创建API 跨租户发布 导入发布包支持创建离线物理表的DDL替换规则，如可替换外部表location URL中的host、存储类型等。导入发布包 元数据共享模式 新增数据标准码表信息表：dim_dataphin_datastandard_...
在 数据源视角 的 Lindorm 采集器中配置元数据采集计划，即可采集Lindorm表的元数据信息，详情请参见 元数据采集。查找表 等待Lindorm元数据采集计划执行成功后，您可通过以下步骤查看所采集的Lindorm表元数据信息。单击左侧的菜单栏的 ...
② 元数据列表 为您展示筛选后的元数据列表，包含表名、描述、来源数据源、来源数据源类型、来源系统、最高涉密等级（需购买数据安全功能）、资产标签等元数据的详细信息，同时，您可以对该资产执行申请数据源权限和查看详情操作。...
② 元数据列表 为您展示筛选后的元数据列表，包含表名、描述、来源数据源、来源数据源类型、来源系统、最高涉密等级（需购买数据安全功能）、资产标签等元数据的详细信息，同时，您可以对该资产执行申请数据源权限和查看详情操作。...
区块 说明 读写诊断 采集数据源的读（等待）、写（等待）时间占比，探查数据源的读写是否存在性能问题。若任一占比超过 60%，则认为当前集成任务可能存在读写性能问题。耗时操作诊断 采集执行数据源相关操作的耗时，探查数据源的相关操作的...
区块 说明 读写诊断 采集数据源的读（等待）、写（等待）时间占比，探查数据源的读写是否存在性能问题。若任一占比超过 60%，则认为当前集成任务可能存在读写性能问题。耗时操作诊断 采集执行数据源相关操作的耗时，探查数据源的相关操作的...
下载采集器：如果源库不能对外使用公网，或者无法从云上去访问，可以通过ADAM数据采集器采集数据库。更多信息，请参见 采集器采集。在线采集 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 Data+AI 异构数据库迁移（ADAM）数据库评估。在 ...
采集任务通过采集适配器连接到指定的数据源，将源数据库中的对象元数据信息采集至Dataphin，通过内置解析器进行解析后存储并进行统一呈现。本文为您介绍如何创建及管理元数据采集任务。前提条件 需先在 管理中心 数据源管理 应用系统 创建...
ADAM的数据库评估功能通过对源数据库快速分析、评估，获得目标库选型建议，并对迁移工作量和成本进行预估。数据库评估流程 操作步骤 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 Data+AI 异构数据库迁移（ADAM）数据库评估。说明 实际操作...
采集任务通过采集适配器连接到指定的数据源，将源数据库中的对象元数据信息采集至Dataphin，通过内置解析器进行解析后存储并进行统一呈现。本文为您介绍如何创建及管理元数据采集任务。前提条件 需先在 管理中心 数据源管理 应用系统 创建...
数据库画像是数据库评估的基础数据，可以帮助您更好地了解自己的源数据库，在数据库迁移、改造等阶段，可以快速查找源数据库信息，指导迁移与改造。新建画像 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 Data+AI 异构数据库迁移（ADAM）...
采集任务 通过采集适配器连接到指定的数据源，将源数据库中的对象元数据信息采集至Dataphin，通过内置解析器进行解析后存储并进行统一呈现。采集实例 是采集任务根据定时调度时间或手动运行任务生成的实例任务。元数据管理 业务系统元数据 ...
采集任务 通过采集适配器连接到指定的数据源，将源数据库中的对象元数据信息采集至Dataphin，通过内置解析器进行解析后存储并进行统一呈现。采集实例 是采集任务根据定时调度时间或手动运行任务生成的实例任务。元数据管理 业务系统元数据 ...
采集任务 通过采集适配器连接到指定的数据源，将源数据库中的对象元数据信息采集至Dataphin，通过内置解析器进行解析后存储并进行统一呈现。采集实例 是采集任务根据定时调度时间或手动运行任务生成的实例任务。元数据管理 业务系统元数据 ...
为您展示本次采集对比上一次采集成功后元数据清单的变动情况，包括数据源、采集范围、采集策略、对象统计、新增对象统计、更新对象统计、删除对象统计、表明细、视图明细、字段明细信息。对象统计：为您展示本次采集成功后，从指定数据来源...
为您展示本次采集对比上一次采集成功后元数据清单的变动情况，包括数据源、采集范围、采集策略、对象统计、新增对象统计、更新对象统计、删除对象统计、表明细、视图明细、字段明细信息。对象统计：为您展示本次采集成功后，从指定数据来源...
操作流程 步骤一：准备工作 步骤二：配置并安装Filebeat采集器 步骤三：配置Logstash管道过滤并同步数据 步骤四：查看数据采集结果 步骤一：准备工作 创建阿里云Elasticsearch实例和Logstash实例，两者版本相同，并且在同一专有网络VPC...
其他操作 数据总览 您可以在数据总览页面查看当前地域（Region）下配置了数据采集器的Hologres数据库统计信息和表信息，进入数据总览详细步骤请参见 数据总览。查找表 数据地图支持通过表名，表描述、字段名及字段描述等搜索表，同时还可以...
源数据源类型：可选择 用户侧日志服务 或 CTDR专属数据采集通道（推荐），如何选择可参考 数据源类型对比。接入实例：建议新建 日志库（Logstore），进行数据隔离。数据导入 参考 数据导入通用操作流程 或具体导入文档（如 导入华为云日志...
元数据支持丰富的采集源类型，如传统数据库MySQL、Oracle，大数据存储Hologres、应用系统等，可一览不同数据源类型或应用系统已创建的采集任务数、采集对象类型等信息。前提条件 需先在 管理中心 数据源管理 应用系统 创建应用系统，才能...
Logtail多年来一直承载着阿里巴巴集团重要服务的数据采集。每天采集数百万服务器上的实时数据，日流量数十PB，并历经多次双十一挑战。相关性能指标，请参见 Logtail提升采集性能。相关技术分享，请参见 Logtail技术分享一 和 Logtail技术...
它通过运行“采集器”（Crawler），自动地从分散在同一地域下不同工作空间的DataWorks数据源（如MaxCompute、Hologres、MySQL、CDH Hive等），抽取技术元数据（库、表、字段等）、数据血缘、分区信息等，汇集到DataWorks数据地图中，为您...
背景信息 在线评估是直接连接目标数据库，采集源端数据库的对象、SQL 语句和数据库负载等信息，与 OceanBase 数据库的现有能力进行兼容性对标，查找其不兼容点并提供修复方法。使用限制 仅具备 AliyunOceanBaseFullAccess 权限的用户支持...
元数据支持丰富的采集源类型，如传统数据库MySQL、Oracle，大数据存储 Hive、Hologres、应用系统等，可一览不同数据源类型或应用系统已创建的采集任务数、采集对象类型等信息。前提条件 需先在 管理中心 数据源管理 应用系统 创建应用系统...
步骤一：数据准备 创建MySQL数据源 创建MySQL数据源，数据库名为 mysql_catalog_db，并创建示例表 mysql_catalog_table，示例脚本如下：CREATE TABLE mysql_catalog_table(catalog_table_id INT,catalog_table_name VARCHAR(255))准备MySQL...