（同步元数据）：单击该按钮后，DMS将采集数据库上最新的表、字段、索引、可编程对象等元数据信息，用于实现表、字段、可编程对象的权限分级管控，更多信息，请参见 元数据。（导出）：通过导出功能可导出数据库、数据库的表结构或建表语句...
新人需知道 首先，让我们了解一次完整的埋点流程，从提出需求到数据采集到Quick Tracking展示包含哪些关键环节：第1步：业务准备（需求｜业务技术）由需求人员主导整体的需求梳理、指标体系设计和埋点方案设计。其中，业务人员配合进行需求...
具体流程如下：多源数据实时接入：通过Flink多样化连接器实时采集数据库变更、日志及埋点数据。流式湖仓 Flink：作为流批一体计算引擎，实时消费数据流，完成清洗、转换（如日志解析、埋点标准化）及维度关联。Paimon：以流式数据湖形式...
在翻页或者加载的过程中，如果结果重复出现在第二页算一个新的曝光PV，结果不去重 如果开通数据采集功能并上传了曝光数据，则每次曝光记1否则，记每次返回的Item数 依赖开通数据采集功能，并且上传了用户曝光行为数据/也可不开通或上传，但...
设备协议模块可创建的协议以及各协议的功能如下：设备采集协议：将设备数据自动推送到云控平台数据采集端口。数据转化协议：将数据采集协议推动上来的设备数据转化为交通云控平台的标准格式。数据（控制）下发协议：使交通云控平台下发的...
修复指标采集数据格式错误问题。修复容器采集场景部分容器元信息缺失问题。2.1.6 发布时间：2025-03-03 优化 添加FORCE_RELEASE_STOP_CONTAINER_FILE环境变量，支持在业务容器停止的情况下强制释放文件句柄。修复 修复容器文件采集场景，...
本文为您介绍如何使用智能制造平台AICS实时数据采集模块。创建通道 登录 工业数据中台IGate。在通道管理页面，单击右上角 新增通道 按钮。通道是测点数据的来源，如果不使用IGate主动采集则不需要添加通道，可使用默认提供的平台标准通道，...
您可手动采集数据库信息，请右键单击实例名称，选择 刷新/同步字典，再单击 确认，稍等片刻刷新实例列表即可。创建表 以在自由操作的MySQL数据库中创建test_table表举例。使用SQL语句创建表 在SQL Console中输入创建表的SQL语句。创建一个...
新一代智能数据采集与分析工具，简单采集、轻松分析。在大数据与AI时代，丰富、准确的数据对于提升用户体验、促进业务增长至关重要。Quick Tracking 智能采集分析助手基于先进的大模型技术，智能理解页面信息并推荐埋点方案，生成埋点代码...
功能特点 通过Binlog增量采集数据库的更新操作数据，性能优越。支持RDS等MySQL协议的数据库。支持多种数据库过滤方式。支持设置Binlog位点。支持通过Checkpoint机制同步保存状态。使用限制 Logtail 1.0.31及以上版本支持采集MySQL 8.0的...
查看采集数据。SELECT*FROM show_samples('server');结果示例如下：sample|sample_time|sizes_collected|dbstats_reset|bgwrstats_reset|archstats_reset-+-+-+-+-+-1|2022-09-30 02:14:07+00|t|2|2022-09-30 02:16:59+00|t|3|2022-09-30 ...
在LoongCollector采集数据场景，常见的Quota报错有两种：WriteQuotaExceed：说明该Project在一定时间内，写入的数据总量或写入的次数过大，导致超过Quota限制的请求失败了。该报错发生并不一定是单个采集配置导致，而是多个采集配置、多个...
具体操作，请参见 使用日志服务采集数据面集群AccessLog。采集控制平面日志及设置告警 ASM支持采集控制平面日志和日志告警，例如采集ASM控制平面向数据平面Envoy代理推送配置的相关日志。ASM控制面组件的主要功能之一是推送网格的规则配置...
RDS控制台显示：解决方案：Rebuild命令执行完成后，后台会异步重新采集数据，该过程需要一定时间。您可以单击 重新采集 按钮手动采集最新数据，待数据采集完成后单击 导出脚本 下载到本地确认索引的回收情况。执行 SHRINKFILE 命令后，为...
采集配置项 采集配置项是定义 如何采集、处理日志数据 的核心规则。其目的是通过灵活配置，实现日志的高效采集、结构化解析、过滤加工等效果。在日志服务控制台上创建、查看、修改及删除Logtail采集配置等操作请参考 管理Logtail采集配置。...
应用场景 公网数据采集包含移动端、外部服务器、网页和设备数据的采集，采集完成后需要进行实时计算、数据仓库等数据应用。方案1：前端服务器+Kafka 由于Kafka不提供RESTful协议，更多是在集群内使用，因此一般需要Nginx服务器做公网代理，...
慢加载统一使用页面采集的日志）1 白屏数据 1 白屏截屏 50 重要 白屏监控分为“极有可能白屏”和“有可能白屏”两种，“有可能白屏”仅采集白屏数据，“极有可能白屏”采集白屏数据和白屏发生时的截图，因截图为图片消耗较大，系数为50。...
在使用LoongCollector进行数据采集时，可能会遇到采集异常问题。本文将介绍排查采集异常问题的流程，以及一些常见场景下的处理示例。采集异常问题排查指引 采集异常问题的成因复杂多样，且不同原因可能导致相同表象，甚至有时异常无法及时...
Prometheus实例 阿里云 可观测监控 Prometheus 版 提供的管理 可观测监控 Prometheus 版 数据采集和数据存储分析的逻辑单元。Prometheus探针 部署在用户侧或者云产品侧Kubernetes集群。负责自动发现采集目标、采集指标和远程写到其他库。...
什么是Prometheus实例 Prometheus实例是阿里云 可观测监控 Prometheus 版 服务提供的管理Prometheus数据采集和数据存储分析的逻辑单元，每个 Prometheus实例 提供对应的Prometheus数据采集配置、时序数据库实例、Dashboard监控大盘和报警...
什么是Prometheus实例 Prometheus实例是阿里云 可观测监控 Prometheus 版 服务提供的管理Prometheus数据采集和数据存储分析的逻辑单元，每个 Prometheus实例 提供对应的Prometheus数据采集配置、时序数据库实例、Dashboard监控大盘和报警...
什么是Prometheus实例 Prometheus实例是阿里云 可观测监控 Prometheus 版 服务提供的管理Prometheus数据采集和数据存储分析的逻辑单元，每个 Prometheus实例 提供对应的Prometheus数据采集配置、时序数据库实例、Dashboard监控大盘和报警...
其他数据终端版本 数据迁移 V1.4.79、V2.2.30、V2.2.52、V2.2.76、V2.2.77、V3.1.x、V3.2.x、V4.0.x、V4.1.x、V4.2.1.10、V4.2.2.1、V4.2.3.0、V4.2.4.0、V4.2.5.0、V4.3.0.1、V4.3.1.0、V4.3.2.1、V4.3.3.1、V4.3.4.1、V4.3.5.0 MySQL/RDS...
文件打开行为 Logtail会保持被采集的文件和轮转队列中待采集的文件处于打开状态，以保证采集数据完整性。出现以下情况，会关闭文件。文件超过5分钟未被修改。发生轮转且采集完毕。Logtail采集配置发生变更。如果无论文件是否采集完成或仍有...
日志服务Logtail支持采集主机CPU、内存、负载、磁盘、网络等监控数据。本文介绍通过Logtail采集主机监控数据的操作步骤。前提条件 已创建Project和MetricStore。具体操作，请参见 创建项目Project 和 创建MetricStore。使用限制 不支持...
实现原理示意图 采集层 DaemonSet Agent（又称 Pontus-Agent）日志采集代理 负责所有的数据的最终采集，包括原始日志拉取和指标型数据采集。具有插件化的能力，统一本地调度能力，负责拉起插件和解析数据，解析完了之后做一次聚合计算。...
tag_:_hostname_STRING Logtail采集数据的来源机器主机名，Logtail会自动为日志追加该字段。创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，操作流程请参见 数据源管理，详细的配置参数解释可在配置界面...
iLogtail采集配置生效后，Logtail开始采集数据，并发送到日志服务中。cube.yaml 为文件名，请根据实际情况替换。kubectl apply-f cube.yaml 查看iLogtail采集配置 查看当前Kubernetes集群中所有由 AliyunPipelineConfig 创建的iLogtail采集...
TSDB 具备秒级写入百万级时序数据的性能，提供高压缩比低成本存储、预降采样、插值、多维聚合计算、可视化查询结果等功能，解决由设备采集点数量巨大、数据采集频率高造成的存储成本高、写入和查询分析效率低的问题。TSDB是一个分布式时间...
v2.0.9 开始 5 数据采集开关 SDK默认开启数据采集能力，您也可以通过开启/关闭的 API控制数据采集的时机。（2.2.2 及以上版本支持）重要 默认为开启采集，如果开发者未设置或删除了 localstorage 中的 aplus-sdk-disable 字段，则仍会开启...
元数据采集完成后，您可以在数据总览页面查看当前地域下，配置了数据采集器的Hologres数据库统计信息和表信息，详情请参见 数据总览。如果需要查找表，可参见 通用数据查询与管理。查看血缘详情。查找到目标表后，您可以单击目标表名称进入...
版本 发布时间 发布说明 v2.0.2 2025年12月09日 修复 Flutter 数据采集已知问题，接入 Flutter 的推荐版本。v2.0.1 2025年12月05日 支持 Flutter 能力，需要结合 Flutter Plugin 共同使用，详情见 接入Flutter应用。丰富 Action 采集能力，...
CloudLens for PolarDB支持一键开启数据采集功能，用于采集PolarDB MySQL集群的审计日志、慢查询日志、错误日志和性能指标。本文介绍开启数据采集功能的操作步骤及相关操作。前提条件 已创建PolarDB MySQL集群。具体操作，请参见 购买按量...
CloudLens for ALB支持一键开启数据采集功能，用于采集ALB访问日志。本文介绍开启数据采集功能的操作步骤及相关操作。前提条件 已创建应用型负载均衡实例。具体操作，请参见 创建应用型负载均衡。已创建日志服务Project和Logstore。具体...
数据采集 功能权限 功能权限名称 权限说明 数据采集_埋点验证访问 可以访问「数据采集-埋点验证」，使用埋点验证功能并可以查看验证报告 注意：必须要有至少一个「数据采集」的“数据权限”才能正常访问。数据权限 数据权限名称 权限说明 ...
Fleet主要分为Fleet Server和Fleet Agent两部分，Fleet Agent是一个轻量级的数据采集代理，负责在源端收集数据。Fleet Server是Fleet的中心节点，负责管理和监控所有Fleet Agent，并将数据传输到Elasticsearch。名词解释 名词 说明 Fleet ...
应用场景 根据数据中的自增ID或时间等标识采集增量数据。根据筛选条件自定义同步。操作步骤 登录 日志服务控制台。在 接入数据 区域，选择 自定义数据插件。选择目标Project和Logstore，单击 下一步。在 机器组配置 页面，配置机器组。根据...
CloudLens for EBS 支持手动或自动化开启数据采集功能。手动开启采集功能针对单个或当前所有的云盘，自动化开启采集功能支持设置采集条件，并自动采集符合条件的云盘（包括未来创建的）的秒级监控数据。本文介绍开启数据采集功能的操作步骤...
系统采集到的数据都是 INSERT 类型的，如果想获取类似 CDC 的数据，需要通过其他技术方案解决。例如，通过基于主键的 GROUP BY 生成 CDC 数据。来源表上必须配置 update_time 字段（记录更新时间），并且每次记录更新必须要更新这个字段值...
统一的数据管道/数据湖 支持数十种采集方式，实现海量数据统一实时采集。用于加工清洗、实时消费与分发，适配业务分析、大数据分析等。每天支持 PB 级查询和分析处理，快速响应业务需求。日志安全与合规审计 构建多账号、多地域统一采集的...