问题排查 使用Logtail采集数据后，如果预览页面或查询页面无数据，您可以使用logger命令向本地Logtail发送数据，用于判断是写入端问题、网络问题还是Logtail端问题。如果本地Logtail能接收到数据，则可能是写入端问题或网络问题。logger-n ...
在服务器上成功安装LoongCollector后，您还需要设置机器组，将服务器关联到日志服务指定资源中，随后进行LoongCollector采集配置，来定义数据的采集规则。并将采集配置手动绑定到机器组中，来实现下发采集规则到服务器上。核心概念与关系...
本文介绍了统计信息采集的三种策略和采集建议。SQL查询执行计划的好坏对数据库性能有重要的影响，为了给优化器CBO提供准确的统计信息用于生成更优的执行计划，PolarDB-X 会在后台发起统计信息采集任务。统计信息采集说明 PolarDB-X 包括...
Nginx日志是运维网站的重要信息，日志服务支持通过Nginx模式快速采集Nginx日志并进行多维度分析。本文介绍如何通过日志服务控制台创建Nginx配置模式的Logtail配置采集日志。方案概览 在Nginx配置模式下，Logtail会根据log_format中的定义将...
背景信息 DataWorks的大部分功能（创建数据源、数据同步、数据分析、数据采集、数据服务等）均基于接入的数据源或计算资源进行相关操作，如果涉及访问的数据源不在当前DataWorks资源组绑定的VPC中（例如数据源在其他VPC或IDC中），需要根据...
背景信息 DataWorks的大部分功能（创建数据源、数据同步、数据分析、数据采集、数据服务等）均基于接入的数据源或计算资源进行相关操作，如果涉及访问的数据源不在当前DataWorks资源组绑定的VPC中（例如数据源在其他VPC或IDC中），需要根据...
应用场景 公网数据采集包含移动端、外部服务器、网页和设备数据的采集，采集完成后需要进行实时计算、数据仓库等数据应用。方案1：前端服务器+Kafka 由于Kafka不提供RESTful协议，更多是在集群内使用，因此一般需要Nginx服务器做公网代理，...
本文介绍如何通过日志服务控制台创建Logtail采集配置来采集SQL Server查询结果。前提条件 已在服务器上安装Linux Logtail 0.16.0及以上版本或Windows Logtail 1.0.0.8及以上版本。具体操作，请参见 安装Logtail（Linux系统）或 安装Logtail...
单击 重新采集 按钮并确认，系统后台会异步重新采集数据，等待几分钟后，刷新页面查看最新数据。单击 保存PDF，将页面当前数据以PDF格式保存到本地。在 未更新统计信息 区域，以图表形式查看未更新的统计信息详情。单击 自定义查询，设置...
依托于日志采集组件多维度Kubernetes资源选择能力，采集Go程序的性能指标数据时，也支持通过环境变量、Kubernetes Labels、Namespace、Pod名称、容器名称过滤数据。更多信息，请参见 日志采集组件多维度Kubernetes资源选择能力。另外，Go...
1.0.30 新功能 Prometheus插件支持通过多个Logtail采集配置采集同一台机器上的Prometheus数据。容器服务Kubernetes的Windows节点支持add-on token鉴权。问题修复 修复进程采集插件在Linux系统中发生threadNum与fdNum指标错误问题。修复...
AliyunLogConfig是日志服务自定义的一类CRD，您可以通过配置YAML文件创建对应的CR，从而管理iLogtail采集配置。本文主要介绍通过AliyunLogConfig管理iLogtail采集配置的操作步骤。前提条件 已安装iLogtail组件。具体操作，请参见 安装...
通过采集器（Beats），您可以采集云服务器ECS（Elastic Compute Service）中的日志文件、网络数据、服务器指标等数据，发送到阿里云Elasticsearch或Logstash中进行监控、分析等操作。本文以Filebeat为例，介绍如何配置ECS服务日志采集。...
AI Profiling作为基于eBPF和动态进程注入的无侵入式性能分析工具，原生面向Kubernetes容器场景提供，支持对运行GPU任务的容器进程进行在线检测，涵盖多方面的数据采集能力，可以在正在运行的GPU任务上动态启停性能数据采集。而对线上业务来...
采集延迟场景 采集延迟是指本地实时日志在较长时间后才被发送至 SLS，可能导致监控延迟、数据不全，影响问题发现和统计告警。常见原因包括：SLS服务端写入限流（Quota超限）。网络质量问题，导致LoongCollector发送延迟（网络异常）。数据...
为了能够快速上手Quick Tracking，建议先了解和学习下采集SDK和流量分析产品的基本概念，这些基本概念会贯穿数据采集到数据分析的全流程。行为采集 在行为采集中，有如下四个基本概念需要了解：系统事件 系统事件是指由采集SDK发出，用来...
单击 重新采集 按钮并确认，系统后台会异步重新采集数据，等待几分钟后，刷新页面查看最新数据。单击 保存PDF，将页面当前数据以PDF格式保存到本地。在 索引缺失图表信息 区域，以图表形式查看索引缺失的相关指标变化趋势。在 索引缺失详情...
您可以为从指定数据源采集的元数据配置其归属的来源系统，方便后续对元数据进行分类管理、资产对象筛选、血缘关系展示等。本文为您介绍如何创建及管理来源系统。权限说明 超级管理员、系统管理员和具有 来源系统-管理 权限的自定义全局角色...
您可以为从指定数据源采集的元数据配置其归属的来源系统，方便后续对元数据进行分类管理、资产对象筛选、血缘关系展示等。本文为您介绍如何创建及管理来源系统。权限说明 超级管理员、系统管理员和具有 来源系统-管理 权限的自定义全局角色...
阿里云上有很多种数据库，您可能一时无法对迁移的目标库进行选择，目标库选型建议可以帮助您根据现有的数据库画像进行分析，给出迁移到各种目标库的兼容情况分析，目前目标库选型建议以普遍用户最关心的目标库兼容度为参考依据，为您提供...
回收数据空间 通常数据空间的回收有如下几种方式：归档数据 删除数据库中不常用的数据（例如早期的历史数据），或者根据需要迁移到其他数据库实例中，或者以其他形式归档保存，通过直接减少数据量来降低已使用数据空间大小。这种方式是控制...
本文介绍日志服务从客户端采集数据的两个高可用方案，包括双写方案和数据加工复制+写入切换方案。背景 在单集群环境下，日志服务存储采用三副本机制来保证数据的可靠性，即每份数据都有3个副本，副本按照一定的分布式存储算法保存在集群的...
Logtail输入配置支持采集MySQL查询结果。本文主要介绍MySQL的采集配置。原理 Logtail客户端会根据采集配置，定期执行指定的 SELECT 语句，并将查询结果上传至日志服务。在获取查询结果时，Logtail会将结果中的 CheckPoint 字段保存到本地。...
回收数据空间 通常数据空间的回收有如下几种方式：归档数据 删除数据库中不常用的数据（例如早期的历史数据），或者根据需要迁移到其他数据库实例中，或者以其他形式归档保存，通过直接减少数据量来降低已使用数据空间大小。这种方式是控制...
MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-...
为满足企业自定义管理日志的需求，PolarDB 联合日志服务SLS推出了数据订阅功能，可以将您拥有的所有 PolarDB MySQL版 集群日志投递到日志服务SLS的中心化项目中统一进行管理。本文将介绍 PolarDB MySQL版 集群日志订阅和日志查看的方法。...
在翻页或者加载的过程中，如果结果重复出现在第二页算一个新的曝光PV，结果不去重 如果开通数据采集功能并上传了曝光数据，则每次曝光记1否则，记每次返回的Item数 依赖开通数据采集功能，并且上传了用户曝光行为数据/也可不开通或上传，但...
LogHubStream Reader插件基于LogHub（SLS）SDK实时抽取您配置的LogHub（SLS）topic数据，并支持合并和分裂Shard。合并或分裂Shard后，数据可能会增加，但保证不会丢失数据。背景信息 LogHub（SLS）实时同步读取插件，会自带以下元数据字段...
系统采集到的数据都是 INSERT 类型的，如果想获取类似 CDC 的数据，需要通过其他技术方案解决。例如，通过基于主键的 GROUP BY 生成 CDC 数据。来源表上必须配置 update_time 字段（记录更新时间），并且每次记录更新必须要更新这个字段值...
系统采集到的数据都是 INSERT 类型的，如果想获取类似 CDC 的数据，需要通过其他技术方案解决。例如，通过基于主键的 GROUP BY 生成 CDC 数据。来源表上必须配置 update_time 字段（记录更新时间），并且每次记录更新必须要更新这个字段值...
新一代智能数据采集与分析工具，简单采集、轻松分析。在大数据与AI时代，丰富、准确的数据对于提升用户体验、促进业务增长至关重要。Quick Tracking 智能采集分析助手基于先进的大模型技术，智能理解页面信息并推荐埋点方案，生成埋点代码...
资产指纹数据通过精准识别IT资源特征，可帮助用户全面掌握资产态势、快速定位安全漏洞，及时阻断入侵威胁。云安全中心提供资产指纹调查功能，支持采集服务器资产的多种资产指纹数据，例如资产中的账户、端口、进程等。本文介绍如何使用资产...
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您介绍如何使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。前提条件 已经创建好MaxCompute项目，并用对应的工具连接MaxCompute。...
本文为您介绍如何基于GitHub实时事件数据通过MaxCompute构建离线数仓、通过Flink和Hologres构建实时数仓，然后通过Hologres和MaxCompute分别进行实时与离线数据分析，从而实现实时离线一体化解决方案。背景信息 随着社会数字化发展，企业对...
Fleet主要分为Fleet Server和Fleet Agent两部分，Fleet Agent是一个轻量级的数据采集代理，负责在源端收集数据。Fleet Server是Fleet的中心节点，负责管理和监控所有Fleet Agent，并将数据传输到Elasticsearch。名词解释 名词 说明 Fleet ...
Fluentd插件 产品介绍 该插件是基于Fluentd开发的输出插件，主要是将采集到的数据写入DataHub。该插件遵守Fluentd输出插件开发规范，安装方便，可以很方便地将采集得到的数据写到DataHub。产品安装 通过Ruby gem安装 注意：RubyGem源建议...
创建完成并测试连接通过后，便可以在DataWorks的各个模块中使用，以下是数据源使用场景的举例：功能模块 使用场景 支持的数据源类型 数据集成 执行数据同步任务，支持不同数据源间（如MySQL到MaxCompute）的数据迁移，支持单表、整库、离线...
TSDB 具备秒级写入百万级时序数据的性能，提供高压缩比低成本存储、预降采样、插值、多维聚合计算、可视化查询结果等功能，解决由设备采集点数量巨大、数据采集频率高造成的存储成本高、写入和查询分析效率低的问题。TSDB是一个分布式时间...
日志服务LogHub功能提供数据实时采集与消费，其中实时采集功能支持50+种手段。数据采集一般有两种方式，区别如下。本文档主要讨论通过LogHub流式导入（实时）采集数据。方式 优势 劣势 例子 批量导入 吞吐率大，面向历史存量数据 实时性较...
设备ID：Android设备和iOS设备的 默认设备ID为应用级别唯一的设备ID，由 Quicktracking自动生成：Android9及以下设备：SDK自动采集imei、wifimac、androidid、SN生成设备ID，生成后存入本地，只有卸载应用或者删除应用数据才会重新生成设备...