您在使用阿里云日志服务（SLS）查询分析和和流处理时，难免会碰到数据口径差异，您可以使用两种时间戳（_time_和_receive_time_）解决。问题现象 在使用日志服务查询分析时，难免会碰到源端时间字段同步到目标端之后，发生时间不一致的问题...
使用PHP SDK进行日志服务各类操作前，您需要安装日志服务PHP SDK。...为满足越来越多的自动化日志服务配置需求，日志服务提供命令行工具CLI（Command Line Interface）。更多信息，请参见 日志服务命令行工具CLI。后续步骤 PHP SDK快速入门
如需修正历史日志编码问题，参考本文并且按照 导入历史日志文件 重新处理。步骤一：检查原始日志编码格式 在 Notepad+中打开原始日志，在右下角可以查看当前文件的编码字符集。如果编码字符集不是UTF-8，右击鼠标，转换当前文件的编码格式...
分析Nginx访问日志 分析Apache日志 分析IIS日志 分析Log4j日志 分析网站日志 查询分析程序日志 分析负载均衡7层访问日志 分页显示查询分析结果 分析行车轨迹日志 分析销售系统日志 数据加工 调用函数清洗数据 事件判断 处理日期时间 数据...
2.日志处理与结构化 配置日志处理规则可将原始非结构化日志转换为结构化、可检索的数据，提升日志查询与分析效率。建议在配置前先添加日志样例：在 Logtail配置 页面的 处理配置 区域，单击 添加日志样例，输入待采集的日志内容。系统将...
数据采集 术语 说明 Logtail Logtail是日志服务提供的日志采集工具。更多信息，请参见 什么是Logtail。Logtail配置 Logtail配置是Logtail进行日志采集的策略集合，包括日志文件的位置、采集方式等。更多信息，请参见 Logtail配置。机器组 ...
全部地域 消费处理器 大语言模型（LLM）应用调用可观测MCP服务实现日志查询与分析 阿里云可观测的 MCP（Model Context Protocol）是一种统一的数据访问和分析协议，旨在通过自然语言交互和工具集成，帮助用户高效查询和分析阿里云可观测...
如果您需要收集和分析用户在网站上的信息，例如用户的浏览器、浏览行为记录、购买行为记录，可以使用WebTracking网页端JavaScript SDK将用户日志直接上传到Logstore。WebTracking网页端JavaScript SDK从网页端直接上传日志，无需经过业务...
2.日志处理与结构化 配置日志处理规则可将原始非结构化日志转换为结构化的数据，提升日志查询与分析效率。建议在配置前先添加日志样例：在 Logtail配置 页面的 处理配置 区域，单击 添加日志样例，输入待采集的日志内容。系统将基于样例...
如果您需要收集和分析用户在小程序的信息，例如用户用的小程序、浏览行为记录、购买行为记录，可以使用WebTracking JavaScript SDK将用户日志直接上传到Logstore。WebTracking JavaScript SDK从小程序端直接上传日志，无需经过业务服务器，...
实时消费支持传入日志服务数据处理SPL语句，服务端返回处理结果，详情请参见 基于规则消费日志。说明 实时消费和查询与分析都是读取数据。关于两者的区别，请参见 日志消费与查询区别。应用场景 实时消费适用于流计算、实时计算等场景。...
日志在写入Logstore之前，写入处理器可以对数据进行预处理，例如数据过滤、字段提取、字段扩展、数据脱敏等场景。本文介绍如何在日志服务控制台上管理写入处理器。创建写入处理器 登录 日志服务控制台。进入数据处理器页面。在Project列表...
日志（Log）日志为日志服务中处理的最小数据单元。日志服务采用半结构数据模式定义一条日志，具体数据模型如下：数据域 描述 要求 time 日志中保留字段，用以表示日志产生的时间，一般由日志中的时间直接生成。整型，Unix标准时间格式。...
在 Kubernetes 环境中，当您需要对特定应用的日志进行精细化管理、实现多租户隔离或确保日志采集与应用生命周期严格绑定时，Sidecar 模式是理想的日志采集方案。该模式通过在业务 Pod 中注入一个独立的 LoongCollector（Logtail）容器，...
在左侧导航栏，选择 日志存储 数据处理 导出 OSS（对象存储），然后单击目标OSS-HDFS投递任务。查看OSS-HDFS投递任务基础信息 您可以在 基础信息 区域查看OSS投递任务的创建时间、修改时间、源日志库、OSS-HDFS Bucket等信息。修改配置并...
它是日志分析中快速定位关键数据、生成有序报表的重要工具。重要 该指令专用于Logstore的查询分析，不适用于新版数据加工、SPL规则消费、写入处理器和Logtail配置等场景。语法 sort field[asc/desc],(field[asc/desc])参数说明 参数 类型 ...
为满足越来越多的自动化日志服务配置需求，日志服务提供命令行工具CLI（Command Line Interface）。更多信息，请参见 日志服务命令行工具CLI。关于API接口说明，请参见 GetHistograms-查询日志分布情况。更多示例代码，请参见 Aliyun Log ...
srcport":"59986","action":"ACCEPT","end":"1650862391","log-status":"OK","direction":"out"} 在对流日志查询和分析过程中，为便于分析公网流量，您需要对原始日志做以下处理：如果srcaddr和dstaddr字段不存在，则丢弃该日志。...
本文介绍如何快速使用日志服务Python SDK完成常见操作，包括创建项目（Project）、创建日志库（Logstore）、写入日志和查询日志等。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_...
日志服务Java SDK：使用GetLogs接口查询日志 使用Java SDK管理日志库Logstore 通过消费组消费日志 使用Aliyun Log Java Producer写入日志数据 日志服务Python SDK：使用GetLogs接口查询日志 使用Python SDK管理日志库Logstore 使用...
如果您在使用 Flink、Spark、Storm 等大数据计算引擎时，需要将日志进行压缩、批量 上传日志到日志服务、减少网络传输资源的占用，API或者SDK往往无法满足大数据场景对数据写入能力的要求，您可以使用Aliyun Log Java Producer，便捷高效地...
日志库（Logstore）是日志服务中数据的采集、存储和查询单元。每个Logstore隶属于一个Project，每个Project中可创建多个Logstore。本文通过代码示例介绍如何创建、修改、查询、删除Logstore等。前提条件 已开通日志服务。更多信息，请参见 ...
本文介绍如何快速使用日志服务Java SDK完成常见操作，包括创建项目（Project）、创建日志库（Logstore）、写入日志和查询日志等。前提条件 已开通日志服务。更多信息，请参见 开通日志服务。已创建RAM用户并完成授权。具体操作，请参见 ...
日志服务在 采集时、写入时、写入后 等多阶段提供了不同的数据处理器，可根据 不同数据处理器的差异说明 进行选择，配置数据处理加工规则（脱敏、过滤、富化）。查询分析 Storeview：支持跨Project，跨存储库数据关联查询。定时SQL查询：...
如果您需要在日志数据写入Logstore前对数据进行处理，例如数据过滤、字段提取、字段扩展、数据脱敏，可以使用写入处理器（IngestProcessor）。工作 原理 通过 Logtail采集、日志服务SDK、Web Tracking功能 等方式采集日志数据，数据会先...
当您使用SQL分析时，SQL普通版无法在一次查询中完整扫描指定时间段内的所有日志，您可以通过开启SQL独享版，增加计算资源，提升单次分析的数据量。本文介绍通过Java SDK使用SQL独享版的代码示例。前提条件 已开通日志服务。更多信息，请...
提取日志时间（strptime时间格式）单击 添加处理插件，选择 拓展处理插件 提取日志时间（strptime时间格式），进行如下配置：原始字段：解析日志前，用于存放时间的原始字段，本示例为 asctime。原始时间格式：根据日志的时间字段内容设置...
项目（Project）是日志服务的资源管理单元，包含Logstore、MetricStore和机器组等资源，同时也是您访问日志服务资源的入口。本文通过代码示例介绍如何创建、修改、查询、删除Project等。前提条件 已开通日志服务。更多信息，请参见 开通...
日志库（Logstore）是日志服务中数据的采集、存储和查询单元。每个Logstore隶属于一个Project，每个Project中可创建多个Logstore。本文通过代码示例介绍如何创建、修改、查询、删除Logstore等。前提条件 已开通日志服务。更多信息，请参见 ...
若在处理配置中配置了日志样例，在正则解析处理插件中会出现您配置的日志样例，支持通过自动或手动输入行首正则表达式的方式生成正则表达式。单击 自动生成正则表达式，然后在 日志样例 文本框中，划选需提取的日志内容，单击 生成正则，...
轻量消息队列（原 MNS）日志推送到日志服务后，可进行实时查询，本文介绍实时查询的常用场景及操作步骤，您也可以通过多个关键字组合方式实现更加复杂的查询。前提条件 已采集 轻量消息队列（原 MNS）日志。具体操作，请参见 轻量消息队列...
日志服务按写入数据量计费模式的计费项是单独计费的，例如您上传数据会产生数据写入费用，存储日志会产生日志存储费用等。本文介绍日志服务按写入数据量计费模式计费项及付费方式。注意事项 您可以在 日志服务控制台 查看前一天的写入流量...
使用Kafka Producer SDK、Beats系列软件、Collectd、Fluentd、Logstash、Telegraf、Vector等采集工具采集日志，并通过Kafka协议上传到日志服务。接入Trace数据：日志服务支持OpenTelemetry Trace数据的原生接入，还支持通过其他Trace系统接...
机器组是包含多台服务器的虚拟分组，日志服务通过机器组的方式管理所有需要通过Logtail采集日志的服务器。本文通过代码示例介绍如何创建、修改、查询、删除机器组等。前提条件 已开通日志服务。更多信息，请参见 开通日志服务。已创建RAM...
完成日志采集后，您可以调用GetLogs接口查询采集到的日志。本文介绍GetLogs接口示例。前提条件 您已完成以下操作：开通日志服务。初始化日志服务Java SDK。注意事项 本示例以华东1（杭州）的公网Endpoint为例，其公网Endpoint为 ...
项目（Project）是日志服务的资源管理单元，包含Logstore、MetricStore和机器组等资源，同时也是您访问日志服务资源的入口。本文通过代码示例介绍如何创建、修改、查询、删除Project等。前提条件 已开通日志服务。更多信息，请参见 开通...
本文仅介绍原生处理插件，覆盖常见日志处理场景，如需更多功能，请参考 扩展处理插件。其他高级配置（可选）：实现多行文本日志的采集、日志标签富化等，满足更精细化的采集需求。结构示例：apiVersion:telemetry.alibabacloud....
完成日志采集后，您可以调用GetLogs接口查询采集到的日志。本文介绍GetLogs接口的典型使用示例。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_...
为满足越来越多的自动化日志服务配置需求，日志服务提供命令行工具CLI（Command Line Interface）。更多信息，请参见 日志服务命令行工具CLI。关于快速查询API接口说明，请参见如下：CreateSavedSearch-创建快速查询 DeleteSavedSearch-...
通过消费组（ConsumerGroup）消费日志数据有显著优点，您无需关注日志服务的实现细节和消费者之间的负载均衡、Failover等，只需关注业务逻辑。本文通过代码示例介绍如何创建、修改、查询、删除消费组等。前提条件 已开通日志服务。更多信息...