创建数据加工任务后，日志服务默认为每个加工任务创建一个仪表盘，您可以在仪表盘中查看数据加工任务运行指标。本文介绍加工任务运行指标详情及如何查看数据加工仪表盘。查看仪表盘 创建加工任务后，您可以在 数据加工概览 页面查看该任务...
案例一：指定源日志库的日志时间为写入到目标日志库的日志时间 在创建定时SQL任务时，SQL中除了需要写入到目标库的必要字段，加入_time_字段，则当日志从源日志库写入到目标日志库时，系统会把该语句执行结果_time_值作为写入日志到目标库...
数据分发是指通过数据加工任务，将一份源日志按照预设的SPL规则处理后，写入一个或多个目标Logstore，支持跨账号、跨地域写入。本文介绍如何实现日志内容的静态分发，即将源日志分发到固定的目标地址。如需根据日志内容（如level、tenant_...
函数列表 函数名称 说明 get_log_patterns函数 主要用于日志模板提取，通过分析日志的文本特征并采用机器学习算法对日志数据进行聚类，从而识别典型日志模板。该函数常应用于日志模式识别和日志异常发现等场景。diff_log_patterns函数 该...
敏感 不支持 使用写入处理器处理云产品日志 实时消费 不支持。使用星号（*）表示Logstore全部原始数据作为输入。比如*|where msg like '%wrong%' 敏感 不支持 使用SDK基于SPL消费日志 使用消费组基于SPL消费日志 Flink SQL基于SPL实现行...
日志分析 CDN实时日志打通了SLS日志服务的日志转存和日志分析能力，预制了CDN基础数据、CDN错误分析、CDN热门资源、CDN用户分析这四张常用分析报表，也支持自定义日志分析策略，可以一站式提供日志存储和日志分析能力，而离线日志目前只...
本文介绍如何快速使用日志服务Flutter SDK采集日志数据。前提条件 已安装日志服务Flutter SDK。具体操作，请参见 安装Flutter SDK。初始化 SDK 一般场景下，您可以参考以下代码进行初始化。若您需要配置 LogProducerConfiguration 类，例如...
由于 云产品日志 通常由系统自动生成，用户无法直接控制其内容，因此可以通过配置写入处理器来处理这些日志。文中列举了部分常用的数据处理方式作为参考。前提条件 已创建Project、标准型Logstore并完成日志采集配置。具体操作，请参见 ...
创建OSS、MaxCompute数据投递任务后，您可以在仪表盘中查看数据投递任务的运行指标，例如处理速率、读成功条数、读公网流量。本文以MaxCompute投递任务为例，介绍如何查看数据投递仪表盘。查看仪表盘 登录 日志服务控制台。在 Project列表 ...
处理延迟监控 项目 说明 作用 用于监控数据加工任务中Shard消费延迟情况。当加工延迟时长大于规则参数中延迟监控阈值时触发告警。关联仪表盘 请参见 Shard消息延迟。分析SQL样例 以下模板 {job_name} 替换为需要监控的数据加工（新版）任务...
修复原生插件丢弃超时日志时区处理错误的问题 修复解析任意含有content key的JSON后，原生JSON插件总是错误保留原始content字段的问题 修复原生分隔符插件的内存泄露问题 修复因检查点转储早于目录注册导致的日志重复问题 修复飞天日志无法...
函数计算 支持与 日志服务 进行集成，为函数配置日志后，函数计算 会自动收集日志，并把日志投递到指定的日志库。您可以在 函数计算 控制台查看单请求日志、实例日志、函数日志，也可以在 日志服务 控制台利用日志分析能力对日志进行自定义...
日志服务提供的服务日志功能可记录详细日志、重要日志和任务运行日志，本文介绍不同日志类型的日志字段。日志类型 开启服务日志功能时，您可以选择服务日志的类型，具体说明如下表所示。重要 为保证您自定义查询语句的兼容性，建议您在查询...
使用Serverless Devs工具配置日志 前提条件 安装Serverless Devs 配置Serverless Devs 操作步骤 创建代码目录，目录结构如下所示。code│└─index.js└─s.yaml s.yaml文件示例如下。示例中字段logConfig用于配置日志功能，其中logstore和...
处理速率（events/s）每秒处理的日志条数。进度落后 展示该Logstore下每个Shard的延时信息。运行异常 展示OSS投递任务运行过程中的异常信息。您可以在目标Project的internal-diagnostic_log Logstore中，通过关键词ERROR或者WARN查看完整的...
本文主要介绍如何使用SPL实现类似于处理插件采集日志的功能。背景信息 处理插件安装。使用SPL解析日志。SPL与原生插件对比 正则解析对比 日志样例：127.0.0.1-[07/Jul/2022:10:43:30+0800]"POST/PutData?Category=YunOsAccountOpLog"0.024 ...
处理速率（events/s）每秒处理的日志条数。进度落后 展示该Logstore下每个Shard的延时信息。运行异常 展示MaxCompute投递任务运行过程中的异常信息。您可以在目标Project的internal-diagnostic_log Logstore中，通过关键词ERROR或者WARN...
e_kv_delimit("content",pair_sep="|",kv_sep="eat")加工结果（推荐）处理后日志为：content:rats eat rice,oil|chicks eat bugs,rice|kittens eat fish,mice|kittens:fish,mice chicks:bugs,rice rats:rice,oil 加工规则（不推荐）使用 e_...
本文介绍如何快速使用日志服务Android SDK采集日志。前提条件 安装Android SDK。快速使用 参考如下示例，初始化SDK并调用 addLog 接口上报日志。重要 SDK支持初始化多个实例，LogProducerConfig 实例与 LogProducerClient 实例需成对使用。...
当您需要使用SQL查询和分析日志服务中的数据时，可以通过JDBC、Python MySQLdb、MySQL命令行工具等方式连接日志服务来实现。本文主要为您介绍JDBC、Python MySQLdb、MySQL命令行工具连接日志服务的操作步骤。使用限制 目前日志服务仅支持...
针对文本的自动化、智能化分析应该具备以下特征：可以高效地处理海量日志。可以定位日志中的异常情况，或者缩小需要排查的异常范围。提供可配置的参数使用户可以根据业务需求对日志文本分析进行定制化配置。针对上述特征，日志服务推出文本...
通过数据加工或者Logtail插件处理的日志，其tag中的key会被转换成普通key，即查询时需使用""包裹字段名，例如"_tag_:_client_ip_":192.0.2.1，此处的_tag_:_client_ip_为日志服务保留字段，表示日志所在主机的IP地址。更多信息，请参见 ...
日志样例 本文中介绍的各个案例是基于如下JSON格式的订单处理系统日志。request 字段为订单请求信息，JSON格式。一个请求中包含一个用户的多个订单，订单中包含购买的商品和支付总价。response 字段为订单处理结果。请求成功时，response ...
e_if(e_search("_topic_=client_status"),e_compose(e_split("clients"),e_json("clients",depth=1),e_drop_fields("clients")))处理后的日志为如下两个日志：_topic_:client_status host:192.0.2.3 status:green_topic_:clients host:192....
使用Log4j2记录和管理Java应用的运行日志后，您可以使用Log4j2 Appender或Logtail将日志采集到日志服务，以便于后续的查询分析。Log4j概述 Log4j 是Apache的一个开放源代码项目，通过使用Log4j，您可以配置日志传输的目的地，例如控制台、...
在处理大量日志时，可通过为日志添加标识符 PackId 将相关日志进行分组。使用 PackId 可以快速且完整地查询相关日志组，从而高效定位日志的上下文。本文介绍如何为日志添加PackId。工作原理 服务端利用PackId机制关联日志上下文，PackId...
本文介绍如何快速使用日志服务iOS SDK采集日志数据。前提条件 已安装iOS SDK。具体操作，请参见 安装iOS SDK。快速使用 您可以按照以下方式对SDK进行初始化，并调用 addLog 方法上报日志。重要 iOS SDK支持初始化多个实例，...
单行、多行日志处理增强 异常处理机制变更：2.x版本：默认按 切分，如需丢弃可通过 Multiline.UnmatchedContentTreatment 参数设置为 discard。1.x版本：无法按行首分割时将整个内容作为一块处理。最后一行日志处理：1.8版本之前：无回车符...
SPL语句*|where METHOD like 'Post%' 输入数据 Method:'PostLogstoreLogs' 输出结果 Method:'PostLogstoreLogs' 字段名称冲突处理 在日志上传或者SPL运行期间，基于大小写敏感的处理可能会涉及字段名的冲突，如原始日志中同时存在Method和...
说明 可分为原生处理插件和扩展处理插件，详情请参见 处理插件。注意 原生插件仅可用于采集文本日志。不支持同时添加原生插件和扩展插件。使用原生插件时，须符合如下要求：第一个处理插件必须为正则解析插件、分隔符模式解析插件、JSON ...
说明 可分为原生处理插件和扩展处理插件，详情请参见 处理插件。注意 原生插件仅可用于采集文本日志。不支持同时添加原生插件和扩展插件。使用原生插件时，须符合如下要求：第一个处理插件必须为正则解析插件、分隔符模式解析插件、JSON ...
在使用日志服务CLI工具执行命令时，不需要每次都输入全局参数。日志服务CLI默认使用全局参数进行请求处理。本文介绍日志服务CLI的常用全局参数。参数名称 数值类型 是否必选 示例值 描述-access-id String 否 LTAI*阿里云访问密钥中的...
处理插件是采集配置中的重要工具。采集配置中的处理配置，是通过使用不同的处理插件组合，从而实现将原始日志解析为结构化数据的能力。原生插件列表 插件名称 说明 正则解析 使用正则表达式提取日志字段，并将日志解析为键值对形式。更多...
聚合日志 为降低网络请求次数，在日志处理、过滤完毕后，会在Logtail内部缓存一段时间后进行聚合打包，再发送到日志服务。缓存数据后，触发打包日志发送到日志服务的条件如下：日志聚合时间超过3秒。日志聚合条数超过4000条。日志聚合总...
本文介绍日志服务CLI工具使用过程中的常见问题。安装时报TLSV1_ALERT_PROTOCOL_VERSION错误 请执行以下命令升级pip后重试。pip3 install pip-U 如何查看CLI使用过程中的日志？生成的警告和错误信息默认保存在~/aliyunlogcli.log 文件。您...
目前Cloud Shell已集成日志服务CLI，您无需下载并安装日志服务CLI工具，就可以使用Cloud Shell管理日志服务资源、下载日志数据。为了避免资源浪费，当Cloud Shell窗口处于30分钟无输入后，将释放为您分配的虚拟机。如果您需要长时间使用...
监控与日志可有效保障您媒体处理资源的可用性、业务的正常运行和健康度。您可通过对应的监控能力，持续收集监控数据。阿里云提供了各种监控与日志审计相关的服务，例如云监控、配置审计等，帮助您实时监控云资源的使用情况和业务运行状况，...
日志服务命令行工具CLI支持大部分日志服务功能操作，包括Project管理、Logstore管理、日志查询、自动分页和多账户跨域复制等场景。本文介绍如何安装日志服务命令行工具CLI。安装之前必读 日志服务CLI工具基于Python开发，需要安装Python。...
为满足越来越多的自动化日志服务配置需求，日志服务提供命令行工具CLI（Command Line Interface）。主要功能 日志服务命令行工具CLI的主要功能包括：支持大部分的日志服务REST接口。例如管理Project、Logstore、机器组、消费组和Logtail...
为满足越来越多的自动化日志服务配置需求，日志服务提供命令行工具CLI（Command Line Interface）。更多信息，请参见 日志服务命令行工具CLI。更多示例代码，请参见 Aliyun Log iOS SDK on GitHub。后续步骤 iOS SDK快速入门