例如指定分词符列表包含,与:时，日志内容 hello:aliyun,sls 将被拆分成三个词语 hello、aliyun、sls，查询时可搜索词关键词。case_sensitive bool 否 是否大小写敏感。True：大小写敏感。False（默认值）：大小写不敏感。chinese bool 否 ...
例如指定分词符列表包含,与:时，日志内容 hello:aliyun,sls 将被拆分成三个词语 hello、aliyun、sls，查询时可搜索词关键词。case_sensitive bool 否 是否大小写敏感。True：大小写敏感。False（默认值）：大小写不敏感。chinese bool 否 ...
背景信息 轻量消息队列（原 MNS）日志包括队列消息操作日志和主题消息操作日志，日志内容包含消息生命周期的所有信息，例如时间、客户端、操作等。您可以通过实时查询、实时计算和离线计算三种方式对日志进行分析计算。实时查询：在日志...
SLB访问日志功能当前支持基于HTTP/HTTPS的7层负载均衡，访问日志内容丰富，完整字段说明请参见 日志字段详情。SLB典型指标如下所示：PV：客户端发起HTTP、HTTPS请求的次数。UV：对于相同客户端只计算一次，合计总体请求次数。请求成功率：...
枚举值：others:根据不同的 serviceName 有不一样的说明 在不同的情况，对于请求中的参数会不一样，具体如下：日志内容实体识别（sls_builtin_service_log_struct）body.parameter 相关的内容 {"is_struct":"true","use_gpu":"true/false",...
为了统一管理阿里云容器服务...在 spec.config下.processors:#使用正则表达式解析插件解析日志内容-Type:processor_parse_regex_native#指定原始日志字段来源，通常为 content SourceKey:content#正则表达式用于匹配并提取日志字段 Regex:(\S...
collect_time 采集时间 content 日志内容 type_role PolarDB实例类型 event_type 事件类型 instance_id PolarDB实例ID region PolarDB实例所属地域 db_version PolarDB实例版本号 性能日志 指标名称 说明 mysql_perf_active_session 每秒...
说明 在采集过程中，日志服务已根据日志内容自动生成索引。如果您要修改索引，请参见 创建索引。背景信息 IIS是一款主流的网站服务器，具备简单易用、安全性能高等优势。当您选用IIS搭建网站时，IIS日志是运维网站的重要信息。日志服务推荐...
collect_time 采集时间 content 日志内容 db_type RDS实例类型 db_version RDS实例版本号 event_type 事件类型 instance_id RDS实例ID instance_name RDS实例名 region RDS实例所属地域 db_name 数据库名 file 失败信息 port 数据库端口号 ...
Logtail配置是Logtail采集日志的策略集合。通过在创建Logtail配置时设置数据源、采集模式等参数，实现定制化的采集策略。本文介绍API模式下Logtail配置相关的参数说明。旧版CRD-AliyunLogConfig的配置方式已停止维护，请使用新版 ...
适用于目标Project和Logstore根据业务日志内容命名的场景。核心机制 动态分发不是绕过静态分发，而是在其基础上进行 字段值的替换：_tag_:_sls_etl_output_project_：替换固定配置的目标Project_tag_:_sls_etl_output_logstore_：替换固定...
日志类别 每个日志类别包含表示该类别的日志模板，如果日志内容与该日志模板匹配，那么就认为日志属于该日志类别。使用限制 作业类型 限制项 说明 智能巡检 巡检实体规模 单个任务最多支持1万个巡检实体。如果您需要巡检更大的实体规模，请...
日志示例 以共享单车日志为例，共享单车日志内容包括用户年龄、性别、电量使用量、车辆ID、操作延时、纬度、锁类型、经度、操作类型、操作结果和开锁方式。数据保存在名为project:trip_demo的Project下，名为Logstore:ebike的Logstore中。...
日志内容：log.*日志内容。IDaaS IDaaS应用身份服务实例 账号：account.id IDaaS应用身份服务实例所属的阿里云账号ID。实例ID：instance.id IDaaS应用身份服务实例ID。实例名：instance.name IDaaS应用身份服务实例名。配置采集策略 登录 ...
除了日志内容的Key外，日志服务还提供保留字段_time_、_topic_、_source_，保留字段详情请参见 保留字段。如果遇到如下两种情况时，Parquet数据列的值为null。此处配置的key在日志服务的日志中不存在。将string类型字段设置为非string类型...
k2:"v2",k3:"v3"SPL语句*|parse-kv content2,',',':' 结果 content2:k1:"v1\"abc",k2:"v2",k3:"v3"k1:"v1\"abc"k2:"v2"k3:"v3"客户案例 例如某网站日志中有一个URL数据，针对这条数据有提取需求，按照需求设计加工规则处理日志内容。...
1024 highlights array 高亮内容 array 高亮内容 LogContent 高亮日志内容 count integer 本次查询请求返回的日志行数。1 processedBytes integer 查询处理日志量 10000 isAccurate boolean 是否秒级精确 true columnTypes array 列类型 ...
配置说明 参数名称 说明 原始字段 解析日志前，用于存放日志内容的原始字段。脱敏方式 脱敏方式，包括：const：将敏感内容替换成您所修改的字符串。md5：将敏感内容替换为其对应的MD5值。替换字符串 选择 脱敏方式 为 const，需输入字符串...
def put_logs():print("ready to put logs for%s"%logstore_name)log_group=[]for i in range(0,100):log_item=LogItem()#按字段设置日志内容 contents=[('remote_addr','192.168.0.%d'%(i%255)),('remote_user','user%d'%i),('time_local'...
查询型（Query规格）0.1元/GB 不支持分析，适用于日志归档、审计日志存储、故障排查等快速检索日志内容而无需分析的归档类场景。典型应用包括大规模日志长期保存（如数月或数年），且访问频率较低的情况。适用范围与权限 权限须知（可展开...
正则表达式 根据日志内容，设置正确的正则表达式。调整正则表达式的方法，请参见 如何调试正则表达式。最大行数 一条日志的最大行数。单击 预览，预览导入结果。确认无误后，单击 下一步。预览数据及创建索引，然后单击 下一步。日志服务...
配置值为 test-logstore.json，上报日志内容按JSON解析，解析用户上报的JSON数据中的首层Key为字段名，对应的Value为字段值。SLS_PASSWORD 具备sls写入权限的AccessKeySecret。AK的概念和创建步骤，请参见 创建AccessKey。值为AccessKey ID...
脱敏方法 对日志内容中的订单号做脱敏处理，同时不希望其他人能够解码，可运用 md5 编码函数，对订单号进行编码。示例 原始日志 orderId:15121412314 加工规则*|extend md5_orderId=to_hex(md5(to_utf8(orderId)))加工结果 orderId:...
accessKeyId=access_key_id,accessKey=access_key_secret,securityToken=security_token)#基于日志的游标从源日志库中读取日志，本示例中的游标范围包含了触发本次执行的所有日志内容#Read data from source logstore within cursor:[begin...
查询语句：使用关键字查询，获取原始日志内容。通过GetLogs API中的 offset 和 line 参数实现分页。更多信息，请参见 查询概述。分析语句：使用SQL对查询结果进行分析，获取统计结果。通过SQL中的LIMIT语法实现分页。更多信息，请参见 查询...
accessKeyId=access_key_id,accessKey=access_key_secret,securityToken=security_token)syslog_config=get_syslog_config()#基于日志的游标从源日志库中读取日志，本示例中的游标范围包含了触发本次执行的所有日志内容#Read data from ...
配置说明 参数名称 说明 原始字段 解析日志前，用于存放日志内容的原始字段，默认值为content。时间格式 根据日志中的时间内容设置对应的时间格式。例如日志中的时间为 10/Sep/2023:12:36:49，对应的时间转换格式为%d/b/Y:%H:%M:%S。时区 ...
正则表达式 根据日志内容，设置正确的正则表达式。调整正则表达式的方法，请参见 如何调试正则表达式。最大行数 一条日志最大的行数。单击 预览，预览导入结果。确认无误后，单击 下一步。创建索引和预览数据，然后单击 下一步。日志服务...
公开访问可能带来流量成本增加和日志内容公开暴露。说明 系统权限策略请参见 日志服务系统权限策略参考。步骤一：安装日志服务插件 执行以下命令将日志服务插件项目压缩包解压到Grafana插件目录。使用YUM或RPM安装的Grafana：unzip aliyun-...
content:rats eat rice|chicks eat bugs|kittens eat fish|kittens:fish by kittens chicks:bugs by chicks rats:rice by rats 客户案例 例如某网站日志中有一个URL数据，针对这条数据有提取需求，按照需求设计加工规则处理日志内容。...
假设原始日志是：_source_:192.0.2.1_topic_:content:{"service":"search_service","overal_status":"yellow","servers":[],"clients":[]} 按照上述方案分裂为三条日志，其中主题为 client_status 和 server_status 的日志内容是空的。...
日志服务从原本只支持阿里巴巴集团和蚂蚁集团内部日志系统开始，逐步完善，演进成为同时支持Log、Metric、Trace的PB级云原生观测分析平台。接入数据极其简便 Logtail：经过多年百万级服务器锤炼，简便、可靠、高性能，界面化管理。SDK/...
字段处理效果示例 表格展示该原始日志在分别使用提取字段插件的标定模式与不使用插件的情况下，保存到日志服务后的数据结构。使用提取插件能够结构化数据，为后续查询提供便利。原始日志 不使用字段处理插件 使用提取字段插件标定模式"time...
test-config body object 否 Logtail 流水线配置内容。configName string 是 配置名称。注意 需要与外层的 configName 参数保持一致。test-config logSample string 否 日志样例。支持多条日志。2022-06-14 11:13:29.796|DEBUG|_main_:...
test-project body object 否 Logtail 流水线配置内容。configName string 是 配置名称。说明 配置名称在所属 Project 内唯一，且创建成功后无法修改。命名规则如下：只能包括小写字母、数字、-和_。必须以小写字母或数字开头和结尾。长度...
针对以上日志分析的困难情况，如果可以针对日志内容提供自动化、智能化的分析，辅助人工定位日志中的异常，那么一方面可以进一步挖掘日志中的价值，另一方面也可以降低日志异常分析的人工成本。针对文本的自动化、智能化分析应该具备以下...
由于原生的集群在Pod清理后就不能查看Pod或工作流日志，因此，工作流集群 集成了阿里云日志服务SLS，收集工作流运行过程中Pod产生的日志，上报到您账号下的SLS服务中，并且支持通过Argo CLI或Argo UI便捷地查看工作流的日志。使用说明 日志...
例如：您有一个名为big-game的游戏应用，服务器上有三种日志：操作日志（operation_log）、应用程序日志（application_log）以及访问日志（access_log），您可以首先创建名为big-game的项目，然后在该项目下面为这三种日志创建三个日志库，...
本文介绍 日志服务 SPL语言的基本信息，包括工作原理、语法、指令表达式等。SPL概述 对于读取出的原始数据，日志服务提供SPL语句（SLS Processing Language）做结构化信息提取、字段操作和数据过滤等操作。另外，日志服务还提供多级管道级...
当前Project内所有告警规则的每一次执行无论是否触发告警，都会产生一条日志并写入到该Logstore中，日志字段内容请参见 告警日志字段。说明 该Logstore不会产生任何费用，不支持删除和修改。日志保存时间为7天。在仪表盘中查看告警记录 ...