GetLogsV2 查询Logstore中的日志数据 查询指定Project下某个Logstore中的原始日志数据，返回结果显示某时间区间中的原始日志（返回结果压缩后传输）。GetLogStoreMeteringMode 查询LogStore计量模式 获取Logstore计量模式。时序库 API 标题...
创建AnalyticDB MySQL投递任务后，日志服务自动为每个投递任务生成一个仪表盘，您可以在仪表盘中查看数据投递任务运行指标。本文介绍投递任务运行指标详情及如何查看数据投递仪表盘。查看仪表盘 登录 日志服务控制台。在 Project列表 区域...
创建数据加工任务后，日志服务默认为每个加工任务创建一个仪表盘，您可以在仪表盘中查看数据加工任务运行指标。本文介绍加工任务运行指标详情及如何查看数据加工仪表盘。查看仪表盘 创建加工任务后，您可以在 数据加工概览 页面查看该任务...
指定日志中的 userid 字段和数据库表中的 uid 字段关联Logstore和MySQL数据库。分析活跃用户的性别分布。select case gender when 1 then '男性' else '女性' end as gender,count(1)as pv from log l join sls_join_meta_store u on l....
通识字段模板 在文本分析作业对日志进行预处理时，日志相似聚类算法会使用模板表达式匹配日志中的文本内容并将其替换为模板名称，有助于提高分析的准确性。例如 模板名称 为 IP，模板表达式 为(?[^A-Za-z0-9])|^)(\d{1,3}\.\d{1,3}\.\d{1,3...
使用场景 本文介绍投递 云原生网关日志 的步骤，对于其他场景：将MSE微服务治理中的 日志治理功能 的日志投递到日志服务，请参见 使用Logtail采集日志治理本地日志。将 MSE微服务治理 流量防护 的触发事件投递到日志服务，请参见 MSEAHAS...
您在使用Logtail采集日志时，可以使用processor_geoip插件将日志中的IP地址转换为地理位置（国家、省份、城市、经纬度）。本文介绍processor_geoip插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON...
审计日志记录了数据库活动的详细信息，通过查看审计日志，您可以跟踪潜在的恶意行为或未授权访问、调查安全事件原因。审计日志也可以帮您满足合规要求。本文介绍如何查看审计日志。前提条件 需要查看日志的数据资产类型在安全审计功能支持...
强大数据分析能力：DCDN与SLS进行产品联动，DCDN投递到SLS中的日志会默认生成可视化分析模板，帮助您更好的分析与监控您的业务，示例场景：精细化的URL分析：分析某个域名的访问趋势、人群画像（地理位置、访问来源等）、可用性等。...
源日志库 当 日志库类型 设置为 日志库 时，需设置 源日志库，设置为您的源数据所在的日志库。时序库 当 日志库类型 设置为 时序库 时，需设置 时序库，设置为您的源数据所在的时序库。角色 如果您在创建实例时已完成了授权，则此处自动...
fromhost-ip%为该条日志的对应的机器IP，如果日志中的该字段是 127.0.0.1，最终发往服务端的日志数据中该字段会被替换成TCP socket的对端地址。hostname%～%msgid%为用户自定义字段，中括号表示是可选字段。msg:drop-last-lf%为日志消息...
源日志库 当 日志库类型 设置为 日志库 时，需设置 源日志库，设置为您的源数据所在的日志库。时序库 当 日志库类型 设置为 时序库 时，需设置 时序库，设置为您的源数据所在的时序库。角色 如果您在创建实例时已完成了授权，则此处自动...
日志库（Logstore）日志库是日志服务中日志数据的采集、存储和查询单元。更多信息，请参见 日志库（Logstore）。时序库（MetricStore）时序库是日志服务中时序数据的采集、存储和查询单元。更多信息，请参见 时序库（MetricStore）。日志...
日志模板发现 用于对日志数据进行离线、智能的分析，提取和管理日志中的常见模板，帮助您快速了解日志数据。本文介绍通过消费组拉取文本日志进行文本发现的操作步骤。前提条件 已采集日志到源Logstore或Metricstore。具体操作，请参见 数据...
您可以在各模块日志中输出Request_id、OrderId等可以关联的标识字段，通过在不同的日志库中查找，获取所有相关日志。例如通过SDK查询前端机、后端机、支付系统、订单系统等日志。获得结果后，制作一个前端页面将跨进程分析关联起来，如下图...
off=1,max_retry_back_off=60,primary_keys=None,use_ssl=false,update_time_key=None,deleted_flag_key=None)说明 日志服务还支持通过res_rds_mysql函数从AnalyticDB MySQL数据库、PolarDB MySQL数据库拉取数据，您只需将加工规则中的数据...
一个消费组由多个消费者构成，同一个消费组中的消费者共同消费一个Logstore中的日志数据，消费者之间不会重复消费数据。更多信息，请参见 通过消费组消费数据。告警 术语 说明 告警 独立表达时，代表一个告警事件（Alert event）。例如告警...
GetSparkConfigLogPath 获取Spark日志配置路径 查询AnalyticDB MySQL Spark中的日志配置结果，包括默认的Spark日志写入地址。StartSparkSQLEngine 启动Spark SQL引擎 启动Spark SQL引擎。KillSparkSQLEngine 关闭Spark SQL引擎 关闭Spark ...
使用e_search_table_map函数进行数据富化 原始数据 Hologres数据库表中的数据样例如下表所示。product_id product_name product_price product_sales_number sex 2 lipstick 288 2219 girl 5 watch 1399 265 boy 6 mac 4200 265 boy 3 ...
CloudLens for CLB 支持一键开启数据采集功能，用于采集CLB访问日志、配置审计日志和云监控事件。本文介绍开启数据采集功能的操作步骤及相关操作。前提条件 已创建CLB实例。具体操作，请参见 创建实例。已为CLB实例配置7层监听，即配置HTTP...
在 原始日志>原始 页签下，单击目标日志中的 图标。在 LiveTail 区域，查看结果。开启LiveTail后，将Logtail采集到的日志实时显示在监控列表中。最新的日志始终在页面底部，且滚动条默认在最下方，即显示最新日志。最多显示1000条日志，满...
提取时间正则 当选择 数据格式 为 单行文本日志 或 跨行文本日志，您可以使用正则表达式提取日志中的时间。例如日志样例为 127.0.0.1-[10/Sep/2018:12:36:49 0800]"GET/index.html HTTP/1.1" 时，则您可以设置 提取时间正则 为[0-9]{0,2}\/...
源日志库 当 日志库类型 设置为 日志库 时，需选择目标源日志库，即设置为您的多维指标数据所在的日志库。时序库 当 日志库类型 设置为 时序库 时，需选择目标时序库，即设置为您的多维指标数据所在的时序库。时间 源数据中表示时间列的...
不同Logstore中的数据请勿投递到同一张MaxCompute表中，有小概率导致MaxCompute表中的分区数据被覆盖。投递不支持日志时间（对应保留字段_time_）距离当前时间14天以前的数据，在投递过程中自动丢弃超过14天的数据。通过日志服务投递日志到...
数据脱敏 将日志中的敏感数据替换为指定字符串或MD5值。更多信息，请参见 数据脱敏。字段值映射 对字段值进行映射。更多信息，请参见 字段值映射处理。字段加密 对指定字段进行加密。更多信息，请参见 字段加密。数据编码与解码 对字段值...
日志服务提供文本分析服务，用于对海量日志中的文本内容进行自动化和智能化的检测。本文介绍文本分析功能的背景信息、功能介绍、基本概念、调度与执行场景、使用建议等信息。背景信息 服务在运行过程中会生成大量的日志，包括系统日志和...
当您单击原始日志中的高级事件时，会用字段值替换HTTP链接中的可选域参数，跳转到重新定位的HTTP链接中。配置 说明 配置名称 配置名称。事件行为 选择 自定义HTTP链接。协议 访问自定义链接的协议类型。支持HTTP、自定义等。请输入链接地址...
云数据库SelectDB 也提供表函数功能（Table-Value-Function或TVF），支持把S3、HDFS等常见远端存储中的文件数据，映射成 云数据库SelectDB 中的表，从而方便地对这些文件数据进行分析，具体参见 文件分析。在本文中，主要介绍Catalog相关...
说明 日志字段的值完全匹配 采集日志 中的正则表达式，且不匹配 丢弃日志 中的正则表达式时，日志才会被采集，否则直接丢弃。参数 说明 采集日志 输入日志字段名和该字段值匹配的正则表达式。如果原始日志中的目标字段值符合对应的正则表达...
Logtail采集原理包括监听文件、读取文件、处理日志、过滤日志、聚合日志和发送数据等过程。更多信息，请参见 Logtail采集详情。Logtail是否支持日志文件轮转？Logtail支持日志文件轮转。例如app.LOG文件通过日志文件轮转生成app.LOG.1、app...
本文罗列了 日志服务 API。项目（Project）API名称 API说明 CreateProject 创建一个Project。DeleteProject 删除目标Project。UpdateProject 更新某个指定Project的描述信息。GetProject 获取某个指定Project的详细信息。ListProject 列出...
提取时间正则 当选择 数据格式 为 单行文本日志 或 跨行文本日志，您需要使用正则表达式提取日志中的时间。例如日志样例为 127.0.0.1-[10/Sep/2018:12:36:49 0800]"GET/index.html HTTP/1.1" 时，则您可以设置 提取时间正则 为[0-9]{0,2}\/...
本文以采集分析ECS的Nginx访问日志为例，介绍开通日志服务、创建日志项目与Logstore、Logtail采集日志、查询与分析日志等步骤，帮助您快速上手使用日志服务。前提条件 已有可用的ECS。更多信息，请参见 云服务器ECS快速入门。ECS服务器持续...
分区列 log_partition_time string_partition_time_保留字段 由日志中的_time_字段对齐计算而得，分区粒度可配置。status string status 日志内容字段 解析自日志，该字段取值支持枚举，保证分区数目不超过上限。投递模式说明 目前，...
加工逻辑：基本处理：数据加工会以流式方式读取源Logstore的数据，并将每一条日志以字典的数据结构传递给加工规则，然后根据加工规则中定义的日志函数顺序处理日志数据，并将最终的数据加工结果输出到目标Logstore。说明 在传递的过程中...
为实现以上需求，您需要解析日志中的时间、错误码、状态码、产品信息、错误码信息、请求方法和出错行号，存储到各产品的Logstore中，用于错误日志分析。原始日志样例如下：_source_:192.0.2.10_tag_:_client_ip_:203.0.113.10_tag_:_...
如果您需要将Logstore中的日志数据保存多份，可以使用数据加工功能复制Logstore数据。本文介绍复制Logstore数据的使用场景和操作步骤。使用场景 某公司访问日志被采集存储在同一阿里云账号中的多个Project。现有需求将 project-a 中 ...
日志服务支持对每一个源Logstore配置一个数据加工任务，实现多源Logstore数据汇总。本文介绍多源Logstore数据汇总的典型应用场景和对应的操作方法。背景信息 某资讯网站业务分布全球，不同资讯频道的用户访问日志被采集存储在阿里云不同...
日志服务中的日志审计服务支持跨账号自动化采集主要的阿里云产品的合规与安全类的日志、事件，自动集成威胁情报系统和告警系统，提供近百个合规与安全类的监控规则模板，帮助安全运维人员更快速的开启安全运维工作。更多信息，请参见 日志...
背景信息 某科技公司将客户信息保存在云数据库RDS MySQL数据库中，将客户维护记录保存在日志服务的Logstore中，两种数据都在持续更新。现在该公司希望将两种数据JOIN后保存到一个新的Logstore中。日志服务提供res_rds_mysql函数，可从RDS ...