【功能发布】日志服务(SLS)11-12月功能合集

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 日志服务(SLS)11-12月功能发布合集

新功能

1. 智能日志聚类(LogReduce)

摘要

新增智能文本模式聚类功能(LogReduce),能够在搜索分析过程中帮助发现日志的规律与特征,提升重要信息发现能力。

适用客户

开发者、运维、安全分析师

详细说明

用户在Logstore中开启文本模式聚类后,可以在查询中使用log_reduce()函数对海量日志进行模式(pattern)自动聚类,相似格式的日志会自动分为同一类,该方案有如下特点:

  • 智能:无缝适配各种日志格式,例如Log4J,分隔符,Json等日志
  • 海量数据实时处理:支持对亿级的数据秒级分析出结果
  • 交互性:对聚类后日志提供签名(Signature)进行反查
  • 灵活:支持前期任意条件筛选结果聚类,支持对不同时间聚类结果进行比较,支持手动调节聚类精度
    通过该功能可以快速对海量日志进行智能分析,快速有效定位问题。

文档

2. 告警功能升级

摘要

日志服务告警功能全面升级,新增电话、自定义邮件、短信、钉钉配置等功能,提供更丰富、灵活、可配置、所见即所得的告警设置。

适用客户

开发者、运维人员

详细说明

日志服务告警功能全面升级,支持如下新特性:

  • 控制台交互:基于仪表盘创建告警(所见即所得),全新的告警管理列表页支持告警状态、历史记录查看、快捷操作按钮
  • 告警大盘:在您配置告警任务的project下默认新增一个内置LogStore(免费)和仪表盘用于存储告警历史与数字统计,让告警管理更简单
  • 告警计算:支持多个图表(SQL查询)结果的组合计算判断触发,新增如四则运算、括号优先级等运算符
  • 告警条件:新增临时关闭告警、禁用告警通知、自定义通知间隔支持
  • 通知方式:新增邮件通知选项,并且可以支持多选(例如同时进行钉钉、邮件通知)
  • 通知内容:强大的模板变量支持,您可以从告警查询结果中提取字段内容进行告警内容的编排,让告警内容更精准
  • 告警搠因:可以从告警信息上快速深钻到与告警结果相关联的图表指标、告警历史记录
  • 查询周期:告警结果所依赖的SQL查询周期支持1天以上的区间(从计算性能考虑,大流量LogStore请谨慎设置超大时间区间)
  • 新模式:支持用户通过通知中心订阅日志服务告警语音通知或者通过手机号码发送语音告警;
  • 灵活配置:支持在告警通知Webhook中自定义header;钉钉通知支持@部分或者全体群成员,支持自定义标题;支持自定义邮件主题
  1. 文档
    https://help.aliyun.com/document_detail/48162.html

3. Windows Logtail发布

摘要

Windows Logtail 全新发布,支持完整Logtail功能

适用客户

开发者、运维人员

详细说明

Windows Logtail全新升级,支持完整Linux Logtail支持功能:

  1. 补齐自定义插件、导入历史日志文件等 Linux 版本独占功能,现已实现和 Linux 版本的对齐。升级及安装说明可见文档
  2. 日志采集插件能够对任意 Windows 事件日志进行采集,既包括应用程序、安全、系统等常见通道,也支持事件查看器中的其他自定义通道。

文档

4 手机号归属地查询函数

摘要

日志服务查询分析功能新增手机号转省份、城市、运营商函数

适用客户

开发者、运维人员

详细说明

日志服务查询分析功能新增手机号转归属地的功能,可以调用mobile_province, mobile_city和mobile_carrier等函数查询手机号的归属地信息,有效的帮助客户分析数据的地理位置。

文档

https://help.aliyun.com/document_detail/98580.html

功能+体验优化

1. Logtail-Binlog 优化

摘要

Logtail MySQL binlog 插件支持以 GTID 作为 checkpoint 来维护同步进度,解决主备 binlog 序号不一致时的数据重复采集问题。

适用客户

开发者、运维人员

详细说明

除了原先的基于 binlog 序号(文件及偏移)的 checkpoint 机制,MySQL binlog 新增基于 GTID 的 checkpoint,主要功能:

  • 根据 MySQL 服务器的版本和启用状态,自动判断是否使用基于 GTID 的 checkpoint 类型,如果可用,将优先使用,如果不可用,仍旧使用基于 binlog 序号的 checkpoint。
  • 基于 GTID 的 checkpoint 机制能够有效解决主备 binlog 序号不一致时引起的数据重复采集问题。

文档

https://help.aliyun.com/document_detail/64953.html

2. Logtail-Kubernetes 优化

摘要

Logtail Kubernetes日志采集优化,支持更多元数据采集。

适用客户

开发者、运维人员

详细说明

Logtail Kubernetes日志采集增加上传Node节点Meta信息(NodeIP以及NodeName);CRD配置支持自动创建包含Kubernetes相关Meta的索引;Sidecar模式日志采集增加上传Pod以及Node节点Meta信息。

文档

https://help.aliyun.com/document_detail/66654.html

3. 机器学习函数优化

详细说明

  1. 在ts_predicate_simple/ar/arma/arima函数中,添加isSmooth参数,用来控制是否对原始时序数据进行滤波操作
  2. 发布ts_regression_predict函数,提供了'origin','forest','linear'三种时序预测算法
  3. 提供ts_find_peaks局部极值检测函数
  4. 在ts_smooth_simple函数中,将三重指数平滑的算法参数爆率出来,同时提供wavelet算法模式,可以较好的保存原始序列中的低频信号
  5. 在底层引入小波算法,优化了针对的周期序列中的周期检测效果

4. 控制台嵌入功能增强

摘要

控制台支持访问时行动态鉴权

适用客户

开发者、运维人员

详细说明

控制台支持每次方式时动态鉴权,变化如下:

  1. 已有的控制台嵌入功能,生成的免登链接对应的访问权限直接继承于对应的角色权限,如果嵌入后需要对不同用户设置不同访问权限,需要创建大量的角色以指定不同的权限,对于管理以及角色映射上带来了很大困难。
  2. 新版嵌入功能,支持生成免登链接时动态指定本次访问对应的权限,该权限必须为角色权限的子集,通过此方式,可以在为不同用户生成免登链接时动态设定具体的权限,最终只需要管理一个角色即可,大大方便企业用户将日志服务控制台与内部账户系统进行权限管理。

文档

https://help.aliyun.com/document_detail/74971.html

5. 控制台体验优化

新增功能

  1. 分隔符模式下新增接受部分字段开关,以判断日志分隔后实际字段数少于预设Key数量时,是否上传日志
  2. 接入向导内增加态势感知和DRDS入口
  3. table图表优化,自定义列缩进,单个字段内容过长可进行展开,收起的操作
  4. 索引配置框性能优化,添加分页器
  5. 查询页面左侧资源树状重构,优化性能
  6. markdown支持绑定查询变量
  7. 快速查询页面显示当前logstore

修复Bug

  1. 修复html内容在表格图表会被解析的问题
  2. 修复输入包含不同机器学习函数的query,无法识别函数类型的问题
  3. 修复dashboard图表加载顺序可能引发页面重新刷新的问题
  4. 修复dashboard选择整体时间,点击重置时间失效的问题
  5. 修复矩形树图存在name字段的关键字,导致数据显示不全的问题
  6. 修复时间选择器选择今日整点,显示今日相对的问题

支持云产品

1. WAF日志实时分析

摘要

阿里云WAF日志分析(LogAnalysis)提供阿里云WAF访问与攻击日志的实时收集、查询与实时分析、存储和分发等一站式服务。

适用客户

安全运维人员、安全运营运营人员、安全系统开发者、CIO等

详细说明

实时全要素日志采集: 帮助用户及时全面网站被访问与攻击状况。

智能查询分析,内嵌详细的查询语法: 支持实时检索和查询分析数据,可查询多种复杂场景下的日志,帮助用户更好发现各类隐蔽安全风险,避免对业务造成严重损失。

  1. 快速分析: 提供快速分析功能,为用户提供一键交互式查询体验,帮助您快速分析某一字段在一段时间内的分布情况和占比,减少索引关键数据的时间成本。
  2. 丰富的报表仪表盘界面: 日志报表页面可集中展示运维, 访问与安全3类仪表盘的相关数据,支持接入多种可视化平台。
  3. 自定义报表: 支持用户基于自己的业务特点自定义报表和仪表盘。
  4. 导出日志: 支持导出日志到本地或其他数据仓库,帮助用户开展安全审计工作或者备案提供依据。

2. 新BGP高防 - 实时日志分析发布

摘要

阿里云新BGP高防日志分析提供阿里云新BGP高防7层访问与攻击日志的实时收集、查询与实时分析、存储和分发等一站式服务。

适用客户

  • 对云上资产的安全日志有存储合规需求的大型企业与机构,如金融公司、政府类机构等。
  • 拥有自己的安全运营中心(SOC),需要收集安全告警等日志进行中央运营管理的企业,如大型地产、电商、金融公司、政府类机构等。
  • 拥有较强技术能力,需要基于云上资产的日志进行深度分析、对告警进行自动化处理的企业,如IT、游戏、金融公司等。

详细说明

该功能提供:

  1. 轻松配置,即可实时高防日志采集。购买后的新配置的网站自开启日志功能.
  2. 依托日志服务,提供实时日志分析,并提供开箱机用的报表中心(支持定制),对被保护服务的执行状况、性能、潜在安全问题了如指掌,并可实时挖掘细节。
  3. 免费提供30天存储及3TB的额度.
  4. 支持基于特定指标,支持定制准实时监测与报警,确保关键业务异常及时响应。
  5. 可对接其他生态如流计算、云存储、可视化方案,进一步挖掘数据价值。

文档

https://help.aliyun.com/document_detail/99108.html

3. 反爬风险管理 - 实时日志分析发布

摘要

阿里云反爬风险管理日志分析提供阿里云反爬访问与攻击日志的实时收集、查询与实时分析、存储和分发等一站式服务。

适用客户

  • 拥有大量优质与知识产权的视频、图片、文字载体的内容、教育、媒体、咨询类网站。
  • 面向大量优质客户,并频繁更新Web上金融、电商、服务信息的互联网企业,如航空、政府、电商、金融网站。
  • 拥有自己的安全运营中心(SOC),需要收集安全告警等日志进行中央运营管理的企业,如大型地产、电商、金融公司、政府类机构等。
  • 拥有较强技术能力,需要基于云上资产的日志进行深度分析、对告警进行自动化处理的企业,如IT、游戏、金融公司等。

详细说明

该功能特点如下:

  • 配置简单:轻松配置即可实现反爬访问与攻击日志的实时采集。
  • 实时分析:依托日志服务产品,提供实时日志分析能力、开箱即用的报表中心与自带交互挖掘支持,从0到1, 让您对网站业务的各种爬虫攻击状况以及客户访问细节了如指掌。
  • 实时告警:支持基于特定指标定制准实时的监测与告警,确保在关键业务发生异常时能第一时间响应。
  • 生态体系:支持对接其他生态如实时计算、云存储、可视化等方案,进一步挖掘数据价值。
  • 费用:免费提供14天实时访问与攻击日志的存储。

文档

https://help.aliyun.com/document_detail/100510.htm

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
21天前
|
Java
使用Java代码打印log日志
使用Java代码打印log日志
75 1
|
23天前
|
Linux Shell
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
77 1
|
26天前
|
SQL 关系型数据库 MySQL
MySQL数据库,可以使用二进制日志(binary log)进行时间点恢复
对于MySQL数据库,可以使用二进制日志(binary log)进行时间点恢复。二进制日志是MySQL中记录所有数据库更改操作的日志文件。要进行时间点恢复,您需要执行以下步骤: 1. 确保MySQL配置文件中启用了二进制日志功能。在配置文件(通常是my.cnf或my.ini)中找到以下行,并确保没有被注释掉: Copy code log_bin = /path/to/binary/log/file 2. 在需要进行恢复的时间点之前创建一个数据库备份。这将作为恢复的基准。 3. 找到您要恢复到的时间点的二进制日志文件和位置。可以通过执行以下命令来查看当前的二进制日志文件和位
|
1月前
|
监控 Shell Linux
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
49 0
|
1月前
|
存储 数据库
ALTER MATERIALIZED VIEW LOG :语句来更改现有物化视图日志的存储特征或类型。
`ALTER MATERIALIZED VIEW LOG` 语句用于修改已有的物化视图日志的存储属性或类型。配合示例中的动画图像(由于格式限制无法显示),该语句帮助优化数据库的性能和管理。
44 0
|
1天前
|
Java
log4j异常日志过滤规则配置
log4j异常日志过滤规则配置
7 0
|
14天前
|
运维 安全 Ubuntu
`/var/log/syslog` 和 `/var/log/messages` 日志详解
`/var/log/syslog` 和 `/var/log/messages` 是Linux系统的日志文件,分别在Debian和Red Hat系发行版中记录系统事件和错误。它们包含时间戳、日志级别、PID及消息内容,由`rsyslog`等守护进程管理。常用命令如`tail`和`grep`用于查看和搜索日志。日志级别从低到高包括`debug`到`emerg`,表示不同严重程度的信息。注意保护日志文件的安全,防止未授权访问,并定期使用`logrotate`进行文件轮转以管理磁盘空间。
19 1
|
14天前
|
网络协议 应用服务中间件 Linux
centos7 Nginx Log日志统计分析 常用命令
centos7 Nginx Log日志统计分析 常用命令
27 2
|
15天前
|
Ubuntu Linux 网络安全
/var/log/auth.log日志详解
`/var/log/auth.log`是Linux(尤其是Debian系如Ubuntu)记录身份验证和授权事件的日志文件,包括登录尝试(成功或失败)、SSH活动、sudo使用和PAM模块的操作。登录失败、SSH连接、sudo命令及其它认证活动都会在此记录。查看此日志通常需root权限,可使用`tail`、`less`或`grep`命令。文件内容可能因发行版和配置而异。例如,`sudo tail /var/log/auth.log`显示最后几行,`sudo grep "failed password" /var/log/auth.log`搜索失败密码尝试。
57 8
|
27天前
|
监控 Java 测试技术
日志框架到底是Logback 还是 Log4j2
日志框架到底是Logback 还是 Log4j2
18 0

相关产品

  • 日志服务