日志服务(SLS)-服务日志全面升级

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 日志服务服务日志全新升级,支持更多日志类型,更多自定义配置和更少的logstore,多数日志类型完全免费。

日志服务运行日志使用指南  一文中我们已经介绍了关于如何使用日志服务(SLS)的服务日志功能。本文将介绍新版的服务日志具体有哪些变化。

新功能介绍

1. 更丰富的日志类型

本次升级增加了Logtail状态日志。Logtail每分钟会上报一次进程和操作系统的状态信息,如内存,CPU,系统负载等信息。可以根据该日志监控Logtail进程是否存活,运行状态是否正常。

2. Logstore个数精简,费用免费

在之前的版本中,服务日志需要使用5个Logstore用于分别存储操作日志,消费组日志,Logtail采集日志,Logtail错误日志和计量日志,且这5个Logstore采用与正常的Logstore一致的收费策略
在新版中,仅需两个Logstore:

  • internal-diagnostic_log: 存储状态/监控日志的日志,各种日志根据topic进行区分。这个Logstore完全免费,而且不支持用户删除或者写入其他日志。各种日志对应的topic:

(1)计量日志:metering;
(2)Logtail状态日志:logtail_status;
(3)Logtail采集日志:logtail_profile;
(4)Logtail错误日志:logtail_alarm;
(5)消费组日志:consumergroup_log。

  • internal-operation_log: 存储所有操作日志(包含管控类,数据类所有API),由于数据量比较大,会按标准logstore模式计费。

3. 日志种类支持按需开通

新版的服务日志开通界面将服务日志分为操作日志和其他日志,用户可以根据需求选择开通的日志类型。如图-1所示。
image.png
图-1 支持选择开通的日志类型

4. 全新的默认仪表盘

结合日志服务服务仪表盘的新功能,本次升级对开通服务日志时创建的默认仪表盘进行了全面改版。参考服务日志默认仪表盘

5. 支持子账户开通

子账户开通服务日志需要具备如下RAM权限:

{
  "Version": "1",
  "Statement": [
    {
      "Action": [
        "log:CreateDashboard",
        "log:UpdateDashboard"
      ],
      "Resource": "acs:log:*:*:project/{存储日志的Project}/dashboard/*",
      "Effect": "Allow"
    },
    {
      "Action": [
        "log:GetProject",
        "log:CreateProject",
        "log:ListProject"
      ],
      "Resource": "acs:log:*:*:project/*",
      "Effect": "Allow"
    },
    {
      "Action": [
        "log:List*",
        "log:Create*"
        "log:Get*",
        "log:Update*",
      ],
      "Resource": "acs:log:*:*:project/{存储日志的Project}/logstore/*",
      "Effect": "Allow"
    },
    {
      "Action": [
        "log:*"
      ],
      "Resource": "acs:log:*:*:project/{开通日志的Project}/logging",
      "Effect": "Allow"
    }
  ]
}

如用户有foo和bar两个Project,为 foo 开通服务日志,并将服务日志保存到 bar 中,则所需的RAM权限为:

{
  "Version": "1",
  "Statement": [
    {
      "Action": [
        "log:CreateDashboard",
        "log:UpdateDashboard"
      ],
      "Resource": "acs:log:*:*:project/bar/dashboard/*",
      "Effect": "Allow"
    },
    {
      "Action": [
        "log:GetProject",
        "log:CreateProject",
        "log:ListProject"
      ],
      "Resource": "acs:log:*:*:project/*",
      "Effect": "Allow"
    },
    {
      "Action": [
        "log:List*",
        "log:Create*"
        "log:Get*",
        "log:Update*",
      ],
      "Resource": "acs:log:*:*:project/bar/logstore/*",
      "Effect": "Allow"
    },
    {
      "Action": [
        "log:*"
      ],
      "Resource": "acs:log:*:*:project/foo/logging",
      "Effect": "Allow"
    }
  ]
}

子账户授权参考 RAM授权

6. 支持默认的存储project

日志存储位置增加 自动创建 选项,如果选择该选项,日志服务自动在Project所在地域创建一个Project名称格式为 log-service-{aliuid}-{region} 的Project作为日志存储位置,如用户aliuid为1234567,地域为杭州,则该Project名称为 log-service-1234567-cn-hangzhou。推荐用户在为每个project开通服务日志时都选择该选项,这样就能将同一个地域的服务日志集中在一个Logstore和仪表盘中一起分析,同时也能减少收费的Logstore个数,降低成本。

开通方式

1. 全新开通

如果Project尚未开通服务日志,可通过如下步骤开通:
(1)进入日志服务控制台,找到需要开通的project,如图-2所示:

图-2 控制台Project列表

(2)找到想要开通的project,在操作栏点击服务日志,如图-3所示:
image.png
图-3 开通服务日志
选择需要开通的日志类型和日志存储位置,推荐使用默认的选项。

2. 已开通的Project如何升级

如果已经开通了服务日志,需要手动升级到新版,否则仍然会按照原来的方式进行存储和计费。只需通过如下步骤即可升级到新版:
(1)进入日志服务控制台,找到需要开通的project,如上图2所示。
(2)选择需要开通的日志类型,如果已经开通,此处会勾选全部类型。点击确定完成升级,如图-4所示。
image.png
图-4 升级已经开通的服务日志
(3)旧版中的internal-metering, internal-logtail_profile, internal-logtail_alarm, internal-consumergroup_log 这几个Logstore如果不再需要可以手动删除。

服务日志应用举例

1. Logtail异常监控

对于使用Logtail采集日志的用户,logtail采集状态是否健康关系到日志采集是否正常进行。开通服务日志后,Logtail的错误日志保存在internal-diagnostic_log 这个Logstore中,对应的topic为logtail_alarm,我们通过监控logtail的错误日志条数来设置告警,如下图-5所示:
image.png
图-5
查询语句:

__topic__: logtail_alarm | select sum(alarm_count) as errorCount

对错误次数设置告警,如图-6所示:
image.png
图-6

2. 订阅仪表盘

开通服务日志时,将自动创建对应的仪表盘,用户可以配置订阅任务,日志服务将会定期将仪表盘以图片的形式发送到用户的邮箱或者钉钉群里。以计量统计仪表盘为例:
image.png
图-7

相关链接

联系我们

image

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
1天前
|
运维 监控 安全
Java一分钟之-Log4j与日志记录的重要性
【5月更文挑战第16天】Log4j是Java常用的日志框架,用于灵活地记录程序状态和调试问题。通过设置日志级别和过滤器,可避免日志输出混乱。为防止日志文件过大,可配置滚动策略。关注日志安全性,如Log4j 2.x的CVE-2021-44228漏洞,及时更新至安全版本。合理使用日志能提升故障排查和系统监控效率。
14 0
|
2天前
|
C++
JNI Log 日志输出
JNI Log 日志输出
19 1
|
2天前
|
存储 运维 大数据
聊聊日志硬扫描,阿里 Log Scan 的设计与实践
泛日志(Log/Trace/Metric)是大数据的重要组成,伴随着每一年业务峰值的新脉冲,日志数据量在快速增长。同时,业务数字化运营、软件可观测性等浪潮又在对日志的存储、计算提出更高的要求。
|
2天前
|
XML Java Maven
Springboot整合与使用log4j2日志框架【详解版】
该文介绍了如何在Spring Boot中切换默认的LogBack日志系统至Log4j2。首先,需要在Maven依赖中排除`spring-boot-starter-logging`并引入`spring-boot-starter-log4j2`。其次,创建`log4j2-spring.xml`配置文件放在`src/main/resources`下,配置包括控制台和文件的日志输出、日志格式和文件切分策略。此外,可通过在不同环境的`application.yml`中指定不同的log4j2配置文件。最后,文章提到通过示例代码解释了日志格式中的各种占位符含义。
|
2天前
|
运维 监控 Go
Golang深入浅出之-Go语言中的日志记录:log与logrus库
【4月更文挑战第27天】本文比较了Go语言中标准库`log`与第三方库`logrus`的日志功能。`log`简单但不支持日志级别配置和多样化格式,而`logrus`提供更丰富的功能,如日志级别控制、自定义格式和钩子。文章指出了使用`logrus`时可能遇到的问题,如全局logger滥用、日志级别设置不当和过度依赖字段,并给出了避免错误的建议,强调理解日志级别、合理利用结构化日志、模块化日志管理和定期审查日志配置的重要性。通过这些实践,开发者能提高应用监控和故障排查能力。
89 1
|
2天前
|
弹性计算 运维 Shell
|
2天前
|
Java
log4j异常日志过滤规则配置
log4j异常日志过滤规则配置
92 0
|
2天前
|
SQL 存储 监控
SLS 查询新范式:使用 SPL 对日志进行交互式探索
像 Unix 命令一样支持多级管道级联,像加工预览一样实时处理查询结果,更便捷的交互,更丰富的算子,更灵活的探索半结构化日志,快来试试使用 SPL 语言查询日志数据吧~
46344 4
|
2天前
|
Apache
web服务器(Apache)访问日志(access_log)详细解释
web服务器(Apache)访问日志(access_log)详细解释
|
2天前
|
Java Spring
日志精准记录:Spring与Log4j完美整合的实战指南
日志精准记录:Spring与Log4j完美整合的实战指南
246 0
日志精准记录:Spring与Log4j完美整合的实战指南

相关产品

  • 日志服务