态势感知日志分析 - 一行命令导出日志

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 本篇介绍如何,使用命令行工具一行命令导出态势感知日志

背景

目前,阿里云态势感知与日志服务打通,对外开放平台依赖或者产生的日志,包括网络、主机、安全三大类共14种子类日志。提供近实时的日志自动采集存储、并提供基于日志服务的查询分析、报表报警、下游计算对接与投递的能力。
image

本文介绍如何导出日志以便在某些场景下使用。

导出日志到本地

这里介绍如何使用阿里云日志服务的命令行工具(CLI)导出态势感知的相关日志到本地。

命令行准备工作

  1. 安装命令行工具(CLI)
    准备一台可以连上阿里云的机器,通过命令行安装CLI:

pip install -U aliyun-log-cli
如果遇到网络或者其他按照问题,可以参考文档

  1. 获取当前账户的秘钥
    点击阿里云控制台右上角的登录图标,选择accesskeys

image

点击警告的确认后,在秘钥列表中,选择一个没有过期的秘钥,点击显示查看并复制秘钥的ID和Key
image

注意:记录的秘钥请特别注意安全,推荐使用子账号秘钥的方式进行管理。

  1. 配置命令行的账户秘钥
aliyunlog configure 秘钥ID  秘钥Key 区域路径

注意: 其中区域路径取决于您的态势感知的区域,并且根据您运行命令所在的环境,有一些变化:

态势感知区域 运行命令行所处环境 区域路径
国内 任意机器 cn-hangzhou.log.aliyuncs.com
国内 杭州区域的ECS上 推荐 cn-hangzhou-intranet.log.aliyuncs.com 性能更佳
马来西亚 任意机器 ap-southeast-3.log.aliyuncs.com
马来西亚 吉隆坡区域的ECS上 推荐 ap-southeast-3-intranet.log.aliyuncs.com 性能更佳
  1. 获取日志服务的项目名和日志库名
    进入态势感知的控制台,进入日志分析后,可以看到日志服务的项目名称和日志库名:

image

可以看到,这里项目名称(Project)是:sas-log-阿里云账户ID-cn-hangzhou,日志库名(Logstore)是:sas-log

操作步骤

  1. 使用命令行,进入想要下载日志的存储的目录,例如dump_data
cd dump_data
  1. 执行CLI命令:
aliyun log pull_log_dump --project_name="项目名" --logstore_name="sas-log" --from_time="2018-01-24 16:00:00+8:00" --to_time="2018-01-24 17:00:00+8:00" --file_path="./dump_{}.data"

这里拉取从时间2018-01-24 16:00:00+8:002018-01-24 17:00:00+8:00并把数据下载本地。

  1. 下载完成
    下载完后会显示下载的文件列表以及日志数,例如:
{"files": {"./dump_1.data": 75, "./dump_2.data": 14}, "total_count": 89}

因为是并发下载,所以会存储在多个文件中,文件名根据/data/dump_{}.data中的{}替换成多个并发的数字(一般是分区号)。文件的内容格式为一行一个日志,例如:

{"k1":"a1", "k2":"a2"}
{"k1":"b1", "k2":"b2"}
...

进一步参考

进一步参考相关最佳实践:

目录
相关文章
|
1天前
|
运维 监控 安全
Java一分钟之-Log4j与日志记录的重要性
【5月更文挑战第16天】Log4j是Java常用的日志框架,用于灵活地记录程序状态和调试问题。通过设置日志级别和过滤器,可避免日志输出混乱。为防止日志文件过大,可配置滚动策略。关注日志安全性,如Log4j 2.x的CVE-2021-44228漏洞,及时更新至安全版本。合理使用日志能提升故障排查和系统监控效率。
14 0
|
2天前
|
C++
JNI Log 日志输出
JNI Log 日志输出
19 1
|
2天前
|
存储 运维 大数据
聊聊日志硬扫描,阿里 Log Scan 的设计与实践
泛日志(Log/Trace/Metric)是大数据的重要组成,伴随着每一年业务峰值的新脉冲,日志数据量在快速增长。同时,业务数字化运营、软件可观测性等浪潮又在对日志的存储、计算提出更高的要求。
|
2天前
|
XML Java Maven
Springboot整合与使用log4j2日志框架【详解版】
该文介绍了如何在Spring Boot中切换默认的LogBack日志系统至Log4j2。首先,需要在Maven依赖中排除`spring-boot-starter-logging`并引入`spring-boot-starter-log4j2`。其次,创建`log4j2-spring.xml`配置文件放在`src/main/resources`下,配置包括控制台和文件的日志输出、日志格式和文件切分策略。此外,可通过在不同环境的`application.yml`中指定不同的log4j2配置文件。最后,文章提到通过示例代码解释了日志格式中的各种占位符含义。
|
2天前
|
运维 监控 Go
Golang深入浅出之-Go语言中的日志记录:log与logrus库
【4月更文挑战第27天】本文比较了Go语言中标准库`log`与第三方库`logrus`的日志功能。`log`简单但不支持日志级别配置和多样化格式,而`logrus`提供更丰富的功能,如日志级别控制、自定义格式和钩子。文章指出了使用`logrus`时可能遇到的问题,如全局logger滥用、日志级别设置不当和过度依赖字段,并给出了避免错误的建议,强调理解日志级别、合理利用结构化日志、模块化日志管理和定期审查日志配置的重要性。通过这些实践,开发者能提高应用监控和故障排查能力。
89 1
|
2天前
|
弹性计算 运维 Shell
|
2天前
|
监控 Docker 容器
Docker从入门到精通:Docker log 命令学习
了解 Docker 日志管理对容器监控至关重要。`docker logs` 命令用于查看和管理容器日志,例如,`docker logs <container_name>` 显示容器日志,`-f` 或 `--follow` 实时跟踪日志,`--tail` 显示指定行数,`--timestamps` 添加时间戳,`--since` 按日期筛选。Docker 支持多种日志驱动,如 `syslog`,可通过 `--log-driver` 配置。有效管理日志能提升应用程序的稳定性和可维护性。
17 0
|
2天前
|
Java
log4j异常日志过滤规则配置
log4j异常日志过滤规则配置
92 0
|
2天前
|
SQL 存储 监控
SLS 查询新范式:使用 SPL 对日志进行交互式探索
像 Unix 命令一样支持多级管道级联,像加工预览一样实时处理查询结果,更便捷的交互,更丰富的算子,更灵活的探索半结构化日志,快来试试使用 SPL 语言查询日志数据吧~
46344 4
|
2天前
|
Apache
web服务器(Apache)访问日志(access_log)详细解释
web服务器(Apache)访问日志(access_log)详细解释

相关产品

  • 日志服务