总结之:CentOS 6.5 rsyslog+MySQL+loganalyzer日志集中分析管理

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

前言
   rsyslog系统日志,在CentOS5上叫syslog,而在CentOS6上叫rsyslog,叫增强版的syslog,CentOS5上的配置文件在/etc/syslog.conf下,而CentOS6在/etc/rsyslog.conf下。
   syslog默认是把我们的日志放到文件、用户、日志服务器、管道中。
   rsyslog在syslog的基础上还多了一条途径,允许把日志放到mysql数据中。

   rsyslog比syslog好在哪里:
   Multi-threading:多线程
   TCP, SSL, TLS, RELP:支持tcp协议,ssh加密,支持RCLP协议
   MySQL, PostgreSQL, Oracle and more:支持日志存放在这些数据库中
   Filter any part of syslog message:支持自定义过滤器过滤一些信息
   Fully configurable output format:支持输出格式的完全自定义
   Suitable for enterprise-class relay chains:并且特别适用于企业级的日志收集

   日志是什么:通俗来讲就是记录过去所发生过的历史信息,而我们的系统日志有多种,比如说有错误日志、二进制日志、事物日志、中断日志、查询日志等,在这些日志中,除了事物日志,绝大多数据的日志都叫做历史日志,记录了我们系统中过去一段时间所发生的事情。

   日志有日志级别:priority优先级
   debug:调试,所谓调试就是不分轻重缓急,只要发生了就一律记录下来
   info:任何时候程序正常输出的信息,而不是说调试信息,都记录下来,如果定义了一个级别后这个级别以及比这个级别高的的级别都会被记录下来的。
   notice:注意,提醒用户要注意了
   warning:警告,提醒用户说可能会发生一些比较严重的问题了
   err:某个功能发有错误发生,必须要进行处理的
   crit:比err更严重了,现在不处理可能过一会就要挂了
   alert:红色警报,比crit更严重,需要马上处理
   emerg,panic:立马挂掉

   我们系统上运行了行行色色的软件,有很多都是服务级别的软件,这些软件都有可以产生日志,那日志记哪去,由谁来记录,记到哪个文件当中,记录哪个级别,如果都一个程序的日志都需要自己去定义,那就变得非常的麻烦,而绝大多数软件的日志信息都比较简单,没必要说自己去定义管理自己的日志,那由此我们就用到syslog,他是个服务,什么事也不干,他有两个进程,syslogd和klogd,一个是记录系统级别的日志信息,一个是记录内核级别的日志信息,而syslog他本身运行为一个服务,如果有人需要记录日志的话就把日志发给syslog,由syslog来帮记录,至于记录到哪去由syslog自己来判定,所以可以把他理解成是一个日志的框架,他是为了实现某种特定功能、为了承接各种用到这种功能的软件,而且能够实现低层帮更多软件记录日志的这么一种机制的,还有如果日志过多,那我们日后查找日志也不方便,那我们就要把日志分类管理了,这就是所说的设施(facility)了,从功能可程序上对日志信息进行分类,

   LogAnalyzer 是一个 syslog 和其他网络事件数据的 Web 前端工具,提供简单易用的日志浏览、搜索和基本分析以及图表显示读取到的日志进行分析的,一般我们都使用数据库的loganalyzer结合起来分析管理集中日志。

实现rsyslog日志集中到mysql+loganalyzer管理分析
   1、安装mysql,这个安装过程这里不再说明,前面的博文中我们已经详细说过了,可以参考博文:总结之:CentOS 6.5 LAMP分主机平台的搭建及测试http://tanxw.blog.51cto.com/4309543/1386381,这里有详细的安装过程。

   1、安装loganalyzer    

1
2
3
4
5
6
7
8
9
10
11
12
13
# tar xvzf loganalyzer-3.6.4.tar.gz
# cd loganalyzer-3.6.4
# mkdir /usr/local/apache/htdocs/syslog
把这两个src、contrib目录下的所有文件移动你本机能解析PHP路径下的web路径下。
# mv src/* /usr/local/apache/htdocs/syslog/
# mv contrib/* /usr/local/apache/htdocs/syslog/
# chmod u+x /usr/local/apache/htdocs/syslog/*.sh
# cd /usr/local/apache/htdocs/syslog/
# ./configure.sh
# ./secure.sh
# chmod 666 config.php
把这个目录下的所有文件的属主属组都改为apache运行的进程名
# chown -R daemon.daemon *

   wKioL1NEpGDQn7OHAABhn1HJinw895.jpg

       

    2、编辑rsyslog的配置文件    

1
2
3
4
5
6
7
8
9
10
11
# vim /etc/rsyslog.conf
$ModLoad ommysql 这一项必须定义在Module一段中
ommysql:这个表示装载的模块名;Syslog表示数据名;rsysloguser,rsyslogpass这两个是用户和密码
*.*     :ommysql:127.0.0.1,Syslog,rsysloguser,rsyslogpass
                                                                                                                                                                    
接着安装要rsyslog-mysql、php和php-mysql并导入数据定义的脚本, /usr/share/doc/rsyslog-mysql/createDB .sql
# yum -y install php php-mysql
# yum -y install rsyslog-mysql
# cd /usr/share/doc/rsyslog-mysql-5.8.10/
导入数据库
# mysql < /usr/share/doc/rsyslog-mysql/createDB.sql

   wKiom1NEpJzi9ewYAAEpmEmwU8U559.jpg  

 

   3、登录数据库,给用户rsysloguser授权,密码为rsyslogpass    

1
2
3
4
# mysql
mysql> GRANT ALL ON Syslog.* TO  'rsysloguser' @ '127.0.0.1'  IDENTIFIED BY  'rsyslogpass' ;
mysql> GRANT ALL ON Syslog.* TO  'rsysloguser' @ 'localhost'  IDENTIFIED BY  'rsyslogpass' ;
mysql> FLUSH PRIVILEGES;

   wKioL1NEpJaQE_oZAAFzxR4tUwU989.jpg

   wKioL1NEpLCyj3-XAAFNhR7CUF8082.jpg


   启动服务,页面上输入地址测试安装:

   # service rsyslog start

   如果安装好之后连接不上数据库,提示说不能通过/var/lib/mysql/mysql.sock连接数据,那就在/var/lib/下创建mysql目录文件,再把/tmp/mysql.sock套接字文件链接到/var/lib/mysql/目录下去就可以连接上了:

   # mkdir /var/lib/mysql

   # ln -s /tmp/mysql.sock /var/lib/mysql/

   http://172.16.27.1/syslog    wKioL1NEpTLilQDZAAEqQpIWzO8493.jpg

wKiom1NEpYKimGNeAAJkW4JXpb8565.jpg

wKioL1NEpXSR-hkoAAG7SdV0dgo695.jpg

wKiom1NEpbOigAQ1AAGqCntplI4343.jpg

wKiom1NEpdHj9EjxAAHwHgHWqKQ274.jpg

wKiom1NEpeyCj2jwAAC4NlqqK4k574.jpg

wKioL1NEphnDl82gAAh1Eqik-fo296.jpg


结束:

   整理了一些操作步骤,对日志的集中式存放和管理,放在mysql数据库中是很好管理和分析的,这个页面也很直观的看出了这些日志信息,在此,大神有什么觉得不妥的万望指出哦,在此先谢谢你的关注了。










本文转自 wei0164 51CTO博客,原文链接:http://blog.51cto.com/tanxw/1392591,如需转载请自行联系原作者
相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
19天前
|
存储 安全 关系型数据库
Mysql 的binlog日志的优缺点
MySQL的binlog(二进制日志)是一个记录数据库更改的日志文件,它包含了所有对数据库执行的更改操作,如INSERT、UPDATE和DELETE等。binlog的主要目的是复制和恢复。以下是binlog日志的优缺点: ### 优点: 1. **数据恢复**:当数据库出现意外故障或数据丢失时,可以利用binlog进行点恢复(point-in-time recovery),将数据恢复到某一特定时间点。 2. **主从复制**:binlog是实现MySQL主从复制功能的核心组件。主服务器将binlog中的事件发送到从服务器,从服务器再重放这些事件,从而实现数据的同步。 3. **审计**:b
|
29天前
|
SQL 关系型数据库 MySQL
MySQL数据库,可以使用二进制日志(binary log)进行时间点恢复
对于MySQL数据库,可以使用二进制日志(binary log)进行时间点恢复。二进制日志是MySQL中记录所有数据库更改操作的日志文件。要进行时间点恢复,您需要执行以下步骤: 1. 确保MySQL配置文件中启用了二进制日志功能。在配置文件(通常是my.cnf或my.ini)中找到以下行,并确保没有被注释掉: Copy code log_bin = /path/to/binary/log/file 2. 在需要进行恢复的时间点之前创建一个数据库备份。这将作为恢复的基准。 3. 找到您要恢复到的时间点的二进制日志文件和位置。可以通过执行以下命令来查看当前的二进制日志文件和位
|
3天前
|
机器学习/深度学习 前端开发 数据挖掘
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断(下)
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
74 11
|
9天前
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断2
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
15 0
|
9天前
|
机器学习/深度学习 前端开发 数据挖掘
R语言计量经济学:工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
R语言计量经济学:工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
39 0
|
17天前
|
网络协议 应用服务中间件 Linux
centos7 Nginx Log日志统计分析 常用命令
centos7 Nginx Log日志统计分析 常用命令
33 2
|
21天前
|
SQL 存储 监控
日志问题精要:分析与总结
该文档讲述了应用系统日志记录的重要性和规则。主要目的是记录操作轨迹、监控系统状态和回溯故障。日志记录点包括系统入口、调用其他模块、调用结束、出口和出错时。内容应遵循UTF-8编码,避免敏感信息,按INFO级别记录,及时、完整且安全。日志输出要控制频率和长度,不影响系统性能,并按策略备份和清理。日志等级分为DEBUG、INFO、WARN、ERROR和FATAL。日志文件应有明确目录结构,大小有限制,并定期清理。注意事项包括输出异常堆栈、避免打印对象实例的hashCode、选择合适的日志框架和格式,并支持动态修改日志级别。还要实现链路追踪,确保在多线程环境中正确记录日志。
20 0
|
1月前
|
存储 SQL 关系型数据库
[MySQL]事务原理之redo log,undo log
[MySQL]事务原理之redo log,undo log
|
1月前
|
存储
Hudi Log日志文件格式分析(一)
Hudi Log日志文件格式分析(一)
27 1
|
3天前
|
SQL 存储 关系型数据库
MySQL Cluster集群安装及使用
MySQL Cluster集群安装及使用