日志服务器设计

简介:

日志服务器设计(草稿)

 

我的想方式实现一个Log服务器,然后把所有日志推向这个服务器。

 

同时兼容现有的

 

  1. rsyslog
  2. log4J, log4cpp...
可以通过TCP/UDP/和管道,向日志服务器抛日志。

日志服务器,采用多线程处理,然后放入列队。另一个进程从列队取日志,然后进行过滤,通过特征库匹配。
例如: 放行,抛弃,报警(通过email和手机短信)

放行数据将通过存储引擎,进行日志保存,可以进入数据库,文件。如果是文件通过gzip管道流,在做日志切割。


客户端

客户端是一个控制台可以实时看到列队中的最新信息,并滚动显示。与tail -f 原理类似,同时可以通过正则筛选数据。

还可以生成报表。等等。。

请看下图,先写到这里。


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
17天前
|
存储 运维 应用服务中间件
[运维日志] Web 服务器日志依日期归档(Powershell 实现,附源代码)
[运维日志] Web 服务器日志依日期归档(Powershell 实现,附源代码)
86 0
|
17天前
|
Linux 文件存储
定期删除服务器n天前日志
该内容介绍了如何在Linux中删除指定目录及子目录下超过n天的文件。使用`find`命令结合参数`/nas/logs/* -maxdepth 3 -type d -ctime +6`查找6天前的目录,然后通过`xargs rm -rvf`进行删除。在CentOS中,可以编辑crontab设置定时任务,例如每天1点执行此删除操作:`0 1 * * * find /nas/logs/* -maxdepth 3 -type d -ctime +6 | xargs rm -rvf`,其中`+6`可按需调整。
28 2
|
10天前
|
数据安全/隐私保护
通过mac电脑的下载服务器的日志与日志筛选
通过mac电脑的下载服务器的日志与日志筛选
18 0
|
17天前
|
Apache
web服务器(Apache)访问日志(access_log)详细解释
web服务器(Apache)访问日志(access_log)详细解释
|
7月前
|
存储 关系型数据库 MySQL
CentOS7+Rsyslog+MySQL 搭建 Rsyslog 日志服务器
CentOS7+Rsyslog+MySQL 搭建 Rsyslog 日志服务器
171 0
|
17天前
|
JSON NoSQL 网络安全
业务服务器免装插件,使用rsync+nxlog同步+采集应用日志并接入到GrayLog5.1
业务服务器免装插件,使用rsync+nxlog同步+采集应用日志并接入到GrayLog5.1
51 0
|
17天前
|
运维 应用服务中间件 网络安全
利于群晖的File Station+SFTP实现第三方人员快速获取服务器应用日志
利于群晖的File Station+SFTP实现第三方人员快速获取服务器应用日志
124 0
|
17天前
|
存储 JSON 运维
【运维】Powershell 服务器系统管理信息总结(进程、线程、磁盘、内存、网络、CPU、持续运行时间、系统账户、日志事件)
【运维】Powershell 服务器系统管理信息总结(进程、线程、磁盘、内存、网络、CPU、持续运行时间、系统账户、日志事件)
62 0
|
7月前
|
运维 调度
日志服务器的那些坑
日志服务器的那些坑
35 0
|
7月前
|
监控 Java
游戏服务器的内存监控日志
游戏服务器的内存监控日志
64 0