真实记录疑似Linux病毒导致服务器 带宽跑满的解决过程

简介: 案例描述  由于最近我在重构之前的APP,需要和server端进行数据交互,发现有一个现象,那么就是隔1~2天总会发生获取数据超时的问题,而且必须要重启服务器才能解决。早在之前,我有留意到这个问题,但是由于这个服务器目前只有我测试的时候才有访问,其他的途径的数据交互几乎没有,但是这次必须要把这个问题解决了,因为APP我肯定要上线的。

案例描述

  由于最近我在重构之前的APP,需要和server端进行数据交互,发现有一个现象,那么就是隔1~2天总会发生获取数据超时的问题,而且必须要重启服务器才能解决。早在之前,我有留意到这个问题,但是由于这个服务器目前只有我测试的时候才有访问,其他的途径的数据交互几乎没有,但是这次必须要把这个问题解决了,因为APP我肯定要上线的。

按理分析

  服务器是基于阿里云的 Linux-CentOs 6.5,由nginx解析,首先登陆阿里云官网去查看ECS云服务器的运行情况,显示的是运行中,和以往一样,费用没到期,然后在浏览器中打开官网,一样是访问不了,当时第一个想法就是带宽过载,为什么不是代码问题呢?因为不能访问是周期性的问题,肯定不是代码问题。为了确认想法,去阿里云发了次工单,请求下阿里的技术人员的帮助。

 

  阿里的大牛回复和我所想的一样,这时候就是进终端进一步解决了。我一般使用 XShell 软件来管理linux服务器终端的,由于外部都无法访问,那么XShell也就无法远程了,的确如此,带宽跑满,哪怕是远程终端都是不可能的。这时候由从官网进入终端。

  登陆后,先用命令 sar -n DEV 1 1 查看下网卡流量的数据包和比特流等情况,1 秒 取一次值,发现是震惊的。

  首先eth0 是内网卡,eth1是外网, rxpck 这个是接收的数据包,txpck 是发出的数据包,rxkB 是接收的字节, txkB 是发出的字节。发现公网在大量向外发数据包,且我上面说到,这个服务器目前只有我测试APP才有请求过来,再怎么发也不会达到19万多/s,还有这个数据会变的,有时候达到 20 万。是不是感觉有点 DDOS 的感觉,不过,rxpck 接收的并不多,这是DDOS 的几率有点低,初步怀疑是有恶意程序在大量发包。

  为了看看 eth1 到底发了多少,输入 ifconfig 回车,我擦,2点多 T 啊。

  为了弄清楚是目前运行的线程有哪些,我打算采用了 nethogs 这个工具,它可以监控进程实时的流量,可悲剧的是,在这之前没安装它,然后就打算当场安装,然而,当我采用 yum install nethogs 安装的时候,发现一直处于超时(time out)的情况,ping 了下百度,发现延时很高。果然,肯定受当前的情况影响。

  既然查不了线程的实时流量,只能查看当前的进程了,输入 ps -ef ,看到有一个名为 vcers 的程序占用 CPU 利用率高达 34% +

   ls 一下,在 root 目录,再 find -name “vcers” ,发现只有这么一个

解决问题

  猜想,可能是它在大量发包, 于是直接  kill -TERM PID号 杀掉了 vcers 的进程,再 sar -n DEV 1 1 看下,恢复正常

  刷新下APP,有数据了,再打开下官网链接,正常访问。赶紧下载了 nethogs 以防万一,最后再打印下 进程信息,确认 vcers 没再运行, 下次再出现的话,若还过载,就彻底删除 vcers 的可运行程序。

目录
相关文章
|
7月前
|
前端开发
如何利用dnslog探测目标主机杀软
如何利用dnslog探测目标主机杀软
106 0
|
3月前
|
存储 安全 网络安全
怎么看服务器是中毒了还是被攻击?以及后续处理方案
怎么看服务器是中毒了还是被攻击?以及后续处理方案
|
4月前
|
安全 Unix Linux
Linux【问题记录 02】腾讯云 cron、sshd 进程CPU占用超95%(亡命徒 Outlaw 僵尸网络攻击)问题排查及处理步骤
Linux【问题记录 02】腾讯云 cron、sshd 进程CPU占用超95%(亡命徒 Outlaw 僵尸网络攻击)问题排查及处理步骤
57 0
|
4月前
|
安全 Linux
Linux【问题记录 03】阿里云+腾讯云服务器的 kdevtmpfsi(H2Miner挖矿蠕虫变种)病毒处理(5个详细步骤)
Linux【问题记录 03】阿里云+腾讯云服务器的 kdevtmpfsi(H2Miner挖矿蠕虫变种)病毒处理(5个详细步骤)
118 0
|
6月前
|
缓存 Linux
百度搜索:蓝易云【检查 Linux 系统内存使用量是否耗尽?这5个命令堪称绝了!详解!】
通过使用以上这五个命令,你可以全面了解Linux系统的内存使用情况,从而判断是否存在内存耗尽的问题。这些命令提供了不同层次和角度的内存信息,帮助你定位和解决与内存相关的性能问题。
91 0
|
域名解析 缓存 负载均衡
linux【网络】DNS 解析时快时慢,我该怎么办?
linux【网络】DNS 解析时快时慢,我该怎么办?
linux【网络】DNS 解析时快时慢,我该怎么办?
|
固态存储
Win系统 - 随便升级SSD:性能没提升,危害还很大!
Win系统 - 随便升级SSD:性能没提升,危害还很大!
97 0
Win系统 - 随便升级SSD:性能没提升,危害还很大!
|
安全 关系型数据库 MySQL
网站被攻击导致服务器CPU百分之百 无法访问的终极解决办法
公司的官方网站从春节前无缘无故就出现连接数据库异常的现象,由于以前也出现过,再加上没多久逢年过节,也就没有太在乎这个情况,仅仅试着重新启动了网站数据库。逢年过节的时候我发现了有一些不太对,网站数据库只有一打开没多久就宕掉。检查服务器里的资源,发现服务器的内存被占满,CPU达到百分之100就连远程连接都越来越巨慢至极,因此开展对该网站被攻击的问题解决。
417 0
网站被攻击导致服务器CPU百分之百 无法访问的终极解决办法
|
安全 Windows 网络安全
高危预警|RDP漏洞或引发大规模蠕虫爆发,用户可用阿里云免费检测服务自检,建议尽快修复
阿里云安全中心免费提供服务器漏洞检测,支持Windows和Linux漏洞检测,支持云上主机和线下机房服务器的安全检测,助力企业做好安全预防。
6126 0