关于ip_conntrack跟踪连接满导致网络丢包问题的分析

简介:

我们的线上web服务器在访问量很大时,就会出现网络连接丢包的问题,通过dmesg命令查看日志,发现如下信息:

1
2
3
4
5
kernel: ip_conntrack: table full, dropping packet.
kernel: printk: 1 messages suppressed.
kernel: ip_conntrack: table full, dropping packet.
kernel: printk: 2 messages suppressed.
kernel: ip_conntrack: table full, dropping packet.


这里面关键的信息是"ip_conntrack: table full, dropping packet",从这里可以判断出这跟iptables有关系了,因为iptables防火墙使用了ip_conntrack内核模块实现连接跟踪功能,所有的进出数据包都会记录在连接跟踪表中,包括tcp,udp,icmp等,一旦连接跟踪表被填满以后,就会发生丢包,导致网络不稳定。


而我们的服务器确实打开了iptables防火墙,并且都是在网站流量非常高的时候经常会出现这个问题。这个问题的原因是由于web服务器收到了大量的连接,在启用了iptables的情况下,iptables会把所有的连接都做链接跟踪处理,这样iptables就会有一个链接跟踪表,当这个表满的时候,就会出现上面的错误。


iptables的链接跟踪表最大容量配置文件如下:


centos5 netfilter 参数配置文件:

1
/proc/sys/net/ipv4/netfilter/ip_conntrack_max 或者 /proc/sys/net/ipv4/ip_conntrack_max

centos6 netfilter 参数配置文件:

1
/proc/sys/net/netfilter/nf_conntrack_max


由于nf_conntrack 工作在3层,支持IPv4和IPv6,而ip_conntrack只支持IPv4,因此nf_conntrack模块在Linux的2.6.15内核中被引入,而ip_conntrack在Linux的2.6.22内核被移除(centos6.x版本),因此不同版本的系统,配置文件也就不尽相同了。目前大多的ip_conntrack_*已被 nf_conntrack_* 取代,很多ip_conntrack_*仅仅是个软链接,原先的ip_conntrack配置目录/proc/sys/net/ipv4/netfilter/ 仍然存在,但是新的nf_conntrack在/proc/sys/net/netfilter/中,这样做是为了能够向下的兼容。


了解了配置文件的变化后,我们看看这个问题该如何解决,解決方法一般有两个:


1、调整 /proc/ 下面的参数


可以增大适当conntrack 的条目,在CentOS5/RHEL 5下:

(1)运行 

1
sysctl -w net.ipv4.netfilter.ip_conntrack_max=655360


(2).在 /etc/sysctl.conf 中加入:

1
net.ipv4.netfilter.ip_conntrack_max = 655360


(3).使其生效

1
sysctl -p


在CentOS 6 /RHEL6下:


(1)运行 

1
sysctl -w net.nf_conntrack_max=100000


(2)在 /etc/sysctl.conf 中加入:

1
net.nf_conntrack_max = 100000


(3)使其生效

1
sysctl -p


2、不使用ip_conntrack模块


在CentOS5/RHEL 5下:


不使用ip_conntrack,需要移除state模块,因为使用该模块需要加载ip_conntrack。确保iptables规则中没有出现类似state模块的规则,如果有的话将其移除:

然后注释 /etc/sysconfig/iptables-config 中的:

1
IPTABLES_MODULES= "ip_conntrack_netbios_ns"


最后移除ip_conntrack模块:

1
[root@waiwei ipv4] #  modprobe -r ip_conntrack_netbios_ns xt_state

在CentOS6/RHEL6下:

1
2
[root@waiwei ipv4] #  modprobe -r nf_conntrack_ipv4 xt_state
[root@waiwei ipv4] #  modprobe -r nf_conntrack


现在 /proc/net/ 下面应该没有nf_conntrack了。



两种方法中,第一种简单,但是治标不治本,第二种稍微麻烦,但是毕竟使用,大家可根据情况进行选择。














本文转自南非蚂蚁51CTO博客,原文链接:http://blog.51cto.com/ixdba/1737642 ,如需转载请自行联系原作者




相关文章
|
4天前
|
移动开发 JavaScript 前端开发
APP的HTML5页面经过运营商网络被植入手机管家问题及分析,解决方案见新文章
APP的HTML5页面经过运营商网络被植入手机管家问题及分析,解决方案见新文章
10 0
|
11天前
|
网络协议 Java 网络安全
【计算机网络】—— Socket通信编程与传输协议分析
【计算机网络】—— Socket通信编程与传输协议分析
|
11天前
|
安全 网络安全 数据库
01-Web 网络安全纵观与前景分析
01-Web 网络安全纵观与前景分析
|
11天前
|
机器学习/深度学习 自然语言处理 运维
随机森林填充缺失值、BP神经网络在亚马逊评论、学生成绩分析研究2案例合集2
随机森林填充缺失值、BP神经网络在亚马逊评论、学生成绩分析研究2案例合集
|
11天前
|
机器学习/深度学习 存储 数据采集
随机森林填充缺失值、BP神经网络在亚马逊评论、学生成绩分析研究2案例合集1
随机森林填充缺失值、BP神经网络在亚马逊评论、学生成绩分析研究2案例合集
|
11天前
|
机器学习/深度学习 监控 数据可视化
R语言SOM神经网络聚类、多层感知机MLP、PCA主成分分析可视化银行客户信用数据实例2
R语言SOM神经网络聚类、多层感知机MLP、PCA主成分分析可视化银行客户信用数据实例
|
11天前
|
机器学习/深度学习 数据可视化 算法
R语言SOM神经网络聚类、多层感知机MLP、PCA主成分分析可视化银行客户信用数据实例1
R语言SOM神经网络聚类、多层感知机MLP、PCA主成分分析可视化银行客户信用数据实例
|
11天前
|
机器学习/深度学习 数据可视化 TensorFlow
Python用线性回归和TensorFlow非线性概率神经网络不同激活函数分析可视化
Python用线性回归和TensorFlow非线性概率神经网络不同激活函数分析可视化
|
11天前
|
运维 安全 网络架构
【专栏】NAT技术是连接私有网络与互联网的关键,缓解IPv4地址短缺,增强安全性和管理性
【4月更文挑战第28天】NAT技术是连接私有网络与互联网的关键,缓解IPv4地址短缺,增强安全性和管理性。本文阐述了五大NAT类型:全锥形NAT(安全低,利于P2P)、限制锥形NAT(增加安全性)、端口限制锥形NAT(更安全,可能影响协议)、对称NAT(高安全,可能导致兼容性问题)和动态NAT(公网IP有限时适用)。选择NAT类型需考虑安全性、通信模式、IP地址数量和设备兼容性,以确保网络高效、安全运行。
|
11天前
|
安全 网络协议 物联网
城域以太网:连接城市的高速网络
【4月更文挑战第22天】
24 0

热门文章

最新文章