关于linux系统调优

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

背景:最近要写一部分关于linux调优的文档,此处只列出一些常用调优选项,随时备查。参考了南非蚂蚁的文档。


1、关注ulimit命令

ulimit n(最大打开文件数)

常见案例日志:java.net.SocketException: Too many openfiles

相关配置文件:

/etc/security/limits.conf

/etc/security/limits.d/90-nproc.conf(centos6.x版本)

*        soft    nofile         65536

*        hard    nofile         65536

ulimit  -u(最大用户数)

*         soft    nproc     65536

root      soft    nproc     unlimited

 

2、系统内核参数调优

常见案例日志:kernel: ip_conntrack: table full, droppingpacket

ip_conntrack_max参数

/proc/sys/net/ipv4/netfilter/ip_conntrack_max  或者

/proc/sys/net/ipv4/ip_conntrack_max (centos5.x)

/proc/sys/net/netfilter/nf_conntrack_max(centos6.x)

 

在/etc/sysctl.conf加入

net.ipv4.netfilter.ip_conntrack_max = 655360(centos5.x)

net.nf_conntrack_max = 100000(centos6.x)

 

swappiness参数

 

表示使用swap的概率,此值越大,表示使用swap的概率越大。推荐配置如下:

查看目前配置:cat /proc/sys/vm/swappiness

添加如下内容到/etc/sysctl.conf

vm.swappiness=10

表示当内存使用率超过(100-10)90%时,才开始使用swap。


使配置文件生效

sysctl -p


我们线上web服务器配置参考(每天3亿的量)

net.ipv4.conf.lo.arp_ignore = 1

net.ipv4.conf.lo.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_fin_timeout = 10

 

net.ipv4.tcp_max_syn_backlog = 20000

net.core.netdev_max_backlog = 32768

net.core.somaxconn = 32768

 

net.core.wmem_default = 8388608

net.core.rmem_default = 8388608

net.core.rmem_max = 16777216

net.core.wmem_max = 16777216

 

net.ipv4.tcp_timestamps = 0

net.ipv4.tcp_synack_retries = 2

net.ipv4.tcp_syn_retries = 2

net.ipv4.tcp_syncookies = 1

 

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_tw_reuse = 1

 

net.ipv4.tcp_mem = 94500000 915000000 927000000

net.ipv4.tcp_max_orphans = 3276800

 

net.ipv4.tcp_fin_timeout = 10

net.ipv4.tcp_keepalive_time = 120

net.ipv4.ip_local_port_range = 1024 65535

net.ipv4.tcp_max_tw_buckets = 80000

net.ipv4.tcp_keepalive_time = 120

net.ipv4.tcp_keepalive_intvl = 15

net.ipv4.tcp_keepalive_probes = 5

 

net.ipv4.conf.lo.arp_ignore = 1

net.ipv4.conf.lo.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

 

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_fin_timeout = 10

 

net.ipv4.tcp_max_syn_backlog = 20000

net.core.netdev_max_backlog = 32768

net.core.somaxconn = 32768

 

net.core.wmem_default = 8388608

net.core.rmem_default = 8388608

net.core.rmem_max = 16777216

net.core.wmem_max = 16777216

 

net.ipv4.tcp_timestamps = 0

net.ipv4.tcp_synack_retries = 2

net.ipv4.tcp_syn_retries = 2

 

 

net.ipv4.tcp_mem = 94500000 915000000 927000000

net.ipv4.tcp_max_orphans = 3276800

 

net.ipv4.ip_local_port_range = 1024 65535

net.ipv4.tcp_max_tw_buckets = 500000

net.ipv4.tcp_keepalive_time = 60

net.ipv4.tcp_keepalive_intvl = 15

net.ipv4.tcp_keepalive_probes = 5

net.nf_conntrack_max = 2097152 



3.精简系统服务和开机进程

原则:只开启需要的。

线上服务器建议开启的服务

crond,network,syslog,sshd、iptables、udev-post、sysstat

快捷开启方法:

先关闭所有

for serv in `chkconfig --list|grep 3:on|awk '{print 1}'`;do chkconfig--level 3serv off;done

然后开启需要的服务:

for serv in `crond network syslog sshd iptables udev-post sysstat`;dochkconfig --level 3 $serv on;done

4、可删除的系统用户和组

#删除不必要的用户

userdel adm

userdel lp

userdel sync

userdel shutdown

userdel halt

userdel news

userdel uucp

userdel video

userdel games

userdel gopher

userdel ftp

#删除不必要的群组

groupdel adm

groupdel lp

groupdel news

groupdel uucp

groupdel games

groupdel dip


也可以直接用for循环来删除.

for i in adm lp sync shutdown halt news uucp video games gopher ftp; do userdel $i;done

for i in adm lp sync shutdown halt news uucp video games gopher ftp; do groupdel $i;done


5.Linux下性能评估工具汇总

Cpu:  vmstat  iostat uptime

  Vmstat 2 3

2秒更新一次cpu输出信息,输出3次。

 

 

  Iostat–c 2 3 (需要安装sysstat包,参数-c显示CPU状态, -d显示磁盘使用状态)

2秒更新一次cpu输出信息,输出3次。

 

 

  Uptime

系统现在时间、上次开机到现在运行多长时间、目前登录用户数、系统在1515分钟内的平均负载.

 

 

内存: freesar/pidstat

 

Free –m

M为单位显示当前内存的使用状况。

 

sar/pidstat(它们有三个公用参数: -u 显示cpu信息; -r显示内存信息;-d显示磁盘信息)

 

sar –u  3  5

输出cpu 3秒内的状态,输出5.

Pidstat –r –p 1 3 5

输出进程号是1的内存3秒内的状态,输出5.

 

磁盘 iostat  pidstatsar

Iostat  -d 2 3

2秒更新一次磁盘输出信息,输出3次。

 

Pidstat –d –p 556 3 5

输出进程号是556的磁盘3秒内的状态,输出5.

 

Sar –d 3 5

输出磁盘3秒内的状态,输出5.

 

网络ping   netstat mtr/traceroute(yum install mtr traceroute)dignslookup

 

 

系统性能的一个参考表

wKioL1dEFtnjGRs7AAFGyCpY1wU473.png

 

 6. 文件系统的选择


Ext2:linux下标准的文件系统,无日志记录(inode)功能。

Ext3:在ext2的基础上增加了日志记录功能(inode),仅支持32000个子目录.

Ext4ext3的后续升级版本,内核2.6.28开始支持,无限子目录支持,快速fsck

Xfs: 高性能的文件系统,内核3.10开始默认支持。

 

建议:读操作频繁,小文件众多,首选ext4,接下来是xfs,ext3.

写操作频繁,首选xfs,接下来是ext4ext3.

对性能要求不高,对数据安全要求不高的业务,ext3可以选择。

 


本文转自pizibaidu 51CTO博客,原文链接:http://blog.51cto.com/pizibaidu/1775433,如需转载请自行联系原作者

 

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
打赏
0
0
0
0
69
分享
相关文章
Linux系统中的cd命令:目录切换技巧
踏过千山,越过万水,人生就是一场不断前行的旅程,总充满了未知与挑战。然而,“cd”命令如同你的旅伴,会带你穿梭在如棋盘一般的文件系统中,探索每一处未知。希望你能从“cd”命令中找到乐趣,像是掌控了一种络新妙的魔法,去向未知进发,开始你的探索之旅。
99 24
|
14天前
|
Linux系统下快速批量创建和删除文件的方法
总的来说,使用shell脚本来批量处理文件是一种非常强大的工具,只要你愿意花时间学习和实践,你会发现它能大大提高你的工作效率。
67 19
Linux系统之su命令的基本使用
Linux系统之su命令的基本使用
77 2
Linux系统之su命令的基本使用
在Ubuntu Linux系统下如何搭建并安装EDK2
以上就是在Ubuntu Linux系统下搭建并安装EDK2的过程。这个过程可能会有些复杂,但只要按照步骤一步步来,应该不会有太大问题。如果在过程中遇到任何问题,都可以在网上找到相应的解决方案。希望这个指南能对你有所帮助!
77 17
Linux系统资源管理:多角度查看内存使用情况。
要知道,透过内存管理的窗口,我们可以洞察到Linux系统运行的真实身姿,如同解剖学家透过微观镜,洞察生命的奥秘。记住,不要惧怕那些高深的命令和参数,他们只是你掌握系统"魔法棒"的钥匙,熟练掌握后,你就可以骄傲地说:Linux,我来了!
126 27
|
2月前
|
Linux系统ext4磁盘扩容实践指南
这个过程就像是给你的房子建一个新的储物间。你需要先找到空地(创建新的分区),然后建造储物间(格式化为ext4文件系统),最后将储物间添加到你的房子中(将新的分区添加到文件系统中)。完成这些步骤后,你就有了一个更大的储物空间。
172 10
|
3月前
|
Linux系统之whereis命令的基本使用
Linux系统之whereis命令的基本使用
136 24
Linux系统之whereis命令的基本使用
|
2月前
|
Linux系统中如何查看CPU信息
本文介绍了查看CPU核心信息的方法,包括使用`lscpu`命令和读取`/proc/cpuinfo`文件。`lscpu`能快速提供逻辑CPU数量、物理核心数、插槽数等基本信息;而`/proc/cpuinfo`则包含更详细的配置数据,如核心ID和处理器编号。此外,还介绍了如何通过`lscpu`和`dmidecode`命令获取CPU型号、制造商及序列号,并解释了CPU频率与缓存大小的相关信息。最后,详细解析了`lscpu`命令输出的各项参数含义,帮助用户更好地理解CPU的具体配置。
197 8
深度体验阿里云系统控制台:SysOM 让 Linux 服务器监控变得如此简单
作为一名经历过无数个凌晨三点被服务器报警电话惊醒的运维工程师,我对监控工具有着近乎苛刻的要求。记得去年那次大型活动,我们的主站流量暴增,服务器内存莫名其妙地飙升到90%以上,却找不到原因。如果当时有一款像阿里云 SysOM 这样直观的监控工具,也许我就不用熬通宵排查问题了。今天,我想分享一下我使用 SysOM 的亲身体验,特别是它那令人印象深刻的内存诊断功能。
|
5月前
|
Linux缓存管理:如何安全地清理系统缓存
在Linux系统中,内存管理至关重要。本文详细介绍了如何安全地清理系统缓存,特别是通过使用`/proc/sys/vm/drop_caches`接口。内容包括清理缓存的原因、步骤、注意事项和最佳实践,帮助你在必要时优化系统性能。
396 78