关于linux系统调优

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

背景:最近要写一部分关于linux调优的文档,此处只列出一些常用调优选项,随时备查。参考了南非蚂蚁的文档。


1、关注ulimit命令

ulimit n(最大打开文件数)

常见案例日志:java.net.SocketException: Too many openfiles

相关配置文件:

/etc/security/limits.conf

/etc/security/limits.d/90-nproc.conf(centos6.x版本)

*        soft    nofile         65536

*        hard    nofile         65536

ulimit  -u(最大用户数)

*         soft    nproc     65536

root      soft    nproc     unlimited

 

2、系统内核参数调优

常见案例日志:kernel: ip_conntrack: table full, droppingpacket

ip_conntrack_max参数

/proc/sys/net/ipv4/netfilter/ip_conntrack_max  或者

/proc/sys/net/ipv4/ip_conntrack_max (centos5.x)

/proc/sys/net/netfilter/nf_conntrack_max(centos6.x)

 

在/etc/sysctl.conf加入

net.ipv4.netfilter.ip_conntrack_max = 655360(centos5.x)

net.nf_conntrack_max = 100000(centos6.x)

 

swappiness参数

 

表示使用swap的概率,此值越大,表示使用swap的概率越大。推荐配置如下:

查看目前配置:cat /proc/sys/vm/swappiness

添加如下内容到/etc/sysctl.conf

vm.swappiness=10

表示当内存使用率超过(100-10)90%时,才开始使用swap。


使配置文件生效

sysctl -p


我们线上web服务器配置参考(每天3亿的量)

net.ipv4.conf.lo.arp_ignore = 1

net.ipv4.conf.lo.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_fin_timeout = 10

 

net.ipv4.tcp_max_syn_backlog = 20000

net.core.netdev_max_backlog = 32768

net.core.somaxconn = 32768

 

net.core.wmem_default = 8388608

net.core.rmem_default = 8388608

net.core.rmem_max = 16777216

net.core.wmem_max = 16777216

 

net.ipv4.tcp_timestamps = 0

net.ipv4.tcp_synack_retries = 2

net.ipv4.tcp_syn_retries = 2

net.ipv4.tcp_syncookies = 1

 

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_tw_reuse = 1

 

net.ipv4.tcp_mem = 94500000 915000000 927000000

net.ipv4.tcp_max_orphans = 3276800

 

net.ipv4.tcp_fin_timeout = 10

net.ipv4.tcp_keepalive_time = 120

net.ipv4.ip_local_port_range = 1024 65535

net.ipv4.tcp_max_tw_buckets = 80000

net.ipv4.tcp_keepalive_time = 120

net.ipv4.tcp_keepalive_intvl = 15

net.ipv4.tcp_keepalive_probes = 5

 

net.ipv4.conf.lo.arp_ignore = 1

net.ipv4.conf.lo.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

 

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_fin_timeout = 10

 

net.ipv4.tcp_max_syn_backlog = 20000

net.core.netdev_max_backlog = 32768

net.core.somaxconn = 32768

 

net.core.wmem_default = 8388608

net.core.rmem_default = 8388608

net.core.rmem_max = 16777216

net.core.wmem_max = 16777216

 

net.ipv4.tcp_timestamps = 0

net.ipv4.tcp_synack_retries = 2

net.ipv4.tcp_syn_retries = 2

 

 

net.ipv4.tcp_mem = 94500000 915000000 927000000

net.ipv4.tcp_max_orphans = 3276800

 

net.ipv4.ip_local_port_range = 1024 65535

net.ipv4.tcp_max_tw_buckets = 500000

net.ipv4.tcp_keepalive_time = 60

net.ipv4.tcp_keepalive_intvl = 15

net.ipv4.tcp_keepalive_probes = 5

net.nf_conntrack_max = 2097152 



3.精简系统服务和开机进程

原则:只开启需要的。

线上服务器建议开启的服务

crond,network,syslog,sshd、iptables、udev-post、sysstat

快捷开启方法:

先关闭所有

for serv in `chkconfig --list|grep 3:on|awk '{print $1}'`;do chkconfig--level 3 $serv off;done

然后开启需要的服务:

for serv in `crond network syslog sshd iptables udev-post sysstat`;dochkconfig --level 3 $serv on;done

4、可删除的系统用户和组

#删除不必要的用户

userdel adm

userdel lp

userdel sync

userdel shutdown

userdel halt

userdel news

userdel uucp

userdel video

userdel games

userdel gopher

userdel ftp

#删除不必要的群组

groupdel adm

groupdel lp

groupdel news

groupdel uucp

groupdel games

groupdel dip


也可以直接用for循环来删除.

for i in adm lp sync shutdown halt news uucp video games gopher ftp; do userdel $i;done

for i in adm lp sync shutdown halt news uucp video games gopher ftp; do groupdel $i;done


5.Linux下性能评估工具汇总

Cpu:  vmstat  iostat uptime

  Vmstat 2 3

2秒更新一次cpu输出信息,输出3次。

 

 

  Iostat–c 2 3 (需要安装sysstat包,参数-c显示CPU状态, -d显示磁盘使用状态)

2秒更新一次cpu输出信息,输出3次。

 

 

  Uptime

系统现在时间、上次开机到现在运行多长时间、目前登录用户数、系统在1515分钟内的平均负载.

 

 

内存: freesar/pidstat

 

Free –m

M为单位显示当前内存的使用状况。

 

sar/pidstat(它们有三个公用参数: -u 显示cpu信息; -r显示内存信息;-d显示磁盘信息)

 

sar –u  3  5

输出cpu 3秒内的状态,输出5.

Pidstat –r –p 1 3 5

输出进程号是1的内存3秒内的状态,输出5.

 

磁盘 iostat  pidstatsar

Iostat  -d 2 3

2秒更新一次磁盘输出信息,输出3次。

 

Pidstat –d –p 556 3 5

输出进程号是556的磁盘3秒内的状态,输出5.

 

Sar –d 3 5

输出磁盘3秒内的状态,输出5.

 

网络ping   netstat mtr/traceroute(yum install mtr traceroute)dignslookup

 

 

系统性能的一个参考表

wKioL1dEFtnjGRs7AAFGyCpY1wU473.png

 

 6. 文件系统的选择


Ext2:linux下标准的文件系统,无日志记录(inode)功能。

Ext3:在ext2的基础上增加了日志记录功能(inode),仅支持32000个子目录.

Ext4ext3的后续升级版本,内核2.6.28开始支持,无限子目录支持,快速fsck

Xfs: 高性能的文件系统,内核3.10开始默认支持。

 

建议:读操作频繁,小文件众多,首选ext4,接下来是xfs,ext3.

写操作频繁,首选xfs,接下来是ext4ext3.

对性能要求不高,对数据安全要求不高的业务,ext3可以选择。

 


本文转自pizibaidu 51CTO博客,原文链接:http://blog.51cto.com/pizibaidu/1775433,如需转载请自行联系原作者

 

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
打赏
0
0
0
0
69
分享
相关文章
|
2月前
|
在 Linux 系统中,“cd”命令用于切换当前工作目录
在 Linux 系统中,“cd”命令用于切换当前工作目录。本文详细介绍了“cd”命令的基本用法和常见技巧,包括使用“.”、“..”、“~”、绝对路径和相对路径,以及快速切换到上一次工作目录等。此外,还探讨了高级技巧,如使用通配符、结合其他命令、在脚本中使用,以及实际应用案例,帮助读者提高工作效率。
109 3
在 Linux 系统中,网络管理是重要任务。本文介绍了常用的网络命令及其适用场景
在 Linux 系统中,网络管理是重要任务。本文介绍了常用的网络命令及其适用场景,包括 ping(测试连通性)、traceroute(跟踪路由路径)、netstat(显示网络连接信息)、nmap(网络扫描)、ifconfig 和 ip(网络接口配置)。掌握这些命令有助于高效诊断和解决网络问题,保障网络稳定运行。
91 2
|
21天前
|
Linux缓存管理:如何安全地清理系统缓存
在Linux系统中,内存管理至关重要。本文详细介绍了如何安全地清理系统缓存,特别是通过使用`/proc/sys/vm/drop_caches`接口。内容包括清理缓存的原因、步骤、注意事项和最佳实践,帮助你在必要时优化系统性能。
158 78
Kali Linux系统Metasploit框架利用 HTA 文件进行渗透测试实验
本指南介绍如何利用 HTA 文件和 Metasploit 框架进行渗透测试。通过创建反向 shell、生成 HTA 文件、设置 HTTP 服务器和发送文件,最终实现对目标系统的控制。适用于教育目的,需合法授权。
56 9
Kali Linux系统Metasploit框架利用 HTA 文件进行渗透测试实验
如何解决 Linux 系统中内存使用量耗尽的问题?
如何解决 Linux 系统中内存使用量耗尽的问题?
174 48
|
21天前
|
嵌入式Linux系统编程 — 5.3 times、clock函数获取进程时间
在嵌入式Linux系统编程中,`times`和 `clock`函数是获取进程时间的两个重要工具。`times`函数提供了更详细的进程和子进程时间信息,而 `clock`函数则提供了更简单的处理器时间获取方法。根据具体需求选择合适的函数,可以更有效地进行性能分析和资源管理。通过本文的介绍,希望能帮助您更好地理解和使用这两个函数,提高嵌入式系统编程的效率和效果。
89 13
Linux操作系统的内核优化与性能调优####
本文深入探讨了Linux操作系统内核的优化策略与性能调优方法,旨在为系统管理员和高级用户提供一套实用的指南。通过分析内核参数调整、文件系统选择、内存管理及网络配置等关键方面,本文揭示了如何有效提升Linux系统的稳定性和运行效率。不同于常规摘要仅概述内容的做法,本摘要直接指出文章的核心价值——提供具体可行的优化措施,助力读者实现系统性能的飞跃。 ####
linux系统ubuntu中在命令行中打开图形界面的文件夹
在Ubuntu系统中,通过命令行打开图形界面的文件夹是一个高效且实用的操作。无论是使用Nautilus、Dolphin还是Thunar,都可以根据具体桌面环境选择合适的文件管理器。通过上述命令和方法,可以简化日常工作,提高效率。同时,解决权限问题和图形界面问题也能确保操作的顺利进行。掌握这些技巧,可以使Linux操作更加便捷和灵活。
52 3
|
21天前
|
Win10系统上直接使用linux子系统教程(仅需五步!超简单,快速上手)
本文介绍了如何在Windows 10上安装并使用Linux子系统。首先,通过应用商店安装Windows Terminal和Linux系统(如Ubuntu)。接着,在控制面板中启用“适用于Linux的Windows子系统”并重启电脑。最后,在Windows Terminal中选择安装的Linux系统即可开始使用。文中还提供了注意事项和进一步配置的链接。
40 0
如何在 Linux 系统中使用 envsubst 命令替换环境变量?
`envsubst` 是 Linux 系统中用于替换文本中环境变量值的实用工具。本文分三部分介绍其工作原理、使用方法及实际应用,包括配置文件替换、脚本执行中环境变量替换和动态生成文件等场景,帮助用户高效利用 `envsubst` 进行开发和运维工作。
78 4
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等