运维自动化之使用PHP+MYSQL+SHELL打造私有监控系统(七)

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介:
X、 create_province.sh脚本内容
 
 
  1. #!binbash  
  2. LANG="zh_CN.UTF-8" 
  3. LANG=C 
  4. #mysql info  
  5. mysql_ip='1.1.1.1' 
  6. ##数据库的ip  
  7. mysql_username='root' 
  8. ##数据库的用户名  
  9. mysql_passwd='****' 
  10. ##数据库的密码  
  11. mysql_database='monitor' 
  12. ##登录的数据库  
  13. new_here='shanxi' 
  14. ##需要添加的省份中文拼音  
  15. new_name='陕西' 
  16. ##需要添加省份的中文名称  
  17. old_here='gansu' 
  18. ##已经添加过省份中文拼音  
  19. old_name='甘肃' 
  20. ##已经添加过的省份中文名字  
  21. memory_table=''$new_here'_memory'  
  22. load_table=''$new_here'_load'  
  23. io_table=''$new_here'_io'  
  24. hardware_table=''$new_here'_hardware'  
  25. message_table=''$new_here'_message'  
  26. user_table=''$new_here'_user'  
  27. disk_table=''$new_here'_disk'  
  28. cpu_table=''$new_here'_cpu'  
  29. service_table=''$new_here'_service'  
  30. monitor_dir='/tmp/monitor' 
  31. ##当前php监控存放的位置  
  32. test_dir='/tmp/old' 
  33. ##如果想添加新省份,临时存放的位置  
  34. #create table module  
  35. create_table ()   
  36. {  
  37. #create table memory  
  38.  mysql -h $mysql_ip -u$mysql_username -p$mysql_passwd $mysql_database -e "create table $memory_table(id int(10) not null primary key auto_increment,province varchar(30) not null,server varchar(30) not null,ip varchar(20) not null,monitor_server varchar(30) not null,service varchar(20) not null,alert int(10) not null,value int(10) not null,status varchar(10) not null,date datetime)ENGINE=InnoDB DEFAULT CHARSET=utf8;"  
  39. #create table load  
  40. mysql -h $mysql_ip -u$mysql_username -p$mysql_passwd $mysql_database -e "create table $load_table(id int(10) not null primary key auto_increment,province varchar(30) not null,server varchar(30) not null,ip varchar(20) not null,monitor_server varchar(30) not null,service varchar(20) not null,alert int(10) not null,value int(10) not null,status varchar(10) not null,date datetime)ENGINE=InnoDB DEFAULT CHARSET=utf8;"  
  41. #create table io  
  42. mysql -h $mysql_ip -u$mysql_username -p$mysql_passwd $mysql_database -e "create table $io_table(id int(10) not null primary key auto_increment,province varchar(30) not null,server varchar(30) not null,ip varchar(20) not null,monitor_server varchar(30) not null,service varchar(20) not null,alert int(10) not null,value int(10) not null,status varchar(10) not null,date datetime)ENGINE=InnoDB DEFAULT CHARSET=utf8;"  
  43. #create table hardware  
  44. mysql -h $mysql_ip -u$mysql_username -p$mysql_passwd $mysql_database -e "create table $hardware_table(id int(10) not null primary key auto_increment,province varchar(30) not null,server varchar(30) not null,ip varchar(20) not null,monitor_server varchar(30) not null,service varchar(20) not null,alert int(10) not null,value int(10) not null,status varchar(10) not null,date datetime)ENGINE=InnoDB DEFAULT CHARSET=utf8;"  
  45. #create table message  
  46. mysql -h $mysql_ip -u$mysql_username -p$mysql_passwd $mysql_database -e "create table $message_table(id int(10) not null primary key auto_increment,province varchar(30) not null,server varchar(30) not null,ip varchar(20) not null,monitor_server varchar(30) not null,service varchar(20) not null,alert int(10) not null,value int(10) not null,status varchar(10) not null,date datetime)ENGINE=InnoDB DEFAULT CHARSET=utf8;"  
  47. #create table user  
  48. mysql -h $mysql_ip -u$mysql_username -p$mysql_passwd $mysql_database -e "create table $user_table(id int(10) not null primary key auto_increment,province varchar(30) not null,server varchar(30) not null,ip varchar(20) not null,monitor_server varchar(30) not null,service varchar(20) not null,alert int(10) not null,value int(10) not null,status varchar(10) not null,date datetime)ENGINE=InnoDB DEFAULT CHARSET=utf8;"  
  49. #create table disk  
  50. mysql -h $mysql_ip -u$mysql_username -p$mysql_passwd $mysql_database -e "create table $disk_table(id int(10) not null primary key auto_increment,province varchar(30) not null,server varchar(30) not null,ip varchar(20) not null,monitor_server varchar(30) not null,service varchar(20) not null,alert int(10) not null,partition varchar(30) not null,value int(10) not null,status varchar(10) not null,date datetime)ENGINE=InnoDB DEFAULT CHARSET=utf8;"  
  51. #create table cpu  
  52. mysql -h $mysql_ip -u$mysql_username -p$mysql_passwd $mysql_database -e "create table $cpu_table(id int(10) not null primary key auto_increment,province varchar(30) not null,server varchar(30) not null,ip varchar(20) not null,monitor_server varchar(30) not null,service varchar(20) not null,alert int(10) not null,value int(10) not null,status varchar(10) not null,date datetime)ENGINE=InnoDB DEFAULT CHARSET=utf8;"  
  53. #create table service  
  54. mysql -h $mysql_ip -u$mysql_username -p$mysql_passwd $mysql_database -e "create table $service_table(id int(10) not null primary key auto_increment,province varchar(30) not null,server varchar(30) not null,ip varchar(20) not null,monitor_server varchar(30) not null,service varchar(20) not null,status varchar(10) not null,date datetime)ENGINE=InnoDB DEFAULT CHARSET=utf8;"  
  55. }  
  56. #create test directory  
  57. if [ ! -d "$test_dir" ];then   
  58.         /bin/mkdir $test_dir  
  59. fi   
  60. #mondiy monitor software module  
  61. mondiy_software ()  
  62. {  
  63. #copy monitor province software  
  64. /usr/bin/rsync -avz $monitor_dir/*$old_here* $test_dir/ >>/dev/null 2>&1  
  65. cd $test_dir  
  66. #rename old_name to here_name  
  67. /usr/bin/rename $old_here $new_here *  
  68. #mondiy old_here and old_name  
  69. sed -i 's/'$old_here'/'$new_here'/g' *$new_here*  
  70. sed -i 's/'$old_name'/'$new_name'/g' *$new_here*  
  71. #mondiy province.php   
  72. sed -i 's/<\/b>/ | <a href="'$new_here'.php">'$new_name'<\/a><\/b>/' $monitor_dir/province.php  
  73. #mondiy warn_province.php   
  74. sed -i 's/<\/b>/ | <a href="'$new_here'_warn.php">'$new_name'<\/a><\/b>/' $monitor_dir/warn_province.php   
  75. #mondiy view_day_province.php   
  76. sed -i 's/<\/b>/ | <a href="'$new_here'_day_view.php">'$new_name'<\/a><\/b>/' $monitor_dir/view_day_province.php   
  77. #mondiy view_month_province.php  
  78. sed -i 's/<\/b>/ | <a href="'$new_here'_month_view.php">'$new_name'<\/a><\/b>/' $monitor_dir/view_month_province.php  
  79. #mondiy view_year_province.php  
  80. sed -i 's/<\/b>/ | <a href="'$new_here'_year_view.php">'$new_name'<\/a><\/b>/' $monitor_dir/view_year_province.php  
  81. #copy test_dir to monitor_dir  
  82. /usr/bin/rsync -avz $test_dir/*$new_here* $monitor_dir/ >>/dev/null 2>&1  
  83. #delete test_dir file  
  84. /bin/rm -rf $test_dir/*$new_here*  
  85. }  
  86. #check table is or not exist  
  87. /usr/bin/mysql -h $mysql_ip -u$mysql_username -p$mysql_passwd $mysql_database -e "desc $io_table">>/dev/null 2>&1  
  88. if [ $? -eq 0 ];then  
  89. echo "$io_table is exist!"  
  90. else  
  91. echo "$io_table is not exist!"  
  92. echo "Do you want to create $new_here table?If you want to create $new_here table,please input:(yes|no)"  
  93. read -t 30 -p "Please input you choose:" choose  
  94. case $choose in  
  95.         yes|y)  
  96.                 echo "Now start creaet $new_here table......"  
  97.                 create_table  
  98.         echo "$new_here table crease finish!"  
  99.         echo "Now start to mondiy monitor software......"  
  100.         mondiy_software  
  101.         echo "$new_name has been added monitor software!"  
  102.                 ;;  
  103.         no|n)  
  104.                 echo "Your choose is no,so we will to exit!"  
  105.                 exit  
  106.                 ;;  
  107.         *)  
  108.                 echo "please input:(yes|no)"  
  109.                 ;;  
  110. esac  
  111. fi  
Y、数据视图化 shell脚本
每个省份都是单独的一个 shell脚本,脚本里包含各种省份以年、月、日为时间,以web、交换、引擎、备用、数据库为服务器类型,以disk、io、load、memory、user为视图化的服务。
下面是甘肃省份的数据视图化脚本,名字为 gansu.sh,运行在php程序的images文件里,使用nohup sh gansu.sh &运行
由于脚本内容非常的多,在word里超过200页,所以就不展示了,脚本我会放到最后一页的附件里。
7 、如何部署
1)、shell监控脚本部署
shell监控脚本存放到/usr/local/monitor/shell目录,给予755权限,然后再crontab里输入*/3 * * * * /usr/local/monitor/shell/脚本内容,使每3分钟轮询运行脚本。
2)mysql数据库部署
可以使用 create_database.sh脚本进行部署,也可以使用create_province.sh脚本部署。
3)php程序部署
先把 php程序部署到服务器里,然后添加省份的时候,使用create_province.sh来进行添加,方法为:
1、使用 sh create_province.sh运行脚本
2、如果添加脚本在数据库里数据库表存在,就会出现以下情况

如果不存在

你可以输入 yes或no来选择是否创建数据库表与进行添加相应省份的php文件(注意只有10秒钟的等待时间,为了节省服务器资源,我使用了read -n参数)
输入完 yes后,结果如下

可以看到数据库表创建完成, php监控的省份添加完成
之后你在 web里就能直接观看添加省份的监控
添加省份的数据视图化的 shell文件,可以使用create_gnuplot.sh来进行添加,内容如下
 
 
  1. #!/bin/bash  
  2. old_dir='/tmp/old_dir' 
  3. ##当前已经存在的数据实体化脚本目录  
  4. new_dir='/tmp/new_dir' 
  5. ##临时存放省份的数据实体化脚本目录  
  6. if [ ! -d "$new_dir" ];then  
  7.         mkdir $new_dir  
  8. fi  
  9. for i in gansu tianjin guangxi guizhou hainan hebei hunan qinghai xinjiang henan xizang baotou hubei jiangxi ningxia shanxi  
  10. ##在这里输入你想添加省份的中午拼音  
  11. do  
  12. ls $i.sh>>/dev/null 2>&1  
  13. if  [ $? -eq 0 ];then  
  14.         echo "$i.sh is exist!"  
  15. else  
  16.         echo "$i.sh is not exist!"  
  17.         echo "Start to create $i.sh..."  
  18. /usr/bin/rsync -avz $old_dir/gansu.sh $new_dir/$i.sh>>/dev/null 2>&1  
  19. sed -i 's/gansu/'$i'/g' $new_dir/$i.sh  
  20. /usr/bin/rsync -avz $new_dir/$i.sh $old_dir/$i.sh>>/dev/null 2>&1  
  21. fi  
  22. done  
8 、维护与升级
1 、维护
        由于采用了时间方法的日志分钟,每3分钟检测一次 ,所以日常维护非常的方便,只要各位在目录的logs里,查看到有当天日志文件产生,在查看当天日志文件是否为每3分钟检测一次,如果满足上述条件,则此脚本正常运行。
2 、升级
        在升级的时候,为了避免部署新的程序时监控系统检测不到相应的应用服务,而且还收到了服务宕掉的邮件提示,各位在部署新程序时,应在相应用户里(部署监控系统crontab -e所在的用户)里,在监控系统自动启动检测的那一行里,在前面加上#,例如,在交换服务器里部署新的程序,需要在root用户下,输入crontab -e,然后在 */3 * * * * /usr/local/monitor/shell/ 监控脚本内容的最前面,加上#,最后的结果为#*/3 * * * * /usr/local/monitor/shell/监控脚本。
9 、完整监控系统页面展示
1)shell部分
各省都有各自的 shell监控脚本,我以甘肃web为例

2)mysql数据库部分
我截图所有 mysql数据表

3)php程序部分
由于在首页里已经有了php界面展示,所以现在就不展示了。
现在这个php+mysql+shell已经成功的对生产平台监控了3个月,符合我之前的监控要求,能节省我更多的时间去做更多有用的事,现在查看平台也不需要在进入后台一个一个的查看了,可以查看各省的监控详情与监控视图,更方便的了解平台应用服务与资源的运行情况,希望我这个监控系统能对大家有更好的启发,如果您有疑问或者好的观点,希望您能留言给我,谢谢!


 本文转自 reinxu 51CTO博客,原文链接:http://blog.51cto.com/dl528888/1035335,如需转载请自行联系原作者



相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
打赏
0
0
0
0
348
分享
相关文章
智能运维,由你定义:SAE自定义日志与监控解决方案
通过引入 Sidecar 容器的技术,SAE 为用户提供了更强大的自定义日志与监控解决方案,帮助用户轻松实现日志采集、监控指标收集等功能。未来,SAE 将会支持 istio 多租场景,帮助用户更高效地部署和管理服务网格。
271 51
数据采集监控与告警:错误重试、日志分析与自动化运维
本文探讨了数据采集技术从“简单采集”到自动化运维的演进。传统方式因反爬策略和网络波动常导致数据丢失,而引入错误重试、日志分析与自动化告警机制可显著提升系统稳定性与时效性。正方强调健全监控体系的重要性,反方则担忧复杂化带来的成本与安全风险。未来,结合AI与大数据技术,数据采集将向智能化、全自动方向发展,实现动态调整与智能识别反爬策略,降低人工干预需求。附带的Python示例展示了如何通过代理IP、重试策略及日志记录实现高效的数据采集程序。
数据采集监控与告警:错误重试、日志分析与自动化运维
智能运维实战:Prometheus与Grafana的监控与告警体系
【10月更文挑战第26天】Prometheus与Grafana是智能运维中的强大组合,前者是开源的系统监控和警报工具,后者是数据可视化平台。Prometheus具备时间序列数据库、多维数据模型、PromQL查询语言等特性,而Grafana支持多数据源、丰富的可视化选项和告警功能。两者结合可实现实时监控、灵活告警和高度定制化的仪表板,广泛应用于服务器、应用和数据库的监控。
629 3
智能运维,由你定义:SAE自定义日志与监控解决方案
SAE(Serverless应用引擎)是阿里云推出的全托管PaaS平台,致力于简化微服务应用开发与管理。为满足用户对可观测性和运维能力的更高需求,SAE引入Sidecar容器技术,实现日志采集、监控指标收集等功能扩展,且无需修改主应用代码。通过共享资源模式和独立资源模式,SAE平衡了资源灵活性与隔离性。同时,提供全链路运维能力,确保应用稳定性。未来,SAE将持续优化,支持更多场景,助力用户高效用云。
140 2
HTTPS 证书自动化运维:https证书管理系统- 自动化监控
本文介绍如何设置和查看域名或证书监控。步骤1:根据证书状态选择新增域名或证书监控,线上部署推荐域名监控,未部署选择证书监控。步骤2:查询监控记录详情。步骤3:在详情页查看每日定时检测结果或手动测试。
HTTPS 证书自动化运维:https证书管理系统- 自动化监控
Prometheus+Grafana+NodeExporter:构建出色的Linux监控解决方案,让你的运维更轻松
本文介绍如何使用 Prometheus + Grafana + Node Exporter 搭建 Linux 主机监控系统。Prometheus 负责收集和存储指标数据,Grafana 用于可视化展示,Node Exporter 则采集主机的性能数据。通过 Docker 容器化部署,简化安装配置过程。完成安装后,配置 Prometheus 抓取节点数据,并在 Grafana 中添加数据源及导入仪表盘模板,实现对 Linux 主机的全面监控。整个过程简单易行,帮助运维人员轻松掌握系统状态。
593 3
公司电脑监控软件的 Gradle 构建自动化优势
在数字化办公环境中,公司电脑监控软件面临代码更新频繁、依赖管理和构建复杂等挑战。Gradle 构建自动化工具以其强大的依赖管理、灵活的构建脚本定制及高效的构建缓存与增量构建特性,显著提升了软件开发效率和质量,支持软件的持续更新与优化,满足企业对员工电脑使用情况的监控与管理需求。
74 3
自动化测试项目实战笔记(一):JDK、Tomcat、MySQL、Jpress环境安装和搭建
这篇文章是关于自动化测试项目实战笔记,涵盖了JDK、Tomcat、MySQL、Jpress环境的安装和搭建过程,以及测试用例和常见问题总结。
162 1
自动化测试项目实战笔记(一):JDK、Tomcat、MySQL、Jpress环境安装和搭建
如何根据监控结果调整 MySQL 数据库的参数以提高性能?
【10月更文挑战第28天】根据MySQL数据库的监控结果来调整参数以提高性能,需要综合考虑多个方面的因素
206 1
如何监控和诊断 MySQL 数据库的性能问题?
【10月更文挑战第28天】监控和诊断MySQL数据库的性能问题是确保数据库高效稳定运行的关键
803 1
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等