运行了近一年的zabbix今天无法登录,提示数据库问题,下图
到服务器上查了下,确认root分区满导致
该主机当前就挂载了一块150G的硬盘
排查是哪些大文件占用该系统根空间
发现是zabbix历史采集数据爆掉了
查看各分区信息
此时因为根空间满,会出现如系统命令无法自动补全、分区扩展作业无法进行等问题。
因此在作业前,先释放一定的空间以便可以完成操作,而且也应需要将zabbix等相关服务停止,避免出现异常。
这里实际情况是因为空间不足,所有的关停服务操作均卡死无法进行,只能重启服务器以释放一些缓存空间出来。
在此之前,先将zabbix相关服务的开机自启动关闭
systemctl disable zabbix-server.service zabbix-agent.service httpd.service php-fpm.service
重启服务器后,发现空间释放出来1个G,趁此尽快完成空间扩展
步骤:
减少/dev/cl/home分区空间,用命令设置home分区20G空间
lvreduce -L 20G /dev/cl/home
再将空闲空间扩展到root分区
lvextend -l +100%FREE /dev/cl/root
刷新root分区空间大小
xfs_growfs /dev/mapper/cl-root
再次查看
磁盘空间扩展完成,启动zabbix相关服务,恢复正常。
systemctl start zabbix-server.service zabbix-agent.service httpd.service php-fpm.service
再开启开机自启动
systemctl enable zabbix-server.service zabbix-agent.service httpd.service php-fpm.service
补充:
使用zabbix工具应注意,添加主机的时候,要想好采集时间间隔、需要采集哪些必要的图形,避免设置过短时间导致服务器磁盘使用率暴增,应合理安排。