“Zabbix poller processes more than 75% busy”警报问题解决
虽然Zabbix的监控警报各种有,但Kaijia使用碰到最多的几个莫过于内存耗尽,网络不通,IO太慢还有这个“Zabbix poller processes more than 75% busy”了。一开始的时候因为这个即不影响使用也持续一会儿就自行解决就没有多在意。然后随着数据库的增大,Zabbix消耗的内存可是越来越多,Poller processes(轮询)开始天天Busy了,最终Kaijia不得不把Zabbix挪到了另外一台服务器上。
但这并没有彻底解决问题,警报仍然三天两头来几个。之后Kaijia开启了Zabbix警报的邮件功能,于是开始频繁收到这类邮件,于是Kaijia决定解决这个问题。Google了一下资料,没有找到很权威的答案,造成轮询忙的问题有很多中,支撑Zabbix的MySQL卡住了,Zabbix服务器的IO卡住了都有可能,Zabbix进程分配到内存不足都有可能。一个简单的方法是增加Zabbix Server启动时初始化的进程数量,这样直接增加了轮询的负载量,从比例上来讲忙的情况就少了。
增加初始化进程的方法非常简单,编辑Zabbix Server的配置文件/etc/zabbix/zabbix_server.conf,找到配置StartPollers的段落:
1 2 3 4 5 6 7 |
### Option: StartPollers # Number of pre-forked instances of pollers. # # Mandatory: no # Range: 0-1000 # Default: # StartPollers=5 |
取消StartPollers=一行的注释或者直接在后面增加:
1 |
StartPollers=10 |
将StartPollers改成多少取决于服务器的性能和监控的数量,Kaijia将StartPollers设置成12之后就再没有遇到过警报。如果内存足够的话可以设置更高。设置完成之后运行:
1 |
service zabbix-server restart |
重启Zabbix。当然另外一种从整体上降低Zabbix服务器负载的方法就是定期重启Zabbix,这种方法可以用Cron实现,运行:
1 |
crontab -e |
在调出的Cron编辑器中增加一个计划:
1 |
@daily service zabbix-server restart > /dev/null 2>&1 |
这个计划会每天自动重启Zabbix服务以结束僵尸进程并清理内存等。目前Kaijia这样配置Zabbix后还没有再次遇到过“Zabbix poller processes more than 75% busy”的问题。
[…] from: http://www.kaijia.me/2014/01/zabbix-poller-processes-more-than-75-busy-alert-issue-solved/ From WizNote ← Previous Post window.changyan.api.config({ appid: 'cys6l33Sb', […]
参照博主提供的方案做了,具体结果还在观察,感谢博主提供方案!
另外,可以做个友链不?
I/O的问题,博主是怎么解决的?
我这里的IO是指“I/O is overloaded”那个报错。Zabbix的IO问题话大半是和数据库有关,做数据库的优化。
对,就是这个,已经优化过数据库了,结果还是报。博主有没有推荐的优化方案?
最简单粗暴的就是给数据库加缓存,给服务器加资源。其次便是给数据库按月分区,定期清理数据。如果在用MySQL监控大量服务器的话可以考虑切换到Pg,Pg在高IO的环境下表现会好一些。其他可以考虑的比如把Zabbix获取数据的间隔从60秒降到2分钟等等。