精华内容
下载资源
问答
  • zabbix--housekeeper

    千次阅读 2016-03-26 18:18:15
    housekeeper

    housekeeper

    展开全文
  • Zabbix Housekeeper changes: 使用分区表需要关闭zabbix的history/trends的housekeeperZabbix 2.0.x: 关闭housekeeper需要变更zabbix_server.conf配置文件:DisableHousekeeping=1.关闭了housekeeper,old ...
    <pre name="code" class="html">Zabbix Housekeeper changes:
    使用分区表需要关闭zabbix的history/trends的housekeeper。
    Zabbix 2.0.x:
    关闭housekeeper需要变更zabbix_server.conf配置文件:DisableHousekeeping=1.关闭了housekeeper,old events, audit entries, and user sessions也无法删除了。
    Zabbix 2.2.x:
    ZABBIX 2.2引入了更精确的housekeeper。所有的housekeeper配置在zabbix的web端更改,"Administration" -> "General" ,选择"Housekeeping" ,确保history和trends栏的"Enable internal housekeeping"的对勾去掉。
    1. 保留历史数据
    
    我们可以通过如下方式来设置保留数据的时长:
    监控项(item)配置里
    匹配更新监控项(item)
    设置Housekeeper tasks
    Housekeeper会定期删除过期的数据。如果数据不是特别有意义,建议你把保留时间设置短一些。可能你会说,那我想看我以前的数据图怎么办?好说,老数据一般不用精确到分秒,只要小时的平均数据即可,这样的话,趋势数据保留久一点即可。例如保存历史记录14天,趋势数据5年(5年,你孩子都从小学一年级到五年级了)
    备注:如果history设置为0(设置为0的人是不想看历史数据或者硬盘没空间么?),zabbix只会获取item的值,然后用与触发器,然后就没有然后了,不会存到数据库的。
    


    
    
    展开全文
  • Zabbix housekeeper processes more than 75% busy

    千次阅读 2017-03-20 18:20:00
    housekeeperzabbix清理数据库里过期的历史数据的一种机制 相关参数 HousekeepingFrequency=1 zabbix执行Housekeeping的频率,单位为hours MaxHousekeeperDelete=500 每次最多删除历史数据的行 问题...

     

    housekeeper是zabbix清理数据库里过期的历史数据的一种机制

     

    相关参数

    HousekeepingFrequency=1   zabbix执行Housekeeping的频率,单位为hours
    MaxHousekeeperDelete=500  每次最多删除历史数据的行
     
     
    问题分析
    这个是在清理数据时,查询慢导致的。一般这种情况要么就是不用housekeeper,要么就是做表分区,定期清理。让history表保持在一定小量级,这样查询起来速度回很快。
     
     
     
     

    转载于:https://www.cnblogs.com/hanqian/p/6590895.html

    展开全文
  • Zabbix的history相关数据表数据太大,执行表分区操作过程 一、查询zabbix数据库大小 mysql> select table_schema, concat(truncate(sum(data_length)/1024/1024,2),' mb') as data_size,concat(truncate(sum...
    注:也可以修改配置文件改善,但是效果不大,彻底解决办法就是做数据表分区
    
    Zabbix的history相关数据表数据太大,执行表分区操作过程

    一、查询zabbix数据库大小

    mysql> select table_schema, concat(truncate(sum(data_length)/1024/1024,2),' mb') as data_size,concat(truncate(sum(index_length)/1024/1024,2),'mb') as index_size from information_schema.tables group by table_schema order by data_size desc;
    +--------------------+------------+------------+
    | table_schema       | data_size  | index_size |
    +--------------------+------------+------------+
    | zabbix             | 8326.06 mb | 3031.85mb  |
    | jumpserver         | 26.57 mb   | 8.21mb     |
    | mysql              | 2.49 mb    | 0.21mb     |
    | information_schema | 0.15 mb    | 0.00mb     |
    | sys                | 0.01 mb    | 0.00mb     |
    | performance_schema | 0.00 mb    | 0.00mb     |
    +--------------------+------------+------------+
    6 rows in set (0.40 sec)
    
    **发现Zabbix数据占用了8G空间**
    

    二、查询Zabbix数据库里所有表大小

    mysql> select table_name, (data_length+index_length)/1024/1024 as total_mb,table_rows from information_schema.tables where table_schema='zabbix' order by total_mb desc;
    +----------------------------+---------------+------------+
    | table_name                 | total_mb      | table_rows |
    +----------------------------+---------------+------------+
    | history_uint               | 5487.29687500 |   56075683 |
    | history                    | 4843.39062500 |   51787332 |
    | trends_uint                |  526.92187500 |    7440029 |
    | history_str                |  251.39062500 |    2393973 |
    | trends                     |  215.87500000 |    2978883 |
    | items                      |    6.21875000 |      10033 |
    | events                     |    4.93750000 |       7922 |
    | alerts                     |    4.67187500 |       5030 |
    | items_applications         |    2.35937500 |      11510 |
    | triggers                   |    1.89062500 |       4359 |
    | auditlog                   |    1.85937500 |       6803 |
    | images                     |    1.53125000 |        138 |
    | functions                  |    0.67187500 |       4746 |
    | item_discovery             |    0.57812500 |       3921 |
    | graphs_items               |    0.51562500 |       3773 |
    | graphs                     |    0.50000000 |       1561 |
    | auditlog_details           |    0.42187500 |       2620 |
    | event_recovery             |    0.32812500 |       2936 |
    | applications               |    0.29687500 |       2345 |
    | item_preproc               |    0.29687500 |       3668 |
    | application_template       |    0.28125000 |       1989 |
    | sessions                   |    0.23437500 |       1064 |
    | hosts                      |    0.17187500 |        167 |
    | profiles                   |    0.15625000 |        564 |
    | sysmaps_elements           |    0.15625000 |         95 |
    | mappings                   |    0.12500000 |        820 |
    | widget_field               |    0.10937500 |        170 |
    | graph_discovery            |    0.10937500 |        887 |
    | problem                    |    0.09375000 |        104 |
    | item_condition             |    0.07812500 |        446 |
    | sysmaps                    |    0.07812500 |         13 |
    | trigger_depends            |    0.07812500 |        401 |
    | httptest                   |    0.07812500 |         41 |
    | event_suppress             |    0.06250000 |          0 |
    | escalations                |    0.06250000 |          8 |
    | sysmaps_links              |    0.06250000 |          0 |
    | scripts                    |    0.06250000 |          3 |
    | trigger_discovery          |    0.06250000 |        648 |
    | hostmacro                  |    0.06250000 |        297 |
    | group_prototype            |    0.06250000 |          7 |
    | acknowledges               |    0.06250000 |        207 |
    | slides                     |    0.04687500 |          0 |
    | rights                     |    0.04687500 |          4 |
    | maintenances_groups        |    0.04687500 |          0 |
    | host_discovery             |    0.04687500 |          2 |
    | httpstepitem               |    0.04687500 |        123 |
    | item_application_prototype |    0.04687500 |         23 |
    | autoreg_host               |    0.04687500 |          0 |
    | task                       |    0.04687500 |          0 |
    | maintenances               |    0.04687500 |          0 |
    | dservices                  |    0.04687500 |         30 |
    | sysmap_element_trigger     |    0.04687500 |          0 |
    | tag_filter                 |    0.04687500 |          0 |
    | drules                     |    0.04687500 |          8 |
    | slideshows                 |    0.04687500 |          0 |
    | users_groups               |    0.04687500 |          5 |
    | services_links             |    0.04687500 |          0 |
    | opcommand_hst              |    0.04687500 |          0 |
    | optemplate                 |    0.04687500 |          0 |
    | interface                  |    0.04687500 |         82 |
    | slideshow_usrgrp           |    0.04687500 |          0 |
    | opcommand_grp              |    0.04687500 |          0 |
    | opmessage_usr              |    0.04687500 |         22 |
    | sysmaps_link_triggers      |    0.04687500 |          0 |
    | service_alarms             |    0.04687500 |          0 |
    | opmessage_grp              |    0.04687500 |          4 |
    | hosts_templates            |    0.04687500 |        263 |
    | icon_mapping               |    0.04687500 |          0 |
    | application_prototype      |    0.04687500 |         23 |
    | dashboard_usrgrp           |    0.04687500 |          0 |
    | media                      |    0.04687500 |          9 |
    | hosts_groups               |    0.04687500 |        211 |
    | icon_map                   |    0.04687500 |          0 |
    | application_discovery      |    0.04687500 |          8 |
    | sysmap_usrgrp              |    0.04687500 |          0 |
    | dashboard_user             |    0.04687500 |          0 |
    | opgroup                    |    0.04687500 |          0 |
    | httptestitem               |    0.04687500 |        123 |
    | sysmap_user                |    0.04687500 |          0 |
    | screens                    |    0.04687500 |         12 |
    | actions                    |    0.04687500 |         16 |
    | screen_usrgrp              |    0.04687500 |          0 |
    | maintenances_windows       |    0.04687500 |          0 |
    | correlation                |    0.04687500 |          0 |
    | slideshow_user             |    0.04687500 |          0 |
    | config                     |    0.04687500 |          0 |
    | screen_user                |    0.04687500 |          0 |
    | maintenances_hosts         |    0.04687500 |          0 |
    | group_discovery            |    0.03125000 |          0 |
    | conditions                 |    0.03125000 |         30 |
    | sysmap_element_url         |    0.03125000 |          0 |
    | problem_tag                |    0.03125000 |          0 |
    | regexps                    |    0.03125000 |          5 |
    | httpstep_field             |    0.03125000 |         26 |
    | interface_discovery        |    0.03125000 |          0 |
    | services_times             |    0.03125000 |          0 |
    | maintenance_tag            |    0.03125000 |          0 |
    | history_text               |    0.03125000 |         22 |
    | graph_theme                |    0.03125000 |          4 |
    | httpstep                   |    0.03125000 |         41 |
    | dhosts                     |    0.03125000 |         31 |
    | widget                     |    0.03125000 |         23 |
    | users                      |    0.03125000 |          3 |
    | services                   |    0.03125000 |          0 |
    | hstgrp                     |    0.03125000 |         27 |
    | history_log                |    0.03125000 |          0 |
    | dchecks                    |    0.03125000 |          8 |
    | valuemaps                  |    0.03125000 |         75 |
    | opcommand                  |    0.03125000 |          0 |
    | usrgrp                     |    0.03125000 |          8 |
    | media_type                 |    0.03125000 |         11 |
    | opmessage                  |    0.03125000 |         30 |
    | globalmacro                |    0.03125000 |          0 |
    | trigger_tag                |    0.03125000 |          0 |
    | screens_items              |    0.03125000 |         51 |
    | proxy_history              |    0.03125000 |          0 |
    | corr_condition_group       |    0.03125000 |          0 |
    | expressions                |    0.03125000 |         10 |
    | dashboard                  |    0.03125000 |          3 |
    | proxy_dhistory             |    0.03125000 |          0 |
    | corr_condition             |    0.03125000 |          0 |
    | operations                 |    0.03125000 |         32 |
    | httptest_field             |    0.03125000 |          0 |
    | sysmap_url                 |    0.03125000 |          0 |
    | proxy_autoreg_host         |    0.03125000 |          0 |
    | sysmap_shape               |    0.03125000 |          0 |
    | opconditions               |    0.03125000 |          0 |
    | event_tag                  |    0.03125000 |          0 |
    | corr_operation             |    0.03125000 |          0 |
    | timeperiods                |    0.01562500 |          0 |
    | corr_condition_tagvalue    |    0.01562500 |          0 |
    | task_remote_command_result |    0.01562500 |          0 |
    | corr_condition_tagpair     |    0.01562500 |          0 |
    | task_remote_command        |    0.01562500 |          0 |
    | corr_condition_tag         |    0.01562500 |          0 |
    | task_close_problem         |    0.01562500 |          0 |
    | task_check_now             |    0.01562500 |          0 |
    | housekeeper                |    0.01562500 |          0 |
    | ids                        |    0.01562500 |         52 |
    | globalvars                 |    0.01562500 |          0 |
    | dbversion                  |    0.01562500 |          0 |
    | task_acknowledge           |    0.01562500 |          0 |
    | opinventory                |    0.01562500 |          0 |
    | host_inventory             |    0.01562500 |         20 |
    +----------------------------+---------------+------------+
    144 rows in set (0.02 sec)
    
    mysql>
    
    **发现history和trends相关表数据量很大,一个是历史数据,一个是趋势数据需要对这些表进行分区操作,提高效率**
    

    三、下载分区脚本

    链接:https://pan.baidu.com/s/1L0E968kKVrBx71OQBAqYRA 
    提取码:dytm
    

    四、编辑脚本相关参数

    脚本默认详情数据保留30天,趋势数据保留12个月,如需修改,请修改以下内容:
    
    daily_history_min=30
    monthly_history_min=12
    
    脚本默认连接数据库信息,更改成你的:
    DBHOST=localhost
    DBUSER=zabbix
    DBPASS=zabbix
    
    [root@zabbix_server zabbix-4.0.3]# chmod +x partitiontables_gt_zbx34.sh
    

    五、执行分区脚本
    停止zabbix_server服务

    [root@zabbix_server zabbix-4.0.3]# service zabbix_server stop
     Shutting down zabbix_server: [确定]
    [root@zabbix_server zabbix-4.0.3]# service zabbix_server status
     zabbix_server 已停
    

    执行脚本

    [root@zabbix_server zabbix-4.0.3]# ./partitiontables_gt_zbx34.sh 
    Ready to partition tables.
    
    Ready to update permissions of Zabbix user to create routines
    
    Enter root DB user: 
    输入数据库用户名和密码
    Enter root DB user: root
    Enter root password: xxxxxxxx
    mysql: [Warning] Using a password on the command line interface can be insecure.
    ERROR 1133 (42000) at line 1: Can't find any matching row in the user table
    
    
    
    Do you want to backup the database (recommended) (Y/n): n
    Are you certain you have a backup (y/N): 
    y
    
    
    Ready to proceed:
    
    Starting yearly partioning at: 2019
    and ending at: 2019
    With 30 days of daily history
    Ready to proceed (Y/n): 
    y
    Altering table: history
    Altering table: history_log
    Altering table: history_str
    Altering table: history_text
    Altering table: history_uint
    Altering table: trends
    Altering table: trends_uint
    Creating monthly partitions for table: trends
    Creating monthly partitions for table: trends_uint
    Creating daily partitions for table: history
    Creating daily partitions for table: history_log
    Creating daily partitions for table: history_str
    Creating daily partitions for table: history_text
    Creating daily partitions for table: history_uint
    
    
    Ready to apply script to database, this may take a while.(Y/n):
    Ready to apply script to database, this may take a while.(Y/n): 
    y
    mysql: [Warning] Using a password on the command line interface can be insecure.
    Altering tables
    history
    history_log
    history_str
    history_text
    history_uint
    trends
    trends_uint
    trends
    trends_uint
    history
    history_log
    history_str
    history_text
    history_uint
    Installing procedures
    
    If Zabbix Version = 2.0 
    Do you want to update the /etc/zabbix/zabbix_server.conf
    to disable housekeeping (Y/n):
    这里会耗费很长时间,大概是1个小时左右
    If Zabbix Version = 2.0 
    Do you want to update the /etc/zabbix/zabbix_server.conf
    to disable housekeeping (Y/n): n
    
    Do you want to update the crontab (Y/n): y
    The crontab entry can be either in /etc/cron.daily, or added
    to the crontab for root
    
    Do you want to add this to the /etc/cron.daily directory (Y/n): y
    
    Enter email of who should get the daily housekeeping reports: chengpeng@9500.cn
    [root@zabbix_server zabbix-4.0.3]#
    到此,脚本执行完毕
    

    六、查看生成的定时任务
    上面的脚本会在/etc/cron.daily目录下生成一个名称为zabbixhousekeeping的脚本

    [root@zabbix_server zabbix-4.0.3]# vim /etc/cron.daily/zabbixhousekeeping
     1 #!/bin/bash
     2 /usr/local/zabbix/cron.d/housekeeping.sh
    

    里面是执行了usr/local/zabbix/cron.d/housekeeping.sh脚本,打开这个脚本

    [root@zabbix_server zabbix-4.0.3]# vim /usr/local/zabbix/cron.d/housekeeping.sh
    #!/bin/bash
    
    MAILTO=chengpeng@9500.cn
    tmpfile=/tmp/housekeeping$$
    
    date >$tmpfile
    /usr/bin/mysql --skip-column-names -B -h localhost -uroot -pxxxxxx zabbix -e "CALL create_zabbix_partitions();" >>$tmpfile 2>&1
    /usr/bin/mail -s "Zabbix MySql Partition Housekeeping" $MAILTO <$tmpfile
    rm -f $tmpfile
    

    这个脚本是调用了Mysql的创建分区表存储过程
    七、查看分区结果
    在刷一遍第一步的命令,就可以看到空间缩小了

    表分区成功,重启zabbix服务

    [root@zabbix_server zabbix-4.0.3]# service  zabbix_server start
    Starting zabbix_server:  [确定]
    [root@zabbix_server zabbix-4.0.3]# 
    
    展开全文
  • housekeeperzabbix清理数据库里过期的历史数据的一种机制 相关参数 HousekeepingFrequency=1 zabbix执行Housekeeping的频率,单位为hours MaxHousekeeperDelete=500 每次最多删除历史数据的行 问题...
  • Zabbix的history相关数据表数据太大,执行表分区操作过程 一、查询zabbix数据库大小 mysql> select table_schema, concat(truncate(sum(data_length)/1024/1024,2),’ mb’) as data_size,concat(truncate(sum...
  • 目录 监控模板 监控脚本 监控配置 实现效果 ...每30s进行一次housekeeper清理数据 ...UserParameter=housekeeper[*], sh /etc/zabbix/scripts/housekeeper.sh $1 实现效果 每30s进行一次housekeeper清理数据 ...
  • zabbix分区

    2018-10-25 19:38:00
    zabbix的监控主机数量将近300,且运行了一年时间了,...可以选择关闭housekeeper禁止自动定期清除历史记录数据,因为对于大数据的删除会直接影响zabbix的性能、或者调整相应参数 HousekeepingFrequency取值范围:...
  • zabbix经常出现Zabbix housekeeper processes more than 75% busy报警,报警时WEB访问就变得很慢,尤其是加载历史数据的图形。使用网上的调优设置,修改过housekeeper的进程和间隔时间,效果都不太理想。因此就按照...
  • 随着主机越来越多,数据库中的历史数据越来越多了,出现了zabbix自带的housekeeper清理历史数据的时候,造成查数据慢并且触发了很多报警信息例如Zabbix housekeeper processes more than 75% busy,housekeeper默认...
  • zabbix 优化 一

    2018-03-14 19:02:27
    出现的时候主机明显感觉到慢, 实际在监控上也能看到300+的IOPS, 30+%的 cpu IOwait.Zabbix housekeeper processes more than 75% busy该进程作用是zabbix自身清理数据库的历史记录历史数据. 因为在zabbix的item里面...
  • 一、背景1、最打动我升级的...如果对安全性要求高的用户就不再需要第三方工具或者***来实现加密了增加趋势预估功能 可以在特定时间执行一些监控项目可以定义报警类别之间的依赖关系强制执行housekeeper性能得到改进...
  • 而数据存储的大小与每秒处理的数量量有关,因此数据存储取决于以下两个因数:(1)Required server performance, new values per second(每秒处理的数据量)(2)Housekeeper的设置(zabbix_server.conf文件中):删除数据....
  • zabbix删除历史数据 mysql 表自动分区、删除----2016年终总结 二zabbix清理历史数据是个比较蛋疼的问题,尤其在监控数据较多时,一方面无法彻底释放历史数据空间,一方面数据库删除速度是个瓶颈,housekeeper进程长...
  • zabbix数据存储

    2014-11-09 21:18:00
    zabbix-server将采集到的数据存储在数据库中,最常用的Mysql,数据存储的大小和每秒处理的数据量有关,数据存储取决于每秒处理的数据量和Housekeeper的删除数据。 zabbix-server讲采集到的数据主要存储在History和...
  • zabbix删除历史数据 mysql 表自动分区、删除----2016年终总结 二zabbix清理历史数据是个比较蛋疼的问题,尤其在监控数据较多时,一方面无法彻底释放历史数据空间,一方面数据库删除速度是个瓶颈,housekeeper进程长...
  • <div><p>Zabbix housekeeper can bog down a system significantly when history/trend tables are large, thereby impacting other services that run on the system. Partitioning the tables ...
  • Zabbix数据库表分区

    2018-01-09 06:14:00
    zabbix的监控主机数量将近300,且运行了一年时间了,...可以选择关闭housekeeper禁止自动定期清除历史记录数据,因为对于大数据的删除会直接影响zabbix的性能、或者调整相应参数 HousekeepingFrequency取值范围:...
  • zabbix服务器报警:Zabbix housekeeper processes more than 75% busy 原因分析说明: https://www.cnblogs.com/kerrycode/p/13570463.html 原因是由于历史数据占用过多导致,可通过查看zabbix数据库中各个表的大小 ...
  • zabbix 启用分区表

    2019-12-11 20:46:37
    参照 ... 注意:zabbix 启用分区表后需要关闭Housekeeper 分区的过程其实很简单,按着做就是。 假设你当前在/root目录 mkdir Partitioning cd Partitioning wget wget https://...
  • zabbix5.0 mysql表分区

    2020-11-27 17:14:15
    zabbix经常出现Zabbix housekeeper processes more than 75% busy报警,报警时WEB访问就变得很慢,尤其是加载历史数据的图形。 使用网上的调优设置,修改过housekeeper的进程和间隔时间,效果都不太理想。 因此就...
  • zabbix3.4分区表配置

    2019-09-28 19:30:54
    zabbix 自带的 housekeeper会定时清理(默认一小时清理一次)旧的数据。不过在 housekeeper清理过中,会导致数据库负载极具增加。这里介绍另外一种办法,就是对几个历史数据表做分区表(partition table)可按照时间...
  • 参考:https://www.zabbix.org/wiki/Docs/howto/mysql_partition(官网)当zabbix监控的服务器数量越来越多,就会报“Zabbix housekeeper processes more than 75% busy”这个错误机器数量多的时候,mysql里面的...
  • zabbix busy housekeeper processes.in% zabbix busy history syncer processes,in% 出现这两个问题主要是表数据太大 history_uint,trends_uint,history主要是这三个表, 解决方法: ...
  • Zabbix housekeeper processes more than 75% busy 问题原因 为了防止数据库持续增大,zabbix有个自动删除历史数据的机制,就是housekeeper,而mysql数据库删数据的时候,性能会降低,就会报这个错 解决方案 ...
  • zabbix3.2无法正常启动

    2017-08-03 01:01:10
    26066:20170728:102634.537 server #16 started [housekeeper #1] 26070:20170728:102634.538 server #20 started [history syncer #1] 26071:20170728:102634.538 server #21 started [history syncer #2] ...
  • zabbix数据存储结构

    2018-11-23 10:28:35
    数据库的性能优化也会从这两个点切入,housekeeper机制和trend机制。 housekeeper采用定时删除history数据,trend采用粗粒度的方式,将history的数据计算min,max, average的算法保留history数据,因为对于history...

空空如也

空空如也

1 2 3
收藏数 50
精华内容 20
关键字:

housekeeperzabbix