精华内容
下载资源
问答
  • logrotate是个强大的系统软件,它对日志文件有着一套完整的操作模式,譬如:转储、邮件和压缩等,并且默认logrotate加到cron(/etc/cron.daily/logrotate)作为每日任务执行。自动有了logrotate,我想不用再自己写...
  • 这是在Linux平台中找到的logrotate实用程序的Windows实现。 目标是使用与Linux版本相同的命令行参数和文件。 如果您要给予负面评价,请多花一些时间并解释原因。 我想尽可能地改善程序,但是我需要反馈。 谢谢! 源...
  • ansible-logrotate, Ansible星系角色设置logrotate和其他旋转脚本 logrotate 安装 logrotate,通过指定指令列表来设置额外的logrotate脚本。要求无角色变量logrotate_scripts: rotation脚本的列表和用于旋转的指令。...
  • 概述 对于在kubernetes集群中运行的旧版应用程序,我们需要一个解决方案,将日志写入文件而无需轮换(以传统方式)。 设定范例 我假设Kubernetes中的旧版应用会将日志写入PV响应中。 PVC称为app-logs-pv 。...
  • 课程概述 课程以logrotate为主线,突出实战应用性,全面深入讲解自动化处理应用日志的方方面面(包括日志切割/日志轮询、日志压缩、日志周期性删除等),传授整套自动化处理日志的知识体系,完整覆盖到不同阶段同学...
  • 说明:只需要定义日志文件目录,便可一键执行日志切割脚本,并自动添加到定时任务
  • logrotate 泊坞窗图像 介绍 Docker 容器允许您使用 logrotate 作为 docker 命令。 此容器基于 版本 最新版本是1.0.0,包括 Logrotate 3.8.8 inem0o/logrotate inem0o/logrotate:latest inem0o/logrotate:1.0 inem...
  • logrotate实用程序旨在简化在生成大量日志文件的系统上对日志文件的管理。 Logrotate允许自动循环压缩,删除和邮寄日志文件。 可以将Logrotate设置为每小时,每天,每周,每月或当日志文件达到特定大小时处理日志...
  • pm2 install pm2-logrotate 注意:命令是pm2 install不是npm install 配置 max_size (默认为10M ):当文件大小大于此值时,它将旋转它(工作人员可能在实际超过限制后检查文件)。 您可以在结尾处指定单位: 10G ...
  • pm2-logrotate, 自动旋转由PM2管理的所有应用程序日志 描述PM2模块,可以自动旋转由PM2管理的进程的日志。安装pm2 install pm2-logrotate要安装特定版本使用 @<version> 后缀pm2 install pm2-log
  • ansible.logrotate:安装和配置logrotate
  • 角色扮演:Logrotate 该角色可为目标主机上的安装和设置logrotate提供合规性。 要求 此角色是使用Ansible 2.4开发的,不能保证向后兼容。 使用ansible-galaxy install diodonfrost.logrotate在系统上安装角色。 ...
  • 主要给大家介绍了在Linux中logrotate日志轮询操作的相关资料,文中通过示例代码介绍的非常详细,对大家具有一定的参考学习价值,需要的朋友们下面来一起看看吧。
  • 本篇文章主要介绍了Linux使用logrotate来切割日志文件,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
  • logrotate-3.7.1

    2018-08-22 13:41:51
    官方源码,未改动
  • logrotate winform

    2017-06-21 11:36:33
    logrotate winform版本 服务器日志压缩
  • Logrotate是一个日志文件管理工具,它是Linux默认自带的一个日志切割工具。本篇文章主要介绍了Logrotate实现Catalina.out日志每俩小时切割示例,有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助
  • logrotate

    2021-04-12 14:37:29
    /etc/logrotate.d/ /wls/logs/traefik/*.log { daily rotate 20 missingok notifempty compress dateext dateformat .%Y-%m-%d create 0644 root root size 100M postrotate docker kill --signal=“USR1” $(docker...

    /etc/logrotate.d/

    /wls/logs/traefik/*.log {
    daily
    rotate 20
    missingok
    notifempty
    compress
    dateext
    dateformat .%Y-%m-%d
    create 0644 root root
    size 100M
    postrotate
    docker kill --signal=“USR1” $(docker ps | grep traefik | awk ‘{print $1}’)
    endscript
    }

    monthly: 日志文件将按月轮循。其它可用值为‘daily’,‘weekly’或者‘yearly’。
    rotate 5: 一次将存储5个归档日志。对于第六个归档,时间最久的归档将被删除。
    compress: 在轮循任务完成后,已轮循的归档将使用gzip进行压缩。
    delaycompress: 总是与compress选项一起用,delaycompress选项指示logrotate不要将最近的归档压缩,压缩将在下一次轮循周期进行。这在你或任何软件仍然需要读取最新归档时很有用。
    missingok: 在日志轮循期间,任何错误将被忽略,例如“文件无法找到”之类的错误。
    notifempty: 如果日志文件为空,轮循不会进行。
    create 644 root root: 以指定的权限创建全新的日志文件,同时logrotate也会重命名原始日志文件。
    postrotate/endscript: 在所有其它指令完成后,postrotate和endscript里面指定的命令将被执行。在这种情况下,rsyslogd 进程将立即再次读取其配置并继续运行。
    上面的模板是通用的,而配置参数则根据你的需求进行调整,不是所有的参数都是必要的。

    展开全文
  • 码头工人日志配置 Rsyslog,Logrotate和Docker配置文件,配置为获取Containers日志,使用Rsyslog处理,保留在磁盘中并使用Logrotate管理保留/旋转。
  • Linux系统 logrotate 详解

    2021-02-03 17:35:20
    不知为何,我发现很多运维同学的服务器上都运行着一些诸如每天切分 Nginx日志之类的 CRON 脚本,大家似乎遗忘了 Logrotate,争相发明自己的轮子,这真是让人沮丧啊!就好比明明身边躺着现成的性感美女,大家却忙着...

    对于 Linux 系统安全来说,日志文件是极其重要的工具。不知为何,我发现很多运维同学的服务器上都运行着一些诸如每天切分 Nginx日志之类的 CRON 脚本,大家似乎遗忘了 Logrotate,争相发明自己的轮子,这真是让人沮丧啊!就好比明明身边躺着现成的性感美女,大家却忙着自娱自乐,罪过! Linux系统 logrotate 程序是一个日志文件管理工具。用于分割日志文件,删除旧的日志文件,并创建新的日志文件,起到“转储”作用。可以节省磁盘空间。下面就对 logrotate 日志轮转操作做一梳理记录。

    1、配置文件介绍

    Linux系统默认安装logrotate工具,它默认的配置文件在:

    /etc/logrotate.conf/etc/logrotate.d/

    logrotate.conf 才主要的配置文件,logrotate.d 是一个目录,该目录里的所有文件都会被主动的读入/etc/logrotate.conf中执行。

    另外,如果 /etc/logrotate.d/ 里面的文件中没有设定一些细节,则会以/etc/logrotate.conf这个文件的设定来作为默认值。

    Logrotate是基于CRON来运行的,其脚本是/etc/cron.daily/logrotate,日志轮转是系统自动完成的。实际运行时,Logrotate会调用配置文件/etc/logrotate.conf。可以在/etc/logrotate.d目录里放置自定义好的配置文件,用来覆盖Logrotate的缺省值。

    [root@huanqiu_web1 ~]# cat /etc/cron.daily/logrotate#!/bin/sh/usr/sbin/logrotate /etc/logrotate.conf >/dev/null 2>&1EXITVALUE=$?if [ $EXITVALUE != 0 ]; then    /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"fiexit 0

    如果等不及cron自动执行日志轮转,想手动强制切割日志,需要加-f参数;不过正式执行前最好通过Debug选项来验证一下(-d参数),这对调试也很重要:

    # /usr/sbin/logrotate -f /etc/logrotate.d/nginx# /usr/sbin/logrotate -d -f /etc/logrotate.d/nginx

    logrotate 命令格式:

    logrotate [OPTION...] <configfile>-d, --debug :debug模式,测试配置文件是否有错误。-f, --force :强制转储文件。-m, --mail=command :压缩日志后,发送日志到指定邮箱。-s, --state=statefile :使用指定的状态文件。-v, --verbose :显示转储过程。

    根据日志切割设置进行操作,并显示详细信息:

    [root@huanqiu_web1 ~]# /usr/sbin/logrotate -v /etc/logrotate.conf[root@huanqiu_web1 ~]# /usr/sbin/logrotate -v /etc/logrotate.d/php

    根据日志切割设置进行执行,并显示详细信息,但是不进行具体操作,debug模式

    [root@huanqiu_web1 ~]# /usr/sbin/logrotate -d /etc/logrotate.conf[root@huanqiu_web1 ~]# /usr/sbin/logrotate -d /etc/logrotate.d/nginx

    查看各log文件的具体执行情况

    [root@fangfull_web1 ~]# cat /var/lib/logrotate.status

    2、切割介绍

    比如以系统日志/var/log/message做切割来简单说明下:

    • 第一次执行完rotate(轮转)之后,原本的messages会变成messages.1,而且会制造一个空的messages给系统来储存日志;
    • 第二次执行之后,messages.1会变成messages.2,而messages会变成messages.1,又造成一个空的messages来储存日志!

    如果仅设定保留三个日志(即轮转3次)的话,那么执行第三次时,则 messages.3这个档案就会被删除,并由后面的较新的保存日志所取代!也就是会保存最新的几个日志。

    日志究竟轮换几次,这个是根据配置文件中的dateext 参数来判定的。

    看下logrotate.conf配置:

    # cat /etc/logrotate.conf# 底下的设定是 "logrotate 的默认值" ,如果別的文件设定了其他的值,# 就会以其它文件的设定为主weekly          //默认每一周执行一次rotate轮转工作rotate 4       //保留多少个日志文件(轮转几次).默认保留四个.就是指定日志文件删除之前轮转的次数,0 指没有备份create         //自动创建新的日志文件,新的日志文件具有和原来的文件相同的权限;因为日志被改名,因此要创建一个新的来继续存储之前的日志dateext       //这个参数很重要!就是切割后的日志文件以当前日期为格式结尾,如xxx.log-20131216这样,如果注释掉,切割出来是按数字递增,即前面说的 xxx.log-1这种格式compress      //是否通过gzip压缩转储以后的日志文件,如xxx.log-20131216.gz ;如果不需要压缩,注释掉就行include /etc/logrotate.d# 将 /etc/logrotate.d/ 目录中的所有文件都加载进来/var/log/wtmp {                 //仅针对 /var/log/wtmp 所设定的参数monthly                    //每月一次切割,取代默认的一周minsize 1M              //文件大小超过 1M 后才会切割create 0664 root utmp            //指定新建的日志文件权限以及所属用户和组rotate 1                    //只保留一个日志.}# 这个 wtmp 可记录用户登录系统及系统重启的时间# 因为有 minsize 的参数,因此不见得每个月一定会执行一次喔.要看文件大小。

    由这个文件的设定可以知道/etc/logrotate.d其实就是由/etc/logrotate.conf 所规划出来的目录,虽然可以将所有的配置都写入 /etc/logrotate.conf ,但是这样一来这个文件就实在是太复杂了,尤其是当使用很多的服务在系统上面时, 每个服务都要去修改 /etc/logrotate.conf 的设定也似乎不太合理了。

    所以,如果独立出来一个目录,那么每个要切割日志的服务, 就可以独自成为一个文件,并且放置到 /etc/logrotate.d/ 当中。

    其他重要参数说明:

    compress                                   通过gzip 压缩转储以后的日志nocompress                                不做gzip压缩处理copytruncate                              用于还在打开中的日志文件,把当前日志备份并截断;是先拷贝再清空的方式,拷贝和清空之间有一个时间差,可能会丢失部分日志数据。nocopytruncate                           备份日志文件不过不截断create mode owner group             轮转时指定创建新文件的属性,如create 0777 nobody nobodynocreate                                    不建立新的日志文件delaycompress                           和compress 一起使用时,转储的日志文件到下一次转储时才压缩nodelaycompress                        覆盖 delaycompress 选项,转储同时压缩。missingok                                 如果日志丢失,不报错继续滚动下一个日志errors address                           专储时的错误信息发送到指定的Email 地址ifempty                                    即使日志文件为空文件也做轮转,这个是logrotate的缺省选项。notifempty                               当日志文件为空时,不进行轮转mail address                             把转储的日志文件发送到指定的E-mail 地址nomail                                     转储时不发送日志文件olddir directory                         转储后的日志文件放入指定的目录,必须和当前日志文件在同一个文件系统noolddir                                   转储后的日志文件和当前日志文件放在同一个目录下sharedscripts                           运行postrotate脚本,作用是在所有日志都轮转后统一执行一次脚本。如果没有配置这个,那么每个日志轮转后都会执行一次脚本prerotate                                 在logrotate转储之前需要执行的指令,例如修改文件的属性等动作;必须独立成行postrotate                               在logrotate转储之后需要执行的指令,例如重新启动 (kill -HUP) 某个服务!必须独立成行daily                                       指定转储周期为每天weekly                                    指定转储周期为每周monthly                                  指定转储周期为每月rotate count                            指定日志文件删除之前转储的次数,0 指没有备份,5 指保留5 个备份dateext                                  使用当期日期作为命名格式dateformat .%s                       配合dateext使用,紧跟在下一行出现,定义文件切割后的文件名,必须配合dateext使用,只支持 %Y %m %d %s 这四个参数size(或minsize) log-size            当日志文件到达指定的大小时才转储,log-size能指定bytes(缺省)及KB (sizek)或MB(sizem).当日志文件 >= log-size 的时候就转储。 以下为合法格式:(其他格式的单位大小写没有试过)size = 5 或 size 5 (>= 5 个字节就转储)size = 100k 或 size 100ksize = 100M 或 size 100M
    

    小示例:下面一个切割nginx日志的配置

    [root@master-server ~]# vim /etc/logrotate.d/nginx/usr/local/nginx/logs/*.log {dailyrotate 7missingoknotifemptydateextsharedscriptspostrotate    if [ -f /usr/local/nginx/logs/nginx.pid ]; then        kill -USR1 `cat /usr/local/nginx/logs/nginx.pid`    fiendscript}
    

    分享一例曾经使用过的nginx日志切割处理脚本:

    1)logrotate日志分割配置

    [root@bastion-IDC ~# vim /etc/logrotate.d/nginx/data/nginx_logs/*.access_log        {nocompress                                   daily                                  copytruncate                                  create                              ifempty                                   olddir /data/nginx_logs/days           rotate 0                                        }
    

    2)日志分割脚本

    [root@bastion-IDC ~# vim /usr/local/sbin/logrotate-nginx.sh#!/bin/bash#创建转储日志压缩存放目录mkdir -p /data/nginx_logs/days#手工对nginx日志进行切割转换/usr/sbin/logrotate -vf /etc/logrotate.d/nginx#当前时间time=$(date -d "yesterday" +"%Y-%m-%d")#进入转储日志存放目录cd /data/nginx_logs/days#对目录中的转储日志文件的文件名进行统一转换for i in $(ls ./ | grep "^\(.*\)\.[[:digit:]]$")domv ${i} ./$(echo ${i}|sed -n 's/^\(.*\)\.\([[:digit:]]\)$/\1/p')-$(echo $time)done#对转储的日志文件进行压缩存放,并删除原有转储的日志文件,只保存压缩后的日志文件。以节约存储空间for i in $(ls ./ | grep "^\(.*\)\-\([[:digit:]-]\+\)$")dotar jcvf ${i}.bz2 ./${i}rm -rf ./${i}done#只保留最近7天的压缩转储日志文件find /data/nginx_logs/days/* -name "*.bz2" -mtime 7 -type f -exec rm -rf {} \;
    

    3)crontab定时执行

    [root@bastion-IDC ~# crontab -e#logrotate0 0 * * * /bin/bash -x /usr/local/sbin/logrotate-nginx.sh > /dev/null 2>
    

    手动执行脚本,测试下看看:

    [root@bastion-IDC ~# /bin/bash -x /usr/local/sbin/logrotate-nginx.sh[root@bastion-IDC ~# cd /data/nginx_logs/days[root@bastion-IDC days# lshuantest.access_log-2017-01-18.bz2
    

    php脚本切割一例:

    [root@huanqiu_web1 ~]# cat /etc/logrotate.d/php/Data/logs/php/*log {    daily    rotate 365    missingok    notifempty    compress    dateext    sharedscripts    postrotate        if [ -f /Data/app/php5.6.26/var/run/php-fpm.pid ]; then            kill -USR1 `cat /Data/app/php5.6.26/var/run/php-fpm.pid`        fi    endscript    postrotate        /bin/chmod 644 /Data/logs/php/*gz    endscript}[root@huanqiu_web1 ~]# ll /Data/app/php5.6.26/var/run/php-fpm.pid-rw-r--r-- 1 root root 4 Dec 28 17:03 /Data/app/php5.6.26/var/run/php-fpm.pid[root@huanqiu_web1 ~]# cd /Data/logs/php[root@huanqiu_web1 php]# lltotal 25676-rw-r--r-- 1 root   root         0 Jun  1  2016 error.log-rw-r--r-- 1 nobody nobody     182 Aug 30  2015 error.log-20150830.gz-rw-r--r-- 1 nobody nobody     371 Sep  1  2015 error.log-20150901.gz-rw-r--r-- 1 nobody nobody     315 Sep  7  2015 error.log-20150907.gz..................
    

    nginx日志切割一例

    [root@huanqiu_web1 ~]# cat /etc/logrotate.d/nginx/Data/logs/nginx/*/*log {    daily    rotate 365    missingok    notifempty    compress    dateext    sharedscripts    postrotate    /etc/init.d/nginx reload    endscript}[root@huanqiu_web1 ~]# ll /Data/logs/nginx/www.huanqiu.com/..........-rw-r--r-- 1 root root      1652 Jan  1 00:00 error.log-20170101.gz-rw-r--r-- 1 root root      1289 Jan  2 00:00 error.log-20170102.gz-rw-r--r-- 1 root root      1633 Jan  3 00:00 error.log-20170103.gz-rw-r--r-- 1 root root      3239 Jan  4 00:00 error.log-20170104.gz
    

    系统日志切割一例

    [root@huanqiu_web1 ~]# cat /etc/logrotate.d/syslog/var/log/cron/var/log/maillog/var/log/messages/var/log/secure/var/log/spooler{    sharedscripts    postrotate    /bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true    endscript}[root@huanqiu_web1 ~]# ll /var/log/messages*-rw------- 1 root root 34248975 Jan 19 18:42 /var/log/messages-rw------- 1 root root 51772994 Dec 25 03:11 /var/log/messages-20161225-rw------- 1 root root 51800210 Jan  1 03:05 /var/log/messages-20170101-rw------- 1 root root 51981366 Jan  8 03:36 /var/log/messages-20170108-rw------- 1 root root 51843025 Jan 15 03:40 /var/log/messages-20170115[root@huanqiu_web1 ~]# ll /var/log/cron*-rw------- 1 root root 2155681 Jan 19 18:43 /var/log/cron-rw------- 1 root root 2932618 Dec 25 03:11 /var/log/cron-20161225-rw------- 1 root root 2939305 Jan  1 03:06 /var/log/cron-20170101-rw------- 1 root root 2951820 Jan  8 03:37 /var/log/cron-20170108-rw------- 1 root root 3203992 Jan 15 03:41 /var/log/cron-20170115[root@huanqiu_web1 ~]# ll /var/log/secure*-rw------- 1 root root  275343 Jan 19 18:36 /var/log/secure-rw------- 1 root root 2111936 Dec 25 03:06 /var/log/secure-20161225-rw------- 1 root root 2772744 Jan  1 02:57 /var/log/secure-20170101-rw------- 1 root root 1115543 Jan  8 03:26 /var/log/secure-20170108-rw------- 1 root root  731599 Jan 15 03:40 /var/log/secure-20170115[root@huanqiu_web1 ~]# ll /var/log/spooler*-rw------- 1 root root 0 Jan 15 03:41 /var/log/spooler-rw------- 1 root root 0 Dec 18 03:21 /var/log/spooler-20161225-rw------- 1 root root 0 Dec 25 03:11 /var/log/spooler-20170101-rw------- 1 root root 0 Jan  1 03:06 /var/log/spooler-20170108-rw------- 1 root root 0 Jan  8 03:37 /var/log/spooler-20170115
    

    tomcat日志切割一例

    [root@huanqiu-backup ~]# cat /etc/logrotate.d/tomcat/Data/app/tomcat-7-huanqiu/logs/catalina.out {rotate 14dailycopytruncatecompressnotifemptymissingok}[root@huanqiu-backup ~]# ll /Data/app/tomcat-7-huanqiu/logs/catalina.*-rw-r--r--. 1 root root     0 Jan 19 19:11 /Data/app/tomcat-7-huanqiu/logs/catalina.out-rw-r--r--. 1 root root 95668 Jan 19 19:11 /Data/app/tomcat-7-huanqiu/logs/catalina.out.1.gz
    

    早期用过的nginx日志处理一例

    [root@letv-backup ~]# vim /letv/sh/cut_nginx_log.sh#!/bin/bash# 你的日志文件存放目录logs_path="/letv/logs/"# 日志文件的名字,多个需要空格隔开logs_names=(error access pv_access)dates=`date -d "yesterday" +"%Y%m%d"`mkdir -p ${logs_path}$dates/num=${#logs_names[@]}for((i=0;i<num;i++));domv ${logs_path}${logs_names[i]}.log ${logs_path}$dates/${logs_names[i]}.logdone#nginx平滑重启kill -USR1 `cat /letv/logs/nginx/nginx.pid`           结合crontab定时执行[root@letv-backup ~]# crontab -e#nginx日志切割00 00 * * * cd /letv/logs;/bin/bash /letv/sh/cut_nginx_log.sh > /dev/null 2>$1
    

    3、尝试解决logrotate无法自动轮询日志的办法

    现象说明:

    使用logrotate轮询nginx日志,配置好之后,发现nginx日志连续两天没被切割,这是为什么呢??

    然后开始检查日志切割的配置文件是否有问题,检查后确定配置文件一切正常。

    于是怀疑是logrotate预定的cron没执行,查看了cron的日志,发现有一条Dec 7 04:02:01 www crond[18959]: (root) CMD (run-parts /etc/cron.daily)这样的日志,证明cron在04:02分时已经执行/etc/cron.daily目录下的程序。

    接着查看/etc /cron.daily/logrotate(这是logrotate自动轮转的脚本)的内容:

    [root@huanqiu_test ~]# cat /etc/cron.daily/logrotate#!/bin/sh/usr/sbin/logrotate /etc/logrotate.conf >/dev/null 2>&1EXITVALUE=$?if [ $EXITVALUE != 0 ]; then    /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"fiexit 0
    

    没有发现异常,配置好的日志轮转操作都是由这个脚本完成的,一切运行正常,脚本应该就没问题。

    直接执行命令:

    [root@huanqiu_test ~]# /usr/sbin/logrotate /etc/logrotate.conf
    

    这些系统日志是正常轮询了,但nginx日志却还是没轮询。

    接着强行启动记录文件维护操作,纵使logrotate指令认为没有需要,应该有可能是logroate认为nginx日志太小,不进行轮询。

    故需要强制轮询,即在/etc/cron.daily/logrotate脚本中将 -t 参数替换成 -f 参数

    [root@huanqiu_test ~]# cat /etc/cron.daily/logrotate#!/bin/sh/usr/sbin/logrotate /etc/logrotate.conf >/dev/null 2>&1EXITVALUE=$?if [ $EXITVALUE != 0 ]; then    /usr/bin/logger -f logrotate "ALERT exited abnormally with [$EXITVALUE]"fiexit 
    

    最后最后重启下cron服务:

    [root@huanqiu_test ~]# /etc/init.d/crond restartStopping crond: [ OK ]Starting crond: [ OK ]
    

    logrotate默认自动切割生效时间

    Logrotate是基于CRON来运行的,其脚本是/etc/cron.daily/logrotate,实际运行时,Logrotate会调用配置文件/etc/logrotate.conf。[root@test ~]# cat /etc/cron.daily/logrotate#!/bin/sh/usr/sbin/logrotate /etc/logrotate.confEXITVALUE=$?if [ $EXITVALUE != 0 ]; then    /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"fiexit 0Logrotate是基于CRON运行的,所以这个时间是由CRON控制的,具体可以查询CRON的配置文件/etc/anacrontab(老版本的文件是/etc/crontab)[root@test ~]# cat /etc/anacrontab# /etc/anacrontab: configuration file for anacron# See anacron(8) and anacrontab(5) for details.SHELL=/bin/shPATH=/sbin:/bin:/usr/sbin:/usr/binMAILTO=root# the maximal random delay added to the base delay of the jobsRANDOM_DELAY=45                                                                  //这个是随机的延迟时间,表示最大45分钟# the jobs will be started during the following hours onlySTART_HOURS_RANGE=3-22                                                           //这个是开始时间#period in days   delay in minutes   job-identifier   command1 5 cron.daily    nice run-parts /etc/cron.daily7 25  cron.weekly   nice run-parts /etc/cron.weekly@monthly 45 cron.monthly    nice run-parts /etc/cron.monthly第一个是Recurrence period第二个是延迟时间所以cron.daily会在3:22+(5,45)这个时间段执行,/etc/cron.daily是个文件夹通过默认/etc/anacrontab文件配置,会发现logrotate自动切割日志文件的默认时间是凌晨3点多。==================================================================================================现在需要将切割时间调整到每天的晚上12点,即每天切割的日志是前一天的0-24点之间的内容。操作如下:[root@kevin ~]# mv /etc/anacrontab /etc/anacrontab.bak          //取消日志自动轮转的设置[root@G6-bs02 logrotate.d]# cat nstc_nohup.out/data/nstc/nohup.out {rotate 30dateextdailycopytruncatecompressnotifemptymissingok}[root@G6-bs02 logrotate.d]# cat syslog/var/log/cron/var/log/maillog/var/log/messages/var/log/secure/var/log/history{    sharedscripts    compress    rotate 30    daily    dateext    postrotate    /bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true    endscript}结合crontab进行自定义的定时轮转操作[root@kevin ~]# crontab -l#log logrotate59 23 * * * /usr/sbin/logrotate -f /etc/logrotate.d/syslog >/dev/null 2>&159 23 * * * /usr/sbin/logrotate -f /etc/logrotate.d/nstc_nohup.out >/dev/null 2>&1[root@G6-bs02 ~]# ll /data/nstc/nohup.out*-rw------- 1 app app 33218 1月  25 09:43 /data/nstc/nohup.out-rw------- 1 app app 67678 1月  25 23:59 /data/nstc/nohup.out-20180125.gz
    

    除了利用自带的Logrotate工具实现日志切割之外,还可以编写python脚本或shell脚本以实现日志切割。下面就简单列出几个实例说明下:

    一、Python脚本实现日志切割

    实例1:对jumpserver日志进行切割[root@test-vm01 mnt]# cat log_rotate.py#!/usr/bin/env pythonimport datetime,os,sys,shutillog_path = '/opt/jumpserver/logs/'log_file = 'jumpserver.log'yesterday = (datetime.datetime.now() - datetime.timedelta(days = 1))try:    os.makedirs(log_path + yesterday.strftime('%Y') + os.sep + \                yesterday.strftime('%m'))except OSError,e:    print    print e    sys.exit()shutil.move(log_path + log_file,log_path \            + yesterday.strftime('%Y') + os.sep \            + yesterday.strftime('%m') + os.sep \            + log_file + '_' + yesterday.strftime('%Y%m%d') + '.log')os.popen("sudo /opt/jumpserver/service.sh restart")手动执行这个脚本:[root@test-vm01 mnt]# chmod 755 log_rotate.py[root@test-vm01 mnt]# python log_rotate.py查看日志切割后的效果:[root@test-vm01 mnt]# ls /opt/jumpserver/logs/2017  jumpserver.log [root@test-vm01 mnt]# ls /opt/jumpserver/logs/2017/09[root@test-vm01 mnt]# ls /opt/jumpserver/logs/2017/09/jumpserver.log_20170916.log然后做每日的定时切割任务:[root@test-vm01 mnt]# crontab -e30 1 * * * /usr/bin/python /mnt/log_rotate.py > /dev/null 2>&1--------------------------------------------------------------------------------------实例2:对nginx日志进行切割[root@test-vm01 mnt]# vim log_rotate.py#!/usr/bin/env pythonimport datetime,os,sys,shutillog_path = '/app/nginx/logs/'log_file = 'www_access.log'yesterday = (datetime.datetime.now() - datetime.timedelta(days = 1))try:    os.makedirs(log_path + yesterday.strftime('%Y') + os.sep + \                yesterday.strftime('%m'))except OSError,e:    print    print e    sys.exit()shutil.move(log_path + log_file,log_path \            + yesterday.strftime('%Y') + os.sep \            + yesterday.strftime('%m') + os.sep \            + log_file + '_' + yesterday.strftime('%Y%m%d') + '.log')os.popen("sudo kill -USR1 `cat /app/nginx/logs/nginx.pid`")--------------------------------------------------------------------------------------其他业务日志的切割脚本跟上面做法相同
    

    二、shell脚本实现日志切割

    [root@qd-vpc-op-consumer01 ~]# cat /app/script/log_rotate.sh#!/bin/shfunction rotate() {logs_path=$1echo Rotating Log: $1cp ${logs_path} ${logs_path}.$(date -d "yesterday" +"%Y%m%d")> ${logs_path}    rm -f ${logs_path}.$(date -d "7 days ago" +"%Y%m%d")}for i in $*do        rotate $idone--------------------------------------------------------------------------------------------------------------每天定时切割日志的任务制定(比如对python的一个业务/data/log/xcspam/下的日志进行切割,0K的日志不进行切割):[root@qd-vpc-op-consumer01 ~]# crontab -e#xcspam 日志切割30 0 * * * find /data/log/xcspam/ -size +0 -name '*.log' | xargs /app/script/log_rotate.sh手动执行切割:[root@qd-vpc-op-consumer01 ~]# find /data/log/xcspam/ -size +0 -name '*.log' | xargs /app/script/log_rotate.sh切割后的日志效果:[root@qd-vpc-op-consumer01 ~]# ls /data/log/xcspam/xcspam_error.log  xcspam_error.log-20170926--------------------------------------------------------------------------------------------------------------比如对maridb日志进行切割[root@qd-vpc-op-consumer01 ~]# crontab -e#xcspam 日志切割30 0 * * * find /var/log/mariadb/ -size +0 -name '*.log' | xargs /app/script/log_rotate.sh[root@qd-vpc-op-consumer01 ~]# find /var/log/mariadb/ -size +0 -name '*.log' | xargs /app/script/log_rotate.sh[root@qd-vpc-op-consumer01 ~]# ll /var/log/mariadb/总用量 8-rw-r-----. 1 mysql mysql    0 9月  17 20:31 mariadb.log-rw-r-----. 1 root  root  4532 9月  17 20:31 mariadb.log.20170916--------------------------------------------------------------------------------------------------------------
    日志压缩脚本:[root@localhost ~]# ls /var/log/fss/nginx/nginx.20190506.log  nginx.20190507.log  nginx.20190508.log[root@localhost ~]# cat /root/log_clean.sh#!/usr/bin/sh#根据系统/服务/日志保留天数三个参数压缩日志#usage: sh clearlog.sh sysname appname keepdayssysName=$1appName=$2keepDay=$3logDir=/var/log/${sysName}/${appName}logFile=${appName}.*[0-9][0-9].logcd ${logDir}find ./ -name "${logFile}" -mtime -${keepDay} -exec gzip {} \;[root@localhost ~]# sh /root/log_clean.sh fss nginx 3[root@localhost ~]# ls /var/log/fss/nginx/nginx.20190506.log.gz  nginx.20190507.log.gz  nginx.20190508.log.gz还可以针对日志保留策略,调整成日志清理脚本。

    推荐用的Nginx日志轮转方法 [部署在nginx的日志目录下]

    #!/bin/bashyesterday=`date -d "-1 days" +'%Y%m%d'`cd `dirname $0`basedir=`pwd`logdir="${basedir}/bak"bindir="${basedir%/*}/sbin"mkdir -p ${logdir}for log in `ls *.log 2>/dev/null`do    mv ${log} ${logdir}/${log}.${yesterday}.bak    # gzip ${logdir}/${log}.${yesterday}done${bindir}/nginx -s reloadcd ${logdir}find . -type f -name "*.bak" -mtime +7 | xargs rm -f

    以上就是良许教程网为各位朋友分享的Linux系统 logrotate 详解。 以上就是良许教程网为各位朋友分享的Linux相关知识。

    展开全文
  • 管理logrotate程序包,并提供定义以管理特定于应用程序的logrotate配置。 要求 应该可以在任何包含“ logrotate”软件包的平台上工作,并将logrotate配置写入/etc/logrotate.d。 在Ubuntu,Debian和Red Hat / CentOS...
  • logrotate工具是为了方便进行日志管理而产生的一个工具,主要可以完成的工作包含:基于cron的天、周、月、文件大小进行日志的滚动备份、压缩、删除甚至是发送邮件。
  • 1、配置文件介绍 Linux系统默认安装logrotate工具,它默认的配置文件在: /etc/logrotate.conf /etc/logrotate.d/ logrotate.conf 才主要的配置文件,logrotate.d 是一个目录,该目录里的所有文件都会被主动的读入/...

    点击上方“阿拉奇学Java”,选择“置顶或者星标

     每天早晨0000分,与你相约!

    往日回顾:HTTP/3 来了 !HTTP/2 还没怎么用起来呢,先一起扫个盲吧!

    对于 Linux 系统安全来说,日志文件是极其重要的工具。不知为何,我发现很多运维同学的服务器上都运行着一些诸如每天切分 Nginx日志之类的 CRON 脚本,大家似乎遗忘了 Logrotate,争相发明自己的轮子,这真是让人沮丧啊!就好比明明身边躺着现成的性感美女,大家却忙着自娱自乐,罪过!

    logrotate 程序是一个日志文件管理工具。用于分割日志文件,删除旧的日志文件,并创建新的日志文件,起到“转储”作用。可以节省磁盘空间。下面就对 logrotate 日志轮转操作做一梳理记录。

    1、配置文件介绍

    Linux系统默认安装logrotate工具,它默认的配置文件在:

    /etc/logrotate.conf
    /etc/logrotate.d/

    logrotate.conf 才主要的配置文件,logrotate.d 是一个目录,该目录里的所有文件都会被主动的读入/etc/logrotate.conf中执行。

    另外,如果 /etc/logrotate.d/ 里面的文件中没有设定一些细节,则会以/etc/logrotate.conf这个文件的设定来作为默认值。

    Logrotate是基于CRON来运行的,其脚本是/etc/cron.daily/logrotate,日志轮转是系统自动完成的。实际运行时,Logrotate会调用配置文件/etc/logrotate.conf。可以在/etc/logrotate.d目录里放置自定义好的配置文件,用来覆盖Logrotate的缺省值。

    [root@huanqiu_web1 ~]# cat /etc/cron.daily/logrotate
    #!/bin/sh
    
    /usr/sbin/logrotate /etc/logrotate.conf >/dev/null 2>&1
    EXITVALUE=$?
    if [ $EXITVALUE != 0 ]; then
        /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
    fi
    exit 0

    如果等不及cron自动执行日志轮转,想手动强制切割日志,需要加-f参数;不过正式执行前最好通过Debug选项来验证一下(-d参数),这对调试也很重要:

    # /usr/sbin/logrotate -f /etc/logrotate.d/nginx
    # /usr/sbin/logrotate -d -f /etc/logrotate.d/nginx

    logrotate 命令格式:

    logrotate [OPTION...] <configfile>
    -d, --debug :debug模式,测试配置文件是否有错误。
    -f, --force :强制转储文件。
    -m, --mail=command :压缩日志后,发送日志到指定邮箱。
    -s, --state=statefile :使用指定的状态文件。
    -v, --verbose :显示转储过程。

    根据日志切割设置进行操作,并显示详细信息:

    [root@huanqiu_web1 ~]# /usr/sbin/logrotate -v /etc/logrotate.conf
    
    [root@huanqiu_web1 ~]# /usr/sbin/logrotate -v /etc/logrotate.d/php

    根据日志切割设置进行执行,并显示详细信息,但是不进行具体操作,debug模式

    [root@huanqiu_web1 ~]# /usr/sbin/logrotate -d /etc/logrotate.conf
    
    [root@huanqiu_web1 ~]# /usr/sbin/logrotate -d /etc/logrotate.d/nginx

    查看各log文件的具体执行情况

    [root@fangfull_web1 ~]# cat /var/lib/logrotate.status


    2、切割介绍

    比如以系统日志/var/log/message做切割来简单说明下:

    • 第一次执行完rotate(轮转)之后,原本的messages会变成messages.1,而且会制造一个空的messages给系统来储存日志;

    • 第二次执行之后,messages.1会变成messages.2,而messages会变成messages.1,又造成一个空的messages来储存日志!

    如果仅设定保留三个日志(即轮转3次)的话,那么执行第三次时,则 messages.3这个档案就会被删除,并由后面的较新的保存日志所取代!也就是会保存最新的几个日志。

    日志究竟轮换几次,这个是根据配置文件中的dateext 参数来判定的。

    看下logrotate.conf配置:

    # cat /etc/logrotate.conf
    # 底下的设定是 "logrotate 的默认值" ,如果別的文件设定了其他的值,
    # 就会以其它文件的设定为主
    weekly          //默认每一周执行一次rotate轮转工作
    rotate 4       //保留多少个日志文件(轮转几次).默认保留四个.就是指定日志文件删除之前轮转的次数,0 指没有备份
    create         //自动创建新的日志文件,新的日志文件具有和原来的文件相同的权限;因为日志被改名,因此要创建一个新的来继续存储之前的日志
    dateext       //这个参数很重要!就是切割后的日志文件以当前日期为格式结尾,如xxx.log-20131216这样,如果注释掉,切割出来是按数字递增,即前面说的 xxx.log-1这种格式
    compress      //是否通过gzip压缩转储以后的日志文件,如xxx.log-20131216.gz ;如果不需要压缩,注释掉就行
    
    include /etc/logrotate.d
    # 将 /etc/logrotate.d/ 目录中的所有文件都加载进来
    
    /var/log/wtmp {                 //仅针对 /var/log/wtmp 所设定的参数
    monthly                    //每月一次切割,取代默认的一周
    minsize 1M              //文件大小超过 1M 后才会切割
    create 0664 root utmp            //指定新建的日志文件权限以及所属用户和组
    rotate 1                    //只保留一个日志.
    }
    # 这个 wtmp 可记录用户登录系统及系统重启的时间
    # 因为有 minsize 的参数,因此不见得每个月一定会执行一次喔.要看文件大小。

    由这个文件的设定可以知道/etc/logrotate.d其实就是由/etc/logrotate.conf 所规划出来的目录,虽然可以将所有的配置都写入 /etc/logrotate.conf ,但是这样一来这个文件就实在是太复杂了,尤其是当使用很多的服务在系统上面时, 每个服务都要去修改 /etc/logrotate.conf 的设定也似乎不太合理了。

    所以,如果独立出来一个目录,那么每个要切割日志的服务, 就可以独自成为一个文件,并且放置到 /etc/logrotate.d/ 当中。

    其他重要参数说明:

    compress                                   通过gzip 压缩转储以后的日志
    nocompress                                不做gzip压缩处理
    copytruncate                              用于还在打开中的日志文件,把当前日志备份并截断;是先拷贝再清空的方式,拷贝和清空之间有一个时间差,可能会丢失部分日志数据。
    nocopytruncate                           备份日志文件不过不截断
    create mode owner group             轮转时指定创建新文件的属性,如create 0777 nobody nobody
    nocreate                                    不建立新的日志文件
    delaycompress                           和compress 一起使用时,转储的日志文件到下一次转储时才压缩
    nodelaycompress                        覆盖 delaycompress 选项,转储同时压缩。
    missingok                                 如果日志丢失,不报错继续滚动下一个日志
    errors address                           专储时的错误信息发送到指定的Email 地址
    ifempty                                    即使日志文件为空文件也做轮转,这个是logrotate的缺省选项。
    notifempty                               当日志文件为空时,不进行轮转
    mail address                             把转储的日志文件发送到指定的E-mail 地址
    nomail                                     转储时不发送日志文件
    olddir directory                         转储后的日志文件放入指定的目录,必须和当前日志文件在同一个文件系统
    noolddir                                   转储后的日志文件和当前日志文件放在同一个目录下
    sharedscripts                           运行postrotate脚本,作用是在所有日志都轮转后统一执行一次脚本。如果没有配置这个,那么每个日志轮转后都会执行一次脚本
    prerotate                                 在logrotate转储之前需要执行的指令,例如修改文件的属性等动作;必须独立成行
    postrotate                               在logrotate转储之后需要执行的指令,例如重新启动 (kill -HUP) 某个服务!必须独立成行
    daily                                       指定转储周期为每天
    weekly                                    指定转储周期为每周
    monthly                                  指定转储周期为每月
    rotate count                            指定日志文件删除之前转储的次数,0 指没有备份,5 指保留5 个备份
    dateext                                  使用当期日期作为命名格式
    dateformat .%s                       配合dateext使用,紧跟在下一行出现,定义文件切割后的文件名,必须配合dateext使用,只支持 %Y %m %d %s 这四个参数
    size(或minsize) log-size            当日志文件到达指定的大小时才转储,log-size能指定bytes(缺省)及KB (sizek)或MB(sizem).
    当日志文件 >= log-size 的时候就转储。 以下为合法格式:(其他格式的单位大小写没有试过)
    size = 5 或 size 5 (>= 5 个字节就转储)
    size = 100k 或 size 100k
    size = 100M 或 size 100M

    小示例:下面一个切割nginx日志的配置

    [root@master-server ~]# vim /etc/logrotate.d/nginx
    /usr/local/nginx/logs/*.log {
    daily
    rotate 7
    missingok
    notifempty
    dateext
    sharedscripts
    postrotate
        if [ -f /usr/local/nginx/logs/nginx.pid ]; then
            kill -USR1 `cat /usr/local/nginx/logs/nginx.pid`
        fi
    endscript
    }

    分享一例曾经使用过的nginx日志切割处理脚本:

    1)logrotate日志分割配置

    [root@bastion-IDC ~# vim /etc/logrotate.d/nginx
    /data/nginx_logs/*.access_log        
    {
    nocompress                                   
    daily                                  
    copytruncate                                  
    create                              
    ifempty                                   
    olddir /data/nginx_logs/days           
    rotate 0                                        
    }

    2)日志分割脚本

    [root@bastion-IDC ~# vim /usr/local/sbin/logrotate-nginx.sh
    #!/bin/bash
    #创建转储日志压缩存放目录
    mkdir -p /data/nginx_logs/days
    #手工对nginx日志进行切割转换
    /usr/sbin/logrotate -vf /etc/logrotate.d/nginx
    #当前时间
    time=$(date -d "yesterday" +"%Y-%m-%d")
    #进入转储日志存放目录
    cd /data/nginx_logs/days
    #对目录中的转储日志文件的文件名进行统一转换
    for i in $(ls ./ | grep "^\(.*\)\.[[:digit:]]$")
    do
    mv ${i} ./$(echo ${i}|sed -n 's/^\(.*\)\.\([[:digit:]]\)$/\1/p')-$(echo $time)
    done
    #对转储的日志文件进行压缩存放,并删除原有转储的日志文件,只保存压缩后的日志文件。以节约存储空间
    for i in $(ls ./ | grep "^\(.*\)\-\([[:digit:]-]\+\)$")
    do
    tar jcvf ${i}.bz2 ./${i}
    rm -rf ./${i}
    done
    #只保留最近7天的压缩转储日志文件
    find /data/nginx_logs/days/* -name "*.bz2" -mtime 7 -type f -exec rm -rf {} \;

    3)crontab定时执行

    [root@bastion-IDC ~# crontab -e
    #logrotate
    0 0 * * * /bin/bash -x /usr/local/sbin/logrotate-nginx.sh > /dev/null 2>

    手动执行脚本,测试下看看:

    [root@bastion-IDC ~# /bin/bash -x /usr/local/sbin/logrotate-nginx.sh
    [root@bastion-IDC ~# cd /data/nginx_logs/days
    [root@bastion-IDC days# ls
    huantest.access_log-2017-01-18.bz2

    php脚本切割一例:

    [root@huanqiu_web1 ~]# cat /etc/logrotate.d/php
    /Data/logs/php/*log {
        daily
        rotate 365
        missingok
        notifempty
        compress
        dateext
        sharedscripts
        postrotate
            if [ -f /Data/app/php5.6.26/var/run/php-fpm.pid ]; then
                kill -USR1 `cat /Data/app/php5.6.26/var/run/php-fpm.pid`
            fi
        endscript
        postrotate
            /bin/chmod 644 /Data/logs/php/*gz
        endscript
    }
    
    [root@huanqiu_web1 ~]# ll /Data/app/php5.6.26/var/run/php-fpm.pid
    -rw-r--r-- 1 root root 4 Dec 28 17:03 /Data/app/php5.6.26/var/run/php-fpm.pid
    
    [root@huanqiu_web1 ~]# cd /Data/logs/php
    [root@huanqiu_web1 php]# ll
    total 25676
    -rw-r--r-- 1 root   root         0 Jun  1  2016 error.log
    -rw-r--r-- 1 nobody nobody     182 Aug 30  2015 error.log-20150830.gz
    -rw-r--r-- 1 nobody nobody     371 Sep  1  2015 error.log-20150901.gz
    -rw-r--r-- 1 nobody nobody     315 Sep  7  2015 error.log-20150907.gz
    .........
    .........

    nginx日志切割一例

    [root@huanqiu_web1 ~]# cat /etc/logrotate.d/nginx
    /Data/logs/nginx/*/*log {
        daily
        rotate 365
        missingok
        notifempty
        compress
        dateext
        sharedscripts
        postrotate
        /etc/init.d/nginx reload
        endscript
    }
    
    [root@huanqiu_web1 ~]# ll /Data/logs/nginx/www.huanqiu.com/
    ..........
    -rw-r--r-- 1 root root      1652 Jan  1 00:00 error.log-20170101.gz
    -rw-r--r-- 1 root root      1289 Jan  2 00:00 error.log-20170102.gz
    -rw-r--r-- 1 root root      1633 Jan  3 00:00 error.log-20170103.gz
    -rw-r--r-- 1 root root      3239 Jan  4 00:00 error.log-20170104.gz

    系统日志切割一例

    [root@huanqiu_web1 ~]# cat /etc/logrotate.d/syslog
    /var/log/cron
    /var/log/maillog
    /var/log/messages
    /var/log/secure
    /var/log/spooler
    {
        sharedscripts
        postrotate
        /bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true
        endscript
    }
    
    [root@huanqiu_web1 ~]# ll /var/log/messages*
    -rw------- 1 root root 34248975 Jan 19 18:42 /var/log/messages
    -rw------- 1 root root 51772994 Dec 25 03:11 /var/log/messages-20161225
    -rw------- 1 root root 51800210 Jan  1 03:05 /var/log/messages-20170101
    -rw------- 1 root root 51981366 Jan  8 03:36 /var/log/messages-20170108
    -rw------- 1 root root 51843025 Jan 15 03:40 /var/log/messages-20170115
    [root@huanqiu_web1 ~]# ll /var/log/cron*
    -rw------- 1 root root 2155681 Jan 19 18:43 /var/log/cron
    -rw------- 1 root root 2932618 Dec 25 03:11 /var/log/cron-20161225
    -rw------- 1 root root 2939305 Jan  1 03:06 /var/log/cron-20170101
    -rw------- 1 root root 2951820 Jan  8 03:37 /var/log/cron-20170108
    -rw------- 1 root root 3203992 Jan 15 03:41 /var/log/cron-20170115
    [root@huanqiu_web1 ~]# ll /var/log/secure*
    -rw------- 1 root root  275343 Jan 19 18:36 /var/log/secure
    -rw------- 1 root root 2111936 Dec 25 03:06 /var/log/secure-20161225
    -rw------- 1 root root 2772744 Jan  1 02:57 /var/log/secure-20170101
    -rw------- 1 root root 1115543 Jan  8 03:26 /var/log/secure-20170108
    -rw------- 1 root root  731599 Jan 15 03:40 /var/log/secure-20170115
    [root@huanqiu_web1 ~]# ll /var/log/spooler*
    -rw------- 1 root root 0 Jan 15 03:41 /var/log/spooler
    -rw------- 1 root root 0 Dec 18 03:21 /var/log/spooler-20161225
    -rw------- 1 root root 0 Dec 25 03:11 /var/log/spooler-20170101
    -rw------- 1 root root 0 Jan  1 03:06 /var/log/spooler-20170108
    -rw------- 1 root root 0 Jan  8 03:37 /var/log/spooler-20170115

    tomcat日志切割一例

    [root@huanqiu-backup ~]# cat /etc/logrotate.d/tomcat
    /Data/app/tomcat-7-huanqiu/logs/catalina.out {
    rotate 14
    daily
    copytruncate
    compress
    notifempty
    missingok
    }
    
    [root@huanqiu-backup ~]# ll /Data/app/tomcat-7-huanqiu/logs/catalina.*
    -rw-r--r--. 1 root root     0 Jan 19 19:11 /Data/app/tomcat-7-huanqiu/logs/catalina.out
    -rw-r--r--. 1 root root 95668 Jan 19 19:11 /Data/app/tomcat-7-huanqiu/logs/catalina.out.1.gz

    早期用过的nginx日志处理一例

    [root@letv-backup ~]# vim /letv/sh/cut_nginx_log.sh
    #!/bin/bash
    # 你的日志文件存放目录
    logs_path="/letv/logs/"
    # 日志文件的名字,多个需要空格隔开
    logs_names=(error access pv_access)
    dates=`date -d "yesterday" +"%Y%m%d"`
    mkdir -p ${logs_path}$dates/
    num=${#logs_names[@]}
    for((i=0;i<num;i++));do
    mv ${logs_path}${logs_names[i]}.log ${logs_path}$dates/${logs_names[i]}.log
    done
    #nginx平滑重启
    kill -USR1 `cat /letv/logs/nginx/nginx.pid`           
    
    结合crontab定时执行
    [root@letv-backup ~]# crontab -e
    #nginx日志切割
    00 00 * * * cd /letv/logs;/bin/bash /letv/sh/cut_nginx_log.sh > /dev/null 2>$1


    3、尝试解决logrotate无法自动轮询日志的办法

    现象说明:

    使用logrotate轮询nginx日志,配置好之后,发现nginx日志连续两天没被切割,这是为什么呢??

    然后开始检查日志切割的配置文件是否有问题,检查后确定配置文件一切正常。

    于是怀疑是logrotate预定的cron没执行,查看了cron的日志,发现有一条Dec 7 04:02:01 www crond[18959]: (root) CMD (run-parts /etc/cron.daily)这样的日志,证明cron在04:02分时已经执行/etc/cron.daily目录下的程序。

    接着查看/etc /cron.daily/logrotate(这是logrotate自动轮转的脚本)的内容:

    [root@huanqiu_test ~]# cat /etc/cron.daily/logrotate
    #!/bin/sh
    
    /usr/sbin/logrotate /etc/logrotate.conf >/dev/null 2>&1
    EXITVALUE=$?
    if [ $EXITVALUE != 0 ]; then
        /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
    fi
    exit 0

    没有发现异常,配置好的日志轮转操作都是由这个脚本完成的,一切运行正常,脚本应该就没问题。

    直接执行命令:

    [root@huanqiu_test ~]# /usr/sbin/logrotate /etc/logrotate.conf

    这些系统日志是正常轮询了,但nginx日志却还是没轮询。

    接着强行启动记录文件维护操作,纵使logrotate指令认为没有需要,应该有可能是logroate认为nginx日志太小,不进行轮询。

    故需要强制轮询,即在/etc/cron.daily/logrotate脚本中将 -t 参数替换成 -f 参数

    [root@huanqiu_test ~]# cat /etc/cron.daily/logrotate
    #!/bin/sh
    
    /usr/sbin/logrotate /etc/logrotate.conf >/dev/null 2>&1
    EXITVALUE=$?
    if [ $EXITVALUE != 0 ]; then
        /usr/bin/logger -f logrotate "ALERT exited abnormally with [$EXITVALUE]"
    fi
    exit 

    最后最后重启下cron服务:

    [root@huanqiu_test ~]# /etc/init.d/crond restart
    Stopping crond: [ OK ]
    Starting crond: [ OK ]
    

    logrotate默认自动切割生效时间

    Logrotate是基于CRON来运行的,其脚本是/etc/cron.daily/logrotate,实际运行时,Logrotate会调用配置文件/etc/logrotate.conf。
    [root@test ~]# cat /etc/cron.daily/logrotate
    #!/bin/sh
    
    /usr/sbin/logrotate /etc/logrotate.conf
    EXITVALUE=$?
    if [ $EXITVALUE != 0 ]; then
        /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
    fi
    exit 0
    
    
    Logrotate是基于CRON运行的,所以这个时间是由CRON控制的,具体可以查询CRON的配置文件/etc/anacrontab(老版本的文件是/etc/crontab)
    [root@test ~]# cat /etc/anacrontab
    # /etc/anacrontab: configuration file for anacron
    
    # See anacron(8) and anacrontab(5) for details.
    
    SHELL=/bin/sh
    PATH=/sbin:/bin:/usr/sbin:/usr/bin
    MAILTO=root
    # the maximal random delay added to the base delay of the jobs
    RANDOM_DELAY=45                                                                  //这个是随机的延迟时间,表示最大45分钟
    # the jobs will be started during the following hours only
    START_HOURS_RANGE=3-22                                                           //这个是开始时间
    
    #period in days   delay in minutes   job-identifier   command
    1 5 cron.daily    nice run-parts /etc/cron.daily
    7 25  cron.weekly   nice run-parts /etc/cron.weekly
    @monthly 45 cron.monthly    nice run-parts /etc/cron.monthly
    
    第一个是Recurrence period
    第二个是延迟时间
    所以cron.daily会在3:22+(5,45)这个时间段执行,/etc/cron.daily是个文件夹
    
    通过默认/etc/anacrontab文件配置,会发现logrotate自动切割日志文件的默认时间是凌晨3点多。
    
    ==================================================================================================
    现在需要将切割时间调整到每天的晚上12点,即每天切割的日志是前一天的0-24点之间的内容。
    操作如下:
    [root@kevin ~]# mv /etc/anacrontab /etc/anacrontab.bak          //取消日志自动轮转的设置
    
    [root@G6-bs02 logrotate.d]# cat nstc_nohup.out
    /data/nstc/nohup.out {
    rotate 30
    dateext
    daily
    copytruncate
    compress
    notifempty
    missingok
    }
    
    [root@G6-bs02 logrotate.d]# cat syslog
    /var/log/cron
    /var/log/maillog
    /var/log/messages
    /var/log/secure
    /var/log/history
    {
        sharedscripts
        compress
        rotate 30
        daily
        dateext
        postrotate
        /bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true
        endscript
    }
    
    结合crontab进行自定义的定时轮转操作
    [root@kevin ~]# crontab -l
    #log logrotate
    59 23 * * * /usr/sbin/logrotate -f /etc/logrotate.d/syslog >/dev/null 2>&1
    59 23 * * * /usr/sbin/logrotate -f /etc/logrotate.d/nstc_nohup.out >/dev/null 2>&1
    
    [root@G6-bs02 ~]# ll /data/nstc/nohup.out*
    -rw------- 1 app app 33218 1月  25 09:43 /data/nstc/nohup.out
    -rw------- 1 app app 67678 1月  25 23:59 /data/nstc/nohup.out-20180125.gz
    

    除了利用自带的Logrotate工具实现日志切割之外,还可以编写python脚本或shell脚本以实现日志切割。下面就简单列出几个实例说明下:

    一、Python脚本实现日志切割

    实例1:对jumpserver日志进行切割
    [root@test-vm01 mnt]# cat log_rotate.py
    #!/usr/bin/env python
    
    import datetime,os,sys,shutil
    
    log_path = '/opt/jumpserver/logs/'
    log_file = 'jumpserver.log'
    
    yesterday = (datetime.datetime.now() - datetime.timedelta(days = 1))
    
    try:
        os.makedirs(log_path + yesterday.strftime('%Y') + os.sep + \
                    yesterday.strftime('%m'))
    
    except OSError,e:
        print
        print e
        sys.exit()
    
    
    shutil.move(log_path + log_file,log_path \
                + yesterday.strftime('%Y') + os.sep \
                + yesterday.strftime('%m') + os.sep \
                + log_file + '_' + yesterday.strftime('%Y%m%d') + '.log')
    
    
    os.popen("sudo /opt/jumpserver/service.sh restart")
    
    手动执行这个脚本:
    [root@test-vm01 mnt]# chmod 755 log_rotate.py
    [root@test-vm01 mnt]# python log_rotate.py
    
    查看日志切割后的效果:
    [root@test-vm01 mnt]# ls /opt/jumpserver/logs/
    2017  jumpserver.log 
    [root@test-vm01 mnt]# ls /opt/jumpserver/logs/2017/
    09
    [root@test-vm01 mnt]# ls /opt/jumpserver/logs/2017/09/
    jumpserver.log_20170916.log
    
    然后做每日的定时切割任务:
    [root@test-vm01 mnt]# crontab -e
    30 1 * * * /usr/bin/python /mnt/log_rotate.py > /dev/null 2>&1
    
    --------------------------------------------------------------------------------------
    实例2:对nginx日志进行切割
    [root@test-vm01 mnt]# vim log_rotate.py
    #!/usr/bin/env python
    
    import datetime,os,sys,shutil
    
    log_path = '/app/nginx/logs/'
    log_file = 'www_access.log'
    
    yesterday = (datetime.datetime.now() - datetime.timedelta(days = 1))
    
    try:
        os.makedirs(log_path + yesterday.strftime('%Y') + os.sep + \
                    yesterday.strftime('%m'))
    
    except OSError,e:
        print
        print e
        sys.exit()
    
    
    shutil.move(log_path + log_file,log_path \
                + yesterday.strftime('%Y') + os.sep \
                + yesterday.strftime('%m') + os.sep \
                + log_file + '_' + yesterday.strftime('%Y%m%d') + '.log')
    
    
    os.popen("sudo kill -USR1 `cat /app/nginx/logs/nginx.pid`")
    
    --------------------------------------------------------------------------------------
    其他业务日志的切割脚本跟上面做法相同
    

    二、shell脚本实现日志切割

    [root@qd-vpc-op-consumer01 ~]# cat /app/script/log_rotate.sh
    #!/bin/sh
    
    function rotate() {
    logs_path=$1
    
    echo Rotating Log: $1
    cp ${logs_path} ${logs_path}.$(date -d "yesterday" +"%Y%m%d")
    > ${logs_path}
        rm -f ${logs_path}.$(date -d "7 days ago" +"%Y%m%d")
    }
    
    for i in $*
    do
            rotate $i
    done
    
    --------------------------------------------------------------------------------------------------------------
    每天定时切割日志的任务制定(比如对python的一个业务/data/log/xcspam/下的日志进行切割,0K的日志不进行切割):
    [root@qd-vpc-op-consumer01 ~]# crontab -e
    #xcspam 日志切割
    30 0 * * * find /data/log/xcspam/ -size +0 -name '*.log' | xargs /app/script/log_rotate.sh
    
    手动执行切割:
    [root@qd-vpc-op-consumer01 ~]# find /data/log/xcspam/ -size +0 -name '*.log' | xargs /app/script/log_rotate.sh
    
    切割后的日志效果:
    [root@qd-vpc-op-consumer01 ~]# ls /data/log/xcspam/
    xcspam_error.log  xcspam_error.log-20170926
    
    --------------------------------------------------------------------------------------------------------------
    比如对maridb日志进行切割
    [root@qd-vpc-op-consumer01 ~]# crontab -e
    #xcspam 日志切割
    30 0 * * * find /var/log/mariadb/ -size +0 -name '*.log' | xargs /app/script/log_rotate.sh
    
    [root@qd-vpc-op-consumer01 ~]# find /var/log/mariadb/ -size +0 -name '*.log' | xargs /app/script/log_rotate.sh
    [root@qd-vpc-op-consumer01 ~]# ll /var/log/mariadb/
    总用量 8
    -rw-r-----. 1 mysql mysql    0 9月  17 20:31 mariadb.log
    -rw-r-----. 1 root  root  4532 9月  17 20:31 mariadb.log.20170916
    --------------------------------------------------------------------------------------------------------------
    
    日志压缩脚本:
    [root@localhost ~]# ls /var/log/fss/nginx/
    nginx.20190506.log  nginx.20190507.log  nginx.20190508.log
    
    [root@localhost ~]# cat /root/log_clean.sh
    #!/usr/bin/sh
    #根据系统/服务/日志保留天数三个参数压缩日志
    #usage: sh clearlog.sh sysname appname keepdays
    sysName=$1
    appName=$2
    keepDay=$3
    logDir=/var/log/${sysName}/${appName}
    logFile=${appName}.*[0-9][0-9].log
    cd ${logDir}
    find ./ -name "${logFile}" -mtime -${keepDay} -exec gzip {} \;
    
    
    [root@localhost ~]# sh /root/log_clean.sh fss nginx 3
    
    [root@localhost ~]# ls /var/log/fss/nginx/
    nginx.20190506.log.gz  nginx.20190507.log.gz  nginx.20190508.log.gz
    
    还可以针对日志保留策略,调整成日志清理脚本。
    

    推荐用的Nginx日志轮转方法   [部署在nginx的日志目录下]

    #!/bin/bash
    
    yesterday=`date -d "-1 days" +'%Y%m%d'`
    cd `dirname $0`
    basedir=`pwd`
    logdir="${basedir}/bak"
    bindir="${basedir%/*}/sbin"
    mkdir -p ${logdir}
    
    for log in `ls *.log 2>/dev/null`
    do
        mv ${log} ${logdir}/${log}.${yesterday}.bak
        # gzip ${logdir}/${log}.${yesterday}
    done
    
    ${bindir}/nginx -s reload
    
    cd ${logdir}
    find . -type f -name "*.bak" -mtime +7 | xargs rm -f

    转自:散尽浮华

    www.cnblogs.com/kevingrace/p/6307298.html

    回复「进群」即可进入无广告技术交流群。同时送上250本电子书+学习视频作为见面 

    有你想看的精彩 
    
    
    
    从零开始搭建创业公司后台技术栈
    代码优化的 5 大原则,第 1 条相信你一开始就没想到!
    Java 中 HashMap 中的容量与扩容实现
    99 道 Java 多线程面试题
    注意,Fastjson 最新高危漏洞又来了!
    当IntelliJ IDEA2020.1遇上JDK14:所有美好环环相扣
    这么多编程学习网站,总有一个适合你吧
    一文搞定分布式系统ID生成方案
    
    

    目前5000+ 人已关注加入我们

           

           

    展开全文
  • logrotate 配置

    2019-06-16 10:58:16
    本文接上篇rsyslogd用 rsyslog 收集了上百G的日志后,得用另一个Linux自带的脚本:/usr/sbin/logrotate自动的压缩,分割,归档好历史日志。logro...


    本文接上篇 rsyslogd

    用 rsyslog 收集了上百G的日志后,得用另一个Linux自带的脚本:

    /usr/sbin/logrotate 自动的压缩,分割,归档好历史日志。

    logrotate 简介

    logrotate (GitHub 地址) 诞生于 1996/11/19 ,当前(2017/01/03)最新版本 3.11.0。

    logrotate - rotates, compresses, and mails system logs

    测试机器 CentOS 6.8 Final, 系统自带的版本为 3.7.8:

    1

    2

    3

    4

    $ logrotate -v

    logrotate 3.7.8 - Copyright (C) 1995-2001 Red Hat, Inc.

    Usage: logrotate [-dfv?] [-d|--debug] [-f|--force] [-m|--mail command] [-s|--state statefile] [-v|--verbose] [-?|--help] [--usage] [OPTION...] <configfile>

    最新版本,需要自行下载源码编译安装。

    配置文件

    执行文件: /usr/sbin/logrotate

    主配置文件: /etc/logrotate.conf

    自定义配置文件: /etc/logrotate.d/*.conf

    修改配置文件后,并不需要重启服务。

    由于 logrotate 实际上只是一个可执行文件,不是以daemon运行。

    /etc/logrotate.conf - 顶层主配置文件,通过 include 指令,会引入 /etc/logrotate.d 下的配置文件

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10

    11

    12

    13

    14

    15

    16

    17

    18

    19

    20

    21

    22

    23

    24

    25

    26

    # see "man logrotate" for details

    weekly

    rotate 4

    # create new (empty) log files after rotating old ones

    create

    # use date as a suffix of the rotated file

    dateext

    # uncomment this if you want your log files compressed

    #compress

    # RPM packages drop log rotation information into this directory

    include /etc/logrotate.d

    # no packages own wtmp and btmp -- we'll rotate them here

    /var/log/wtmp {

    monthly

    create 0664 root utmp

    minsize 1M

    rotate 1

    }

    /var/log/btmp {

    missingok

    monthly

    create 0600 root utmp

    rotate 1

    }

    # system-specific logs may be also be configured here.

    /etc/logrotate.d/ - 通常一些第三方软件包,会把自己私有的配置文件,也放到这个目录下。 如 yum, zabbix-agent,syslog 等。

    1

    2

    3

    4

    5

    6

    7

    8

    $ cat /etc/logrotate.d/yum

    /var/log/yum.log {

    missingok

    notifempty

    size 30k

    yearly

    create 0600 root root

    }

    运行 logrotate

    crontab定时:

    通常惯用的做法是配合 crontab 来定时调用。

    1

    2

    3

    $ crontab -e

    */30 * * * * /usr/sbin/logrotate /etc/logrotate.d/rsyslog > /dev/null 2>&1 &

    在调试自定义配置的时候,我们需要手动运行,来确保是按照我们所需运行的。

    手动运行:

    debug 模式: 指定 [-d|--debug]

    1logrotate -d <configfile>

    并不会真正进行 rotate 或者 compress 操作,但是会打印出整个执行的流程,和调用的脚本等详细信息。

    verbose 模式: 指定 [-v|--verbose]

    1logrotate -v <configfile>

    会真正执行操作,打印出详细信息(debug模式,默认是开启verbose)

    系统自带 cron task: /etc/cron.daily/logrotate,每天运行一次。

    1

    2

    3

    4

    5

    6

    7

    8

    9

    $ cat /etc/cron.daily/logrotate

    #!/bin/sh

    /usr/sbin/logrotate /etc/logrotate.conf >/dev/null 2>&1

    EXITVALUE=$?

    if [ $EXITVALUE != 0 ]; then

    /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"

    fi

    exit 0

    logrotate 参数

    详细介绍请自行 man logrotate, 或者在线 man page。

    主要介绍下完成常用需求会用到的一些参数。

    一个典型的配置文件如下:

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10

    11

    12

    13

    14

    15

    16

    17

    18

    19

    20

    /Data/logs/production/*/*/*.log

    /Data/logs/erp/*/*/*.log

    /Data/logs/erp/mq_order/*/*/*.log

    {

    prerotate

    # ....

    endscript

    #daily

    rotate 10

    size 5M

    create 0644 karltest karltest

    dateformat -%Y%m%d-%s

    compress

    missingok

    postrotate

    /bin/kill -HUP $(/bin/cat /var/run/syslogd.pid 2>/dev/null) &>/dev/null

    endscript

    }

    第一部分是匹配的文件pattern,可以是通配符,注意:如果对应的log不存在会报错,中断处理,可以自行用 debug 模式测试。(可以添加 missingok 缓解)

    { ... } 花括号里面的就是具体的指令参数了, logrotate 支持一些hook预处理,可以在rotate执行之前或者之后调用命令或者自己的脚本。

    最常见的需求:

    限制大小: size 1k (如 5M, 2G)

    压缩: compress, 默认gzip,后缀为gz。 也可以指定其他压缩程序,如bzip2,后缀名也可以修改。

    create <user> <group>

    保留个数: rotate

    dateformat: rotate的文件后缀格式

    postrotate: 这个是最常用的,用来 reopen 被rotate后的文件,详见下文 Trouble Shooting。

    其余hook:

    prerotate/endscript

    firstaction/endscript

    lastaction/endscript

    preremove/endscript

    sharedscripts

    日志集中化的配置

    介绍完基础知识后,回归到日志集中化收集的任务上来。

    回顾下,最终 rsyslog 收集组成的文件夹结构:

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10

    11

    12

    13

    14

    15

    16

    17

    18

    19

    20

    21

    22

    23

    24

    25

    26

    27

    28

    # tree -I "*gz|*log" /Data/logs/

    /Data/logs/

    ├── gateway

    │   ├── 172.31.70.18

    │   │   └── archived

    │   ├── 172.31.70.19

    │   │   └── archived

    │   ├── 172.31.70.195

    │   │   └── archived

    │   ├── 172.31.70.197

    │   │   └── archived

    │   ├── 172.31.70.198

    │   │   └── archived

    │   └── 172.31.70.20

    │   └── archived

    ├── product

    │   ├── 172.31.70.118

    │   │   └── archived

    │   ├── 172.31.70.119

    │   │   └── archived

    │   ├── 172.31.70.23

    │   │   └── archived

    │   └── 172.31.70.24

    │   └── archived

    ...

    # du -sh /Data/logs

    271G /Data/logs

    需求:

    1. 大小超过1G压缩

    2. 每天归档 *.gz 的压缩包到 archived目录下,也就是说当前目录只保留当天的日志

    3. 保留一个月的备份

    这些需求,单独的logrotate并不能完成,所以我写了个 shell 脚本,来完成额外的功能。

    logrotate 配置

    监控多个目录,压缩文件,移至目录 olddir archived。

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10

    11

    12

    13

    14

    15

    16

    $ cat /etc/logrotate.d/karltest-custom-conf/logrotate-karltest-log-quick-run.conf

    /Data/logs/karltest/*/*/*.log

    /Data/logs/erp/*/*/*.log

    /Data/logs/erp/mq_order/*/*/*.log

    {

    rotate 32

    size 1024M # 对于 *-daily-run.conf,设置了较小阈值 5M

    create 0644 karltest karltest

    #dateformat -%Y%m%d-%s # 时间戳,已经由rsyslog产生了,这里不需要

    compress

    missingok

    olddir archived # 归档目录

    postrotate # 重启 rsyslog,让其 reopen 新的同名文件

    /bin/kill -HUP $(/bin/cat /var/run/syslogd.pid 2>/dev/null) &>/dev/null

    endscript

    }

    实际上,我准备了两个 conf 文件: *-daily-run.conf 和 *-quick-run.conf,唯一的区别就是 size 阈值。

    希望达成这样的效果:

    较大阈值的配置文件,运行的更频繁些,防止磁盘爆掉。

    较小阈值的配置文件,更多的是整理的作用,每天00:01分运行一次,来移动前一天的所有日志(即使很小),归档到archived目录

    crontab 设置

    这里我是用 Ansible 来配置的logcenter 机器上的的定时任务。

    1

    2

    3

    4

    5

    6

    7

    $ crontab -l

    #Ansible: For server: Daily run - logrotate *.log under /Data/logs

    1 0 * * * /bin/sh /Data/logs/.run_logrotate.sh create /etc/logrotate.d/karltest-custom-conf/logrotate-karltest-log-daily.conf -v >> /Data/logs/karltest_log_rotate_history.log 2>&1 &

    #Ansible: For server: Quick run - logrotate *.log under /Data/logs

    23 6,12,18 * * * /bin/sh /Data/logs/.run_logrotate.sh create /etc/logrotate.d/karltest-custom-conf/logrotate-karltest-log-quick-run.conf -v >> /Data/logs/karltest_log_rotate_history.log 2>&1 &

    #Ansible: For server: older than file under /Data/logs

    28 4 * * * /usr/bin/find /Data/logs -type f -mtime +30 -delete >> /Data/logs/karltest_log_rotate_history.log 2>&1 &

    说明:

    每天 00:01 运行较小阈值的配置文件

    每天 6/12/18:23 运行较大阈值的配置文件

    每天 4:28 执行一次清理工作:删除最近30天(-mtime +30)没有修改的文件

    自定义的脚本

    完整文件在这里 run_logrotate.sh。

    主要功能:

    create_folder - 创建archived folder, 因为 logrotate 的 olddir 指向的目录,必须存在

    moveold - 移动最近一天没有修改的文件,到 olddir 指向的目录,主要和daily.conf 互补, 因为 小于5M的并不会被压缩,对于某些 error.log经常只有10k。

    clean_dummy_file - 删除大小为0的文件,因为 在每天的0点, rsyslog会向新的日期文件里写日志,此时,由于logrotate的作用,会多出一个大小为0的空旧日期的文件。

    其实这个脚本才是我花工作量最大的地方。上面的功能点,也是我调试的时候遇到的一些坑。

    Trouble Shooting

    自定义的log压缩,每天多运行一次

    现象:在每天03:47时候,多运行了一次,但是 crontab -l 里,并没有配置。

    原因:系统自带的 /etc/cron.daily/logrotate, 每天会自己运行一次。

    解决:把自定义的配置文件,放到别的目录,或者 移到下层目录: /etc/logrotat.d/karltest_conf/*.conf

    多问一句: 为啥时间是03:47呢,有时候随机是03:xx别的时间,而不是每天的00:00呢?

    详情参考:When does cron.daily run? 和 man anacrontab。

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10

    11

    12

    13

    14

    15

    16

    17

    $ cat /etc/anacrontab

    # /etc/anacrontab: configuration file for anacron

    # See anacron(8) and anacrontab(5) for details.

    SHELL=/bin/sh

    PATH=/sbin:/bin:/usr/sbin:/usr/bin

    MAILTO=root

    # the maximal random delay added to the base delay of the jobs

    RANDOM_DELAY=45

    # the jobs will be started during the following hours only

    START_HOURS_RANGE=3-22

    #period in days delay in minutes job-identifier command

    1 5 cron.daily nice run-parts /etc/cron.daily

    7 25 cron.weekly nice run-parts /etc/cron.weekly

    @monthly 45 cron.monthly nice run-parts 

    /etc/cron.monthly

    简单来说:大多数Linux发行版本,除了有 crontab,还有 anacron,它的使用场景,适用于服务器不能7x24运行,但是有些定时任务又需要运行。 如果在任务还没到执行时间的时候,服务器关机了,那么配置 anacron,下次开机特定时间后(如上面的5分钟运行 cron.daily, 25分钟运行cron.weekly)。

    配合 RANDOM_DELAY 和 START_HOURS_RANGE 来控制随机的时间。

    这个功能就类似Windows上的计划任务有个设置:如果错过执行时间,下次开机延迟多久后立刻启动。

    解释03:xx运行时刻:

    由于我们的服务器是7x24小时,所以不会错过执行时间。默认的设置 START_HOURS_RANGE=3-22,所以是在3点,

    配合第二列的延迟5分钟,加上随机的45分钟:

    所以最终的 cron.daily 的执行时间为: 3:05 ~ 3:50, 符合几天的观测结果。

    日志rotate之后,如何reopen,继续在新文件里的写log?

    主要用到的就是 postrotate 这个hook了,由于logrotate之后,即使已经移走了,但是rsyslog还是持有这个文件操作句柄,会继续往 *log.1.gz 里写,所以需要 restart rsyslog 来 reopen 下 logrotate新创建的同名文件。

    1

    2

    3

    postrotate

    /bin/kill -HUP $(/bin/cat /var/run/syslogd.pid 2>/dev/null) &>/dev/null

    endscript

    由于rsyslog的发送端,有本地队列缓存,所以新产生的日志并不会丢失,接收端的rsyslog可以放心的重启。

    那么对于那些不能中断的服务的日志,怎么解决呢,然后重新打开日志文件?

    logrotate 提供了 copytruncate, 但是会有一定的时间差,丢失部分的日志数据。

    对于哪些写日志比较频繁的,如debug级别的,更有可能丢失。

    对于error级别的,应该问题不大。

    copytruncate 原理:

    默认的指令 create 做法,是 移动旧文件,创建新文件,然后用脚本reopen新文件。

    而 copytruncate 是采用的先拷贝再清空, 先复制一份旧的日志,然后请客原文件,整个过程原来的文件句柄,并没有变化,所以不需要reopen,服务可以不中断。

    1

    2

    3

    4

    5

    6

    7

    copytruncate

    Truncate the original log file in place after creating a copy, instead of moving the

    old log file and optionally creating a new one. It can be used when some program

    cannot be told to close its logfile and thus might continue writing (appending)

    to the previous log file forever. **Note that there is a very small time slice between

    copying the file and truncating it, so some logging data might be lost**. When this

    option is used, the create option will have no effect, as the old log file stays in place.

    另一个解决思路, 引用自 被遗忘的Logrotate:

    熟悉Apache的朋友可能会记得cronolog,不过Nginx并不支持它,有人通过 mkfifo 命令曲线救国,先给日志文件创建管道,再搭配cronolog轮转,虽然理论上没有问题,但效率上有折扣。另外,Debian/Ubuntu下有一个简化版工具savelog,有兴趣可以看看

    参考 nginx startup script with cronolog

    通配符 *,missingok 和 olddir 不能同时使用

    这个感觉还是logrotate的bug,参考,最新版本仍然存在。参考 Logrotate wildcard fails on missing files with “missingok” AND “olddir”。

    1

    2

    3

    # If there's no any log under that directory, it will complain:

    error verifying log file path /Data/logs/*/*: No such file or directory

    使用missingok 和 通配符 * 就没问题, 这也是 missingok 字面上的作用。

    使用olddir 和 通配符* 也没有问题,本来也是有问题,最新版刚Fix掉了。

    Fix ‘olddir’ usage with wildcard in the middle of path in the pattern…

    … definition when the pattern did not match any log file.

    但是三个合在一起就出问题了, missingok + olddir + * ==> Boom… :(

    复现:在监控的目录pattern(如 /var/logs/*/*.log)下的一个文件夹( /var/log/10.1.2.3.4/)里,保证为空文件夹,不存在 *.log 日志文件

    此时用 logrotate -d xxx.conf 就会报错。

    目前解决不了。

    好在我们的机器够多,日志文件每时每刻都产生,不存在空文件夹,只有刚刚配置logcenter收集服务器的时候,刚启动一段时间有这个可能出现错误,稳定运行后,就不会出现了。

    展开全文
  • logrotate旨在简化对生成大量日志文件的系统的管理。它允许自动转储,压缩,删除和邮寄日志文件。每个日志文件都可以每天,每周,每月或当它变得太大时进行处理。 通常,logrotate作为日常cron作业运行。除非该日志...
  • logrotate介绍 对于Linux系统安全来说,日志文件是极其重要的工具。日志文件包含了关于系统中发生的事件的有用信息,在排障过程中或者系统性能分析时经常被用到。当日志文件不断增长的时候,就需要定时切割,否则,...
  • Logrotate 程序是一个日志文件管理工具,用于分割日志文件,压缩转存、删除旧的日志文件,并创建新的日志文件,下面就对 logrotate 日志轮转的记录: Linux 系统默认安装 logrotate,默认的配置文件: /etc/...
  • logrotate 使用方法

    千次阅读 2019-08-28 15:34:45
    在linux上logrotate是一个日志文件管理工具。用于分割日志文件,删除旧的日志文件,并创建新的日志文件,起到“转储”作用,它是默认随linux一起被安装的。 1、logrotate基本介绍: Logrotate是基于CRON来运行的,...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 25,786
精华内容 10,314
关键字:

logrotate