日志分割
每一台都需要做
vi  /etc/logrotate.conf
 
# see "man logrotate" for details
# rotate log files weekly
monthly
 
# keep 4 weeks worth of backlogs
rotate 4
 
# create new (empty) log files after rotating old ones
create
 
# use date as a suffix of the rotated file
dateext
 
# uncomment this if you want your log files compressed
#compress
 
# RPM packages drop log rotation information into this directory
#注释掉
#include /etc/logrotate.d
 
# no packages own wtmp and btmp -- we'll rotate them here
#注释掉
#/var/log/wtmp {                     
#    monthly
#    create 0664 root utmp
#       minsize 1M
#    rotate 1
#}
 
#/var/log/btmp {
#    missingok
#    monthly
#    create 0600 root utmp
#    rotate 1
#}
 
脚本存储文件夹
mkdir /usr/shell
编写脚本
cd /usr/shell
vi  
具体查看  shell脚本.txt，
cd /usr/shell
 
vi  alllog
 
#/bin/bash 
#xxx是你脚本名字
/usr/shell/xxx        
/usr/shell/xxx
/usr/shell/xxx
/usr/shell/xxx
/usr/shell/xxx
/usr/shell/xxx
/usr/shell/xxx
/usr/shell/xxx
/usr/shell/xxx
/usr/shell/xxx
/usr/shell/xxx
/usr/shell/xxx
/usr/shell/xxx
 
赋予脚本权限
chmod a+x /usr/shell/*
 
mkdir /opt/log
分割全部日志
/usr/shell/alllog    
 
 
脚本定时运行
crontab  –e
 
加一句
10 00 * * * /bin/bash /usr/shell/alllog
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
服务器文件同步 
只在nginx服务器上面做
vi /etc/rsyncd.conf
 
uid = root
gid = root
max connections = 4
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
 
[logs]
path = /opt/log
ignore errors
read only = true
list = true
auth users = backup
secrets file = /etc/rsyncd.pwd
 
 
vi /etc/rsyncd.pwd
 
backup:dadao
 
只在日志储存节点上面做
vi  /usr/shell/daylog
 
#/bin/bash
rsync -avzP --password-file=/etc/rsyncd.pwd backup@第一台nginx的ip::logs /opt/log-nginx1
rsync -avzP --password-file=/etc/rsyncd.pwd backup@第二胎nginx的ip::logs /opt/log-nginx2
 
 
mkdir /opt/log-nginx1
mkdir /opt/log-nginx2
 
同步文件
/usr/shell/daylog
 
 
定时
crontab  -e
 
20 00 * * * /bin/bash  /usr/shell/daylog
 
 
 
 
 
 
 
 
 
 
 
 
 

日志分割
随着网站的访问量越来越大，默认情况下Apache服务器产生单个日志也会越来越大，不对日志分割，那么日志文件占用磁盘会越来越大，如果直接删除会丢失很多比较宝贵的信息，而这些日志可以用来访问分析，网络安全监考，网络运行状况监控等。
解决办法：我们将会Apache的日志每天进行分割。
Apache自带rotatelogs分割工具实现
绝对路径错误日志文件分割
which rotatelogs  '获取软件绝对路径'
vi /etc/httpd.conf 
找到 ErrorLog "logs/error_log" '改引用绝对路径' ErrorLog "|/usr/bin/rotatelogs -l logs/error_log_%Y-%m-%d 86400" '一天就是86400秒'
systemctl restart httpd  
             
cd /usr/local/httpd/logs/
ll    '查看 '
错误日志文件分割
绝对路径正确日志文件分割
which rotatelogs  '获取软件绝对路径'
vi /etc/httpd.conf 
找到 ErrorLog "logs/error_log" '改引用绝对路径' ErrorLog "|/usr/bin/rotatelogs -l logs/access_log_%Y-%m-%d 86400" '一天就是86400秒'
systemctl restart httpd  
             
cd /usr/local/httpd/logs/
ll    '查看 '

第二种第三方软件分割
提前将包纳入   直接解包


编译安装
tar zxvf cronolog-1.6.2.tar.gz 
cd cronolog-1.6.2/
./configure 
make &&make install  '编译安装'
which rotatelogs  '获取软件绝对路径'
vi /etc/httpd.conf 
'修改绝对路径'
找到 ErrorLog "|/usr/bin/rotatelogs -l logs/error_log_%Y-%m-%d 86400"  修改 ErrorLog "|/usr/local/sbin/cronolog logs/error2_log_%Y-%m-%d"
找到 CustomLog "|/usr/bin/rotatelogs -l logs/access_log_%Y-%m-%d 86400" common  修改CustomLog "|/usr/local/sbin/cronolog logs/access2_log_%Y-%m-%d" common
 
systemctl restart httpd  
                           
去浏览器测试访问
cd /usr/local/httpd/logs/
ll    '查看 '

mongo默认是没有进行日志分割的，所有的日志持续写到一个文件中。缺点是很明显的，日志文件会越来越大

占用过多磁盘空间
	
日志文件写入性能越来越低
	
问题排查越来越困难
配置分割策略

要实现日志分割，首先要配置日志分割策略，在mongodb的配置中，systemLog下添加logRotate配置。

logRotate总共有两种取值：

rename

说实话，不是很理解这个名字。

这种策略下，需要写一个shell脚本，加到crontab里面

shell脚本内容如下：

#!/bin/sh

datafile=/var/run/mongodb
logfile=/var/log/mongodb
days=15
/bin/kill -SIGUSR1 `cat $datafile/mongod.pid`

find $logfile/ -mtime +$days -delete


crontab配置每晚凌晨0点执行

0 0 * * * /opt/shell/mongodb_log_rotate.sh > /dev/null 2>&1 &


脚本干了两件事

给mongod进程发出SIGUSR1信号之后，mongod就会乖乖的分割日志。
	
清除超过15天的日志
reopen

如果是通过Linux或者Unix系统的logRotate工具来分割，就需要指定reopen， 当然logappend必须也不能少。关闭文件然后重新打开可以防止日志文件丢失。

你需要在/etc/logrotate.d/目录下新建一个名为mongod的文件，加上如下内容：

/var/log/mongodb /*log {
    create 0644 mongod mongod 
    daily
    rotate 15
    missingok
    notifempty
    compress
    sharedscripts
    postrotate
        /bin/kill -USR1 `cat /run/mongodb/mongod.pid 2>/dev/null` 2>/dev/null || true
    endscript
}



这个配置文件的权限必须为-rw-r--r--，不然logrotate不认。

分割之后的文件名格式就是文件名加上分割的时间戳，如mongod.log.2018-05-16T13-08-58。当然这个时间格式可以通过timeStampFormat来配置，默认的是iso8601-local，还可以选择ctime和iso8601-utc

uwsgi日志分割（踩坑实录）
今天给uwsgi项目配置日志分割，结果怎么都不生效，各种百度都无法解决，最后发现多次执行 uwsgi --ini uwsgi.ini是不会报错的，但是会导致原来的uwsgi进程无法写入日志文件，但新的进程又没成功启动，这样日志文件就没有信息了。

只要先把原uwsgi进程kill或者执行 uwsgi --stop uwsgi.pid， 我傻到执行错命令，执行成 uwsgi --stop uwsgi.ini，真是晕了，下面记录一下配置信息。今天由于这个问题弄了好久！！
1、配置如下
[uwsgi]
#  这里的选项是socket / http   使用nginx再上socket， 不然就使用 http
socket = :5000    
chdir = ./AudioBottle_Service/  
wsgi-file = user_management.py
callable = app      	
processes = 4   
threads = 2     	 
stats = 127.0.0.1:9191     
pidfile = uwsgi.pid        
lazy-apps = true             
master-fifo = ./mfifo  
touch-chain-reload = true
# master = true
# 指定监听文件，修改后重新打开日志
touch-logreopen = /home/sstest/project/touchforlogrotate
#日志路径
daemonize = /home/sstest/project/uwsgi.daemonize.log

2、定时脚本
#!/bin/bash

DIR=`echo $(cd "$(dirname "$0")"; pwd)`
LOGDIR="${DIR}/log"

echo ${DIR} >> tmp.txt
echo ${LOGDIR} >> tmp.txt

sourcelogpath="${DIR}/uwsgi.daemonize.log"
touchfile="${DIR}/touchforlogrotate"

echo ${sourcelogpath} >> tmp.txt
echo ${touchfile} >> tmp.txt

DATE=`date -d "today" +"%Y%m%d"`
destlogpath="${LOGDIR}/uwsgi.daemonize.${DATE}.log"

echo ${DATE} >> tmp.txt
echo ${destlogpath} >> tmp.txt

mv $sourcelogpath $destlogpath
touch ${touchfile}

3、设置定时任务
crondtab -e

# 在里面写入一行

0 0 * * * sh 上面的定时脚本路径

# 执行命令开启定时任务

systemctl start crond

# 设置开机自启动

systemctl enable crond

# 重启crond

systemctl restart crond


4、小tip
可以把定时任务写的小一点比如 * * * * * sh 脚本路径，先测试是否能够实现日志分割的功能，再改回来！