2017-01-04 23:25:52 jiangchao858 阅读数 3694

摘要: 最近有需求要删除Linux中旧的压缩包,发现网上给的答案都是删除N天前的文件,无法适应我的要求,于是自己研究了一翻。

背景

公司的文件服务器上存有所需的项目war包,一段时间以后,大量不用的工程文件占用磁盘空间,需要定期删除无用的文件。这些文件归属不同的项目目录下,创建的时间各不相同。某些陈旧项目已经数年没有更新。因此,不能只定期删除某个目录下的文件,更不能按时间删除多少天以前的文件。

推进

  • 统计目录下的文件夹数量
    ls -l | grep '^d' | wc -l
    这里的grep '^d'是统计文件夹,如果统计文件数目,用grep '^-'
  • 列举最老的2个文件
    ls -tr | head -2 | xargs
  • 删除所有文件
    rm -rf *

完工

#!/bin/bash
#不同的项目有不同的路径
array[0]='project1'
array[1]='project2'
array[2]='com/project3'
array[3]='com/phase/project4'
array[4]='project5'
array[5]='com/stor/sproject6'
#项目的主干目录是相同的
RELEASE="/opt/devapps/nexus/sonatype-work/nexus/storage/release/"

for path in ${array[@]};
do
    #拼接文件路径
    releasepath=${RELEASE}${path}
    cd $releasepath
    #判断是否存在该目录
    if [ $? -eq 0 ];
    then
        echo $releasepath
        echo "Contains file:"
        #输出所有的内容
        echo *
        num=`ls -l | grep '^d' | wc -l`;
        #判断文件夹的数量是否超过5个(我只想保留最新的5个文件夹)
        if [$num -gt 5 ];
        then
            #计算超过5个多少
            num=`expr $num - 5`
            clean=`ls -tr | head -$num | xargs`
            echo "will delete file:"
            echo ${clean}
            #-n1 每次处理1个文件
            ls -tr | head -$num | xargs -i -n1 rm -rf {}
        fi
    fi
done

完善

实际部署时,觉得直接删除文件不妥,应该是先备份到某一目录,再次运行脚本的时候,删除上次备份的文件。

#!/bin/bash
array[0]='project1'
array[1]='project2'
array[2]='com/project3'
array[3]='com/phase/project4'
array[4]='project5'
array[5]='com/stor/sproject6'
RELEASE="/opt/devapps/nexus/sonatype-work/nexus/storage/release/"

#清空备份文件
BACKUP="/tmp/storage/"
cd $BACKUP
if [ $? -eq 0 ];
then
    rm -rf *
fi

#清除超过5个文件之外最老的那些文件
for path in ${array[@]};
do
    releasepath=${RELEASE}${path}
    cd $releasepath
    if [ $? -eq 0 ];
    then
        echo $releasepath
        echo "Contains file:"
        echo *
        num=`ls -l | grep '^d' | wc -l`;
        if [$num -gt 5 ];
        then
            num=`expr $num - 5`
            clean=`ls -tr | head -$num | xargs`
            echo "will delete file:"
            echo ${clean}
            #把文件移动到备份文件夹更安全
            ls -tr | head -$num | xargs -i -n1 mv {} $BACKUP
        fi
    fi
done

自动化处理

将上述脚本保存为removecode.sh,然后添加crontab。
crontab -e
添加如下一行,每月运行一次:
0 0 1 * * /opt/project/removecode.sh > /opt/project/remove.log 2>&1 &

2019-06-19 11:35:03 xuxiannian 阅读数 132

Linux定时任务配置且清除N天前文件

1.找到定时任务文件查看并编辑

(1)Linux 命令行,进入目录:cd /var/spool/cron/
(2)查看定时任务:crontab -l
(3)编辑定时任务文件:vi root 编辑定时任务 编辑完成后,点ESC,然后:wq
  (4)   编辑完成后重新启动:#service crond restart
【注】
时间格式

分钟 小时 日期 月份 周 命令

数字范围 0-59 0-23 1-31 1-12 0-7 echo "hello" >> abc.log

特殊字符的含义

*(星号) 代表任何时刻都接受。

,(逗号) 代表分隔时段的意思。

-(减号) 代表一段时间范围内。

/n(斜线) 那个 n 代表数字,每隔 n 单位间隔。

eg1: 每年的五月一日 10:5 执行一次

5 10 1 5 * command(要是执行网址(curl "http://网址"),或者执行其它的直接写路径)

eg2: 每天的三点,六点各执行一次

00 3,6 * * * command

eg3: 每天的8:20, 9:20,10:20,11:20各执行一次

20 8-11 * * * command

eg4: 每五分钟执行一次

*/5 * * * * command

eg5: 每周一十点执行一次

00 10 * * 1 command

编写shell脚本

语句写法:
find 对应目录 -mtime +天数 -name “文件名” -exec rm -rf {} ;
例如:
设置是每天凌晨1点执行clear文件进行数据清理
  示例:

  #!/bin/sh
  find /usr/log -mtime +6 -name"server.log.*" -exec rm -rf {} \;
  exit

设置定时任:
  [root@aaaaa ~]# crontab -l

  * 1 * * * sh /root/AutoDelLog.sh

这样每天晚上1点执行这个脚本,脚本是删除6天前的文件
find /etc/rc.d -name ‘*crond’ -exec file {} ;
查找/etc/rc.d目录下面所有以crond结束的文件,并使用file指令查看其属性
【注意】:exec和file间是一个空格,file和{}间是一个空格,{}和;之间是一个空格,;是一个整体。

按磁盘大小排序

按从大至小的顺序排序: du -sh * | sort -nr

选出排在前面的10个:du -s * | sort -nr | head 

选出排在后面的10个:du -s * | sort -nr | tail 

2014-04-05 06:59:28 iteye_5904 阅读数 2359

    当磁盘大小超过标准时会有报警提示,这时如果掌握df和du命令是非常明智的选择。

    df可以查看一级文件夹大小、使用比例、档案系统及其挂入点,但对文件却无能为力。
    du可以查看文件及文件夹的大小。

 

    两者配合使用,非常有效。比如用df查看哪个一级目录过大,然后用df查看文件夹或文件的大小,如此便可迅速确定症结。

 

 

    下面分别简要介绍

 

    df命令可以显示目前所有文件系统的可用空间及使用情形,请看下列这个例子:

[yayug@yayu ~]$ df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/sda1             3.9G  300M  3.4G   8% /
/dev/sda7             100G  188M   95G   1% /data0
/dev/sdb1             133G   80G   47G  64% /data1
/dev/sda6             7.8G  218M  7.2G   3% /var
/dev/sda5             7.8G  166M  7.2G   3% /tmp
/dev/sda3             9.7G  2.5G  6.8G  27% /usr
tmpfs                 2.0G     0  2.0G   0% /dev/shm

 

    参数 -h 表示使用「Human-readable」的输出,也就是在档案系统大小使用 GB、MB 等易读的格式。

 

    上面的命令输出的第一个字段(Filesystem)及最后一个字段(Mounted on)分别是档案系统及其挂入点。我们可以看到 /dev/sda1 这个分割区被挂在根目录下。

 

    接下来的四个字段 Size、Used、Avail、及 Use% 分别是该分割区的容量、已使用的大小、剩下的大小、及使用的百分比。 FreeBSD下,当硬盘容量已满时,您可能会看到已使用的百分比超过 100%,因为 FreeBSD 会留一些空间给 root,让 root 在档案系统满时,还是可以写东西到该档案系统中,以进行管理。

 

 

    du:查询文件或文件夹的磁盘使用空间

 

    如果当前目录下文件和文件夹很多,使用不带参数du的命令,可以循环列出所有文件和文件夹所使用的空间。这对查看究竟是那个地方过大是不利的,所以得指定 深入目录的层数,参数:--max-depth=,这是个极为有用的参数!如下,注意使用“*”,可以得到文件的使用空间大小.

 

    提醒:一向命令比linux复杂的FreeBSD,它的du命令指定深入目录的层数却是比linux简化,为 -d。

[root@bsso yayu]# du -h --max-depth=1 work/testing
27M     work/testing/logs
35M     work/testing

[root@bsso yayu]# du -h --max-depth=1 work/testing/*
8.0K    work/testing/func.php
27M     work/testing/logs
8.1M    work/testing/nohup.out
8.0K    work/testing/testing_c.php
12K     work/testing/testing_func_reg.php
8.0K    work/testing/testing_get.php
8.0K    work/testing/testing_g.php
8.0K    work/testing/var.php

[root@bsso yayu]# du -h --max-depth=1 work/testing/logs/
27M     work/testing/logs/

[root@bsso yayu]# du -h --max-depth=1 work/testing/logs/*
24K     work/testing/logs/errdate.log_show.log
8.0K    work/testing/logs/pertime_show.log
27M     work/testing/logs/show.log

 

    值得注意的是,看见一个针对du和df命令异同的文章:《du df 差异导致文件系统误报解决》。

 

    du 统计文件大小相加
    df  统计数据块使用情况

 

    如果有一个进程在打开一个大文件的时候,这个大文件直接被rm 或者mv掉,则du会更新统计数值,df不会更新统计数值,还是认为空间没有释放。直到这个打开大文件的进程被Kill掉。

 

    如此一来在定期删除 /var/spool/clientmqueue下面的文件时,如果没有杀掉其进程,那么空间一直没有释放。

 

    使用下面的命令杀掉进程之后,系统恢复。
    fuser -u /var/spool/clientmqueue

 

 

 

来源: http://www.yayu.org/look.php?id=162

 

df

 

df - 报告文件系统磁盘空间的使用情况 

总览

df [OPTION]... [FILE]... POSIX 选项: [-kP]

GNU 选项 (最短方式): [-ahHiklmPv] [-t fstype] [-x fstype] [--block-size=size] [--print-type] [--no-sync] [--sync] [--help] [--version] [--] 

描述

此手册页文档是df的GNU版本. df命令列出指定的每一个文件名所在的文件系统上可用磁盘空间的数量。 如果没有指定文件名,则显示当前所有使用中的文件系统.缺省设置时, 磁盘空间以1K为一块显示,如果环境变量POSIXLY_CORRECT已设 置,则采用512字节为一块显示. 如果参数是一个包含已使用文件系统的磁盘设备名, df命令显示出的是该文件系统的可用空间,而非包含设备结点的文件系 统(只能是根文件系统).此版本的df不能显示未使用文件系统的可用空 间,这是由于大多数系统在响应这样的请求时必须很清楚该文件系统的 结构.

GNU 参数说明

-a, --all
    列出包括BLOCK为0的文件系统 
--block-size=SIZE use SIZE-byte blocks
    指定块的大小 
-h,--huma-readable
    用常见的格式显示出大小(例如:1K 234M 2G) 
-H,--si
    同上,但是这里的1k等于1000字节而不是1024字节 
-i, --inodes
    用信息索引点代替块表示使用状况 
-k, --kilobytes
    指定块大小等于1024字节来显示使用状况 
-l, --local
    只显示本地文件系统使用状况 
-m, --megabytes
    以指定块大小等于1048576字节(1M)来显示使用状况 
--no-sync
    在取得使用信息前禁止调用同步 (default) 
-P, --portability
    使用POSIX格式输出 
--sync
    在取得使用信息前调用同步 
-t, --type=TYPE
    只显示指定类型(TYPE)的文件系统 
-T, --print-type
    输出每个文件系统的类型 
-x, --exclude-type=TYPE
    只显示指定类型(TYPE)之外的文件系统. 
-v (忽略)
--help
    输出该命令的帮助信息并退出 
--version
    输出版本信息并退出 
[root@localhost ~]# df     #列出各文件系统的磁盘空间使用情况

[root@localhost ~]# df -ia    #列出各文件系统的i节点使用情况

[root@localhost ~]# df -T    #列出文件系统的类型

[root@localhost ~]# df -h    #目前磁盘空间和使用情况 以更易读的方式显示

[root@localhost ~]# df -k    #以单位显示磁盘的使用情况

 

du

du - 报告磁盘空间使用情况

-a, --all
    显示对所有文件的统计,而不只是包含子目录。
-b, --bytes
    输出以字节为单位的大小,替代缺省时1024字节的计数单位。
--block-size=size
    输出以块为单位的大小,块的大小为 size 字节。( file- utils-4.0 的新选项)
-c, --total
    在处理完所有参数后给出所有这些参数的总计。这个选项被 用给出指定的一组文件或目录使用的空间的总和。
-D, --dereference-args
    引用命令行参数的符号连接。但不影响其他的符号连接。 这对找出象 /usr/tmp 这样的目录的磁盘使用量有用, /usr/tmp 等通常是符号连接。 译住:例如在 /var/tmp 下建立一个目录test, 而/usr/tmp 是指向 /var/tmp 的符号连接。du /usr/tmp 返回一项 /usr/tmp , 而 du - D /usr/tmp 返回两项 /usr/tmp,/usr/tmp/test。
--exclude=pattern
    在递归时,忽略与指定模式相匹配的文件或子目录。模式 可以是任何 Bourne shell 的文件 glob 模式。( file- utils-4.0 的新选项)
-h, --human-readable
    为每个数附加一个表示大小单位的字母,象用M表示二进制 的兆字节。
-H, --si
    与 -h 参数起同样的作用,只是使用法定的 SI 单位( 用 1000的幂而不是 1024 的幂,这样 M 代表的就是1000000 而不是 1048576)。(fileutils-4.0 的新选项)
-k, --kilobytes
    输出以1024字节为计数单位的大小。
-l, --count-links
    统计所有文件的大小,包括已经被统计过的(作为一个硬连接)。
-L, --dereference
    引用符号连接(不是显示连接点本身而是连接指向的文件或 目录所使用的磁盘空间)。
-m, --megabytes
    输出以兆字节的块为计数单位的大小(就是 1,048,576 字节)。
--max-depth=n
    只输出命令行参数的小于等于第 n 层的目录的总计。 --max-depth=0的作用同于-s选项。(fileutils-4.0的新选项)
-s, --summarize
    对每个参数只显示总和。
-S, --separate-dirs
    单独报告每一个目录的大小,不包括子目录的大小。
-x, --one-file-system
    忽略与被处理的参数不在同一个文件系统的目录。
-X file, --exclude-from=file
    除了从指定的文件中得到模式之外与 --exclude 一样。 模式以行的形式列出。如果指定的文件是'-',那么从标准输 入中读出模式。(fileutils-4.0 的新选项) GNU 标准选项
--help
    在标准输出上输出帮助信息后正常退出。
--version
    在标准输出上输出版本信息后正常退出。

 

[root@rudder ~]# du             #查看当前目录下的,所有文件和目录
284     ./.cache/wallpaper
288     ./.cache
20      ./ar_test
364     .

[root@rudder ~]# du -ah         #详细查看当前目录,子目录下的,所有文件和目录
4.0K    ./.bashrc
4.0K    ./abc.sh
4.0K    ./.viminfo
4.0K    ./.bash_logout
0       ./.Xauthority
4.0K    ./rec00001abc.sh.bz2
12K     ./examples.desktop
4.0K    ./abc.sh.bz2
0       ./.cache/motd.legal-displayed
280K    ./.cache/wallpaper/0_5_1024_768_792beab7550410d531e55f95b449f135
284K    ./.cache/wallpaper
288K    ./.cache
4.0K    ./.profile
4.0K    ./.bash_history
4.0K    ./ar_test/ar.test
4.0K    ./ar_test/mytest.a
0       ./ar_test/test1.o
4.0K    ./ar_test/ar.text
4.0K    ./ar_test/bb.a
20K     ./ar_test
4.0K    ./test.bz2
4.0K    ./test
364K    .

[root@rudder ~]# du test.bz2    #查看单个文件
4       test.bz2

 

 

 

2013-07-22 15:55:58 BBka_717 阅读数 1409

Linux_找出最近修改的文件_find_-mtime -n


find . -mtime -3

表示找出当前目录(包括子目录)内,3天以内修改过的文件。


find . -mtime +3

表示找出当前目录(包括子目录)内,3天以前修改过的文件。


find /home/root/ -mtime -3

表示找出/home/root/(包括子目录)内,3天以内修改过的文件。

2015-12-08 12:57:11 iteye_6250 阅读数 86

 

 

语句写法:find 对应目录 -mtime +天数 -name "文件名" -exec rm -rf {} \;
例1:将/usr/local/backups目录下所有10天前带"."的文件删除

 

find /usr/local/backups -mtime +10 -name "*.*" -exec rm -rf {} \;


find:linux的查找命令,用户查找指定条件的文件

/usr/local/backups:想要进行清理的任意目录

-mtime:标准语句写法

+10:查找10天前的文件,这里用数字代表天数,+30表示查找30天前的文件

"*.*":希望查找的数据类型,"*.jpg"表示查找扩展名为jpg的所有文件,"*"表示查找所有文件,这个可以灵活运用,举一反三

-exec:固定写法

rm -rf:强制删除文件,包括目录

{} \; :固定写法,一对大括号+空格+\

 

 

 

linux 下的文件

阅读数 872

没有更多推荐了,返回首页