精华内容
下载资源
问答
  • 今天小编就为大家分享一篇利用shell脚本遍历文件夹内所有的文件并作整理统计的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
  • 对linux命令tree的简单实现,遍历指定文件夹下的所有文件
  • 本篇文章主要介绍了shell 遍历文件夹内所有文件并打印绝对路径,具有一定的参考价值,有兴趣的可以了解一下。
  • 今天小编就为大家分享一篇shell 递归遍历目录下的所有文件并统一改名的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
  • shell遍历文件

    2019-02-14 15:09:00
    文件每行的数据,需要按列取 可以 sed 加管道 使用 awk 取列 platform="list.txt" line=`grep -vc '^$' $platform` for (( num=1 ; num<=$line ; num++ ));do filename=`sed -n "$num p" $platform` # ...

     取文件每行的数据,需要按列取  可以 sed 加管道 使用 awk 取列

    platform="list.txt"
    line=`grep -vc '^$' $platform`
    for (( num=1 ; num<=$line ; num++ ));do
        filename=`sed -n "$num p" $platform`  # sed 取每行数据 | awk 取某一列数据 
        mv $filename /backup/system/
    done

     

    转载于:https://www.cnblogs.com/root0/p/10374722.html

    展开全文
  • 主要介绍了shell脚本递归遍历目录及子目录的例子,需要的朋友可以参考下
  • shell脚本遍历遍历文件并操作

    千次阅读 2020-06-01 16:29:34
    再将文件移动到待上传目录,将文件按照一定的格式重命名 # /export/software/hadoop.log1 /export/data/click_log/xxx_click)_log_{date} # 日志文件存放的目录 log_src_dir=/root/logs/log/ # 待上传文件存放目录 ...
    #!/bin/bash
    
    #set java env
    export JAVA_HOME=/root/apps/jdk1.8
    export JAVA_HOME=${JAVA_HOME}/jre
    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
    export PATH=${JAVA_HOME}/bin:$PATH
    
    #set hadoop env
    export HADOOP_HOME=/root/apps/hadoop
    export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH
    
    #版本1的问题
    # 虽然上传到Hadoop集群上了,但是原始文件还在,如何处理?
    # 日志文件的名称都是xxx.log1, 再次上传文件时,因为hdfs上已经存在了,会报错,如何处理?
    
    # 如何解决版本1的问题
    # 1.先将需要上传的文件移动到待上传目录
    # 2.再将文件移动到待上传目录,将文件按照一定的格式重命名
    # /export/software/hadoop.log1    /export/data/click_log/xxx_click)_log_{date}
    
    # 日志文件存放的目录
    log_src_dir=/root/logs/log/
    
    # 待上传文件存放目录
    log_toupload_dir=/root/logs/toupload/
    
    # 日志文件上传到hdfs的根路径
    hdfs_root_dir=/data/clickLog/20191008/    ##按照时间动态获取
    
    # 打印环境变量信息
    echo "envs: hadoop_home: $HADOOP_HOME"
    
    #读取日志文件的目录,判断是否有需要上传的文件
    echo "log_src_dir:"$log_src_dir
    ls $log_src_dir | while read fileName
    do
        if [[ "$fileName" == access.log.* ]]; then
        # if [ "access.log" = "$fileName" ];then
            date = `date + %Y_%m_%d_%H_%M_%S`
            #将文件移动到待上传目录并重命名
            #打印信息
            echo "moving $log_src_dir$fileName to $log_toupload_dir"xxxx_click_log_$fileName"$date"
            mv $log_src_dir$fileName  $log_toupload_dir"xxxx_click_log_$fileName"$date
            #将待上传的文件path写入一个列表文件willDoing
            echo $log_toupload_dir"xxxx_click_log_$fileName"$date >> $log_toupload_dir"willDoing."$date
        fi
        
    done
    #找到列表文件willDoing
    ls  $log_toupload_dir | grep will |grep -v "_COPY_" | grep -v "_DONE_" | while read line
    do
        #打印信息
        echo "toupload is in file:"$line
        #将待上传文件列表willDoing改名为willDoing_COPY_
        mv $log_toupload_dir$line  $log_toupload_dir$line"_COPY_"
        #读列表文件willDoing_COPY_的内容(一个一个的上传文件名),此处的line就是列表中的一个待上传文件中的path
        cat $log_toupload_dir$line"_COPY_" |while read line
        do
            #打印信息
            echo "putting...$line to hdfs path....$hdfs_root_dir"
            hadoop fs -put $line $hdfs_root_dir
        done
        mv $log_toupload_dir$line"_COPY_" $log_toupload_dir$line"_DONE_"
    done
    
    ## 发现失败,发邮件,发短信
    ## wget http://smssendplatform.com/sendsms?custom=cid&smscontent=xxx&receiver=13074491528
    
    
    ```bash
    #! /bin/bash
    slog_src_dir=/home/spark/huo/
    echo $slog_src_dir
    ls $slog_src_dir | while read fileName
    do
            cat oldfiles.log | grep $fileName >/dev/null
            if [ $? -eq 1 ]
            then
                    echo "there is a new file: $fileName"
                    echo $fileName >> oldfiles.log
    
            else
                    echo "there is no new files"
            fi
    done
    
    
    
    ```bash
    if [ -f oldfiles.log ]
    then
            newfile=` ls -t | head -1 `
            cat oldfiles.log | grep $newfile >/dev/null
            if [ $? -eq 1 ]
            then
                    echo "there is a new file: $newfile"
                    echo $newfile >> oldfiles.log
            else
                    echo "there is no new files"
            fi
    
    else
    ls -t -r > oldfiles.log
    echo "cache old files info"
    fi
    
    展开全文
  • shell 遍历文件

    2019-12-18 14:02:53
    cat input.txt |while read line > do > echo $line > done 或者 while read line ...再举个实际点的例子(把所有目录权限修改为755,所有文件为644): # find ./ -type f>file...
    cat input.txt |while read line
    > do
    > echo $line
    > done

    或者

    while read line
    > do
    > echo $line
    > done < input.txt

    再举个实际点的例子(把所有目录权限修改为755,所有文件为644):

    # find ./ -type f>filelist
    # find ./ -type d>dirlist
    # cat dirlist |while read i; do chmod 755 "${i}"; done
    # cat filelist |while read i; do chmod 644 "${i}"; done

     

     

    转自: https://www.bbsmax.com/A/GBJrMOw9z0/

    展开全文
  • 如何使用Linux Shell脚本遍历文本文件内容...仅仅展示了遍历文本文件的代码,本人写shell脚本并不多,也没有什么shell脚步处理文本文件的经验,想从网上找个相同的例子copy一下,但自己作为一个程序猿,去copy别人的...

    如何使用Linux Shell脚本遍历文本文件内容

    前言

    前几日,因需写一个shell脚本,按照格式要求遍历文本文件中的每一个账号密码,实现登录,至于去做什么,我在这里就不多说了,此案例我也去除了这个脚本主要实现功能的代码部分,仅仅展示了遍历文本文件的代码,本人写shell脚本并不多,也没有什么shell脚步处理文本文件的经验,想从网上找个相同的例子copy一下,但自己作为一个程序猿,去copy别人的代码,想想就不舒服,所以就决定自己写一个。

    文本样式

    _post-2018-01-23-text%20demo.png?raw=true

    文件中文本格式每个字符串之间有一个“.”号为分隔,那我们就拿这个“.”做分隔符。

    代码示例

    count_line=`wc -l /opt/check_in/demo.txt |awk '{print $1}'`

    for int in $( seq 1 $count_line )

    do

    account_data=""

    next_line=`sed -n "$int,"$int"p" /opt/check_in/info.txt`

    for i in `echo $next_line`

    do

    account_data[0]=`echo $i |awk -F "[.]" '{print $1}'`

    account_data[1]=`echo $i |awk -F "[.]" '{print $2}'`

    done

    account=`echo ${account_data[0]}`

    password=`echo ${account_data[1]}`

    done

    顺便分享一下shell脚本实现产生随机数:

    function rand(){

    min=$1

    max=$(($2-$min+1))

    num=$(date +%s%N)

    echo $(($num%$max+$min))

    }

    rnd=$(rand 10 22)

    虽然shell脚本编码过程,比起python真的很心累,但撸完代码后,心情很是很棒的!

    展开全文
  • 遍历文件夹下所有文件,不包含子目录: getfilesordir(){ for file in `ls $1` do if test -f $file then echo "file: $file" elif test -d $file then echo "path: $file" fi done } path="./" ...
  • 遍历linux某目录下的所有文件#!/bin/bash# $1是运行脚本时,输入的第一个参数,这里指的是使用者希望搜索的目录# 下面的代码是对目录进行判断,如果为空则使用脚本所在的目录;否则,搜索用户输入的目录if [[ -z "$1...
  • shell 文件遍历

    2015-09-08 01:14:14
    shell 文件遍历 发现的一个脚本遍历文件的写的蛮不错的记录下。 #!/bin/bash function ergodic(){ for file in ` ls $1` do if [ -d $1"/"$file ] #如果 file存在且是一个目录则为真 then ergodic
  • 今天小编就为大家分享一篇使用Shell遍历目录及其子目录中的所有文件方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
  • 可以使用ls或者find来完成对某个文件夹下所有文件遍历比如使用ls可以简单地使用一个通配符来完成ls 某个目录/*也可以使用find来完成比如find 某个目录自然的也可以写一个shell脚本来进行遍历首先进行一个要遍历的...
  • shell 脚本遍历目录

    2009-12-20 10:52:51
    采用shell脚本实现遍历文件并将文件打印到标准输出的小脚本,主要是学习。
  • #!/bin/bash function read_dir(){ for file in `ls $1` #注意此处这是两个反引号,表示... echo $1"/"$file #在此处处理文件即可 fi done } read_dir $1 使用方法: bash file-search.sh DIR 一定要使用..
  • 因为需求的变化,线上资源需要批量更新,现在将遍历目录中的文件及文件夹的方法记录一下,免得忘记。 知识点 $( ls - l ) 执行命令,获取命令行结果 ${val} 使用之前的变量,等同于 $val ,花括号只是起到告知...
  • Shell脚本遍历某个目录下的文件

    千次阅读 2020-03-18 17:34:53
    通过Shell脚本实现对某目录下所有文件遍历
  • 最近博客进行了搬家,CDN源发生改变,想着在CDN上将博客所有图片刷新预热一遍,那么问题来了,刷新预热需要得到所有图片地址,于是直接使用Shell脚本递归遍历wp-content/uploads目录先得到图片文件路径,说干咱就干...
  • 在将windows上的jsp网页移植到linux环境中时,发现一个个的转换编码及修改默认编码类型太慢,写此脚本进行尝试文件遍历~ 好久不写,手生了。 代码如下: #!/bin/bash # # SPATH=”/root/chengji/WebRoot” DPATH=”/...
  • Shell读取并遍历文件

    2020-04-05 11:17:13
    1、读取并遍历文件 cat /tmp/text.log|while read line do echo ${line} done
  • readDir $1 $2 #分别代表两个参数,即后面调用时传入的 '遍历目标文件夹路径' 和 '遍历结果保存路径' 给脚本添加执行权限: chmod 755 findClass.sh (7:x:执行=1 + r:读=4 +w:写=2;5:x + r) 或者 ...
  • 本篇文章扣丁学堂Linux培训小编给读者们分享一下利用shell脚本遍历文件夹内所有的文件并作整理统计的方法,文章具有很好的参考价值,感兴趣的小伙伴就随小编来了解一下吧。环境: Ubuntu下采用shell脚本实现案例简述...
  • shell脚本遍历文件夹下所有文件

    千次阅读 2019-04-23 23:04:15
    脚本内容: #!/bin/bash #by fuqiang #2019-04-23 function getdir(){ for element in `ls $1` do dir_or_file=$1"/"$element if [ -d $dir_or_file ] then getdir $dir_or_file ...
  • #!/bin/bash read_dir(){ for file in `ls -a $1` do if [ -d $1"/"$file ] then if [[ $file != '.' && $file != '..' ]] then read_dir $1"/"$file fi else echo $1"/"$file ...read_dir test
  • 使用 for 循环 这种方法最常见,所以直接给出代码 #!/usr/bin/env bash read -p "input dir path" dir for item in `ls $dir`; do echo $item ...小括号在shell中有初始化数组的作用,所以可以将得到的字
  • /bin/bashfunctionergodic(){forfile in `ls$1`doif [-d$1"/"$file]#如果 file存在且是一个目录则为真thenergodic$1"/"$fileelselocalpath=$1"/"$file#得到文件的完整的目录localname=$file#得到文件的名字#做自己的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 63,786
精华内容 25,514
关键字:

shell文件遍历

友情链接: M1_1.rar