精华内容
下载资源
问答
  • >&8 done #创建for循环执行ping语句,通过管道控制最大同时并行进程数,使用完一次管道后再重新写入一次,始终保持管道中有5行可读 for i in {1..254} do read -u 8 { ip="10.1.100.$i" ping -c1 -W2 $ip &> /...
    #!bin/bash
    num=5
    fifofile="/tmp/$$.fifo"
    
    #创建管道文件,以8作为管道符,删除不影响句柄使用
    mkfifo $fifofile
    exec 8<> $fifofile
    rm $fifofile
    
    #创建for循环使得管道中初始化已存在5行空行
    for i in `seq $num`
    do
    	echo "" >&8
    done
    #创建for循环执行ping语句,通过管道控制最大同时并行进程数,使用完一次管道后再重新写入一次,始终保持管道中有5行可读
    for i in {1..254}
    do
    	read -u 8
    	{
    	ip="10.1.100.$i"
    	ping -c1 -W2 $ip &> /dev/null
    	if [ $? -eq 0 ];then
    		echo "$ip up..."
    	else
    		echo "$ip done..."
    	fi
    	echo >&8
    	}&
    done
    wait
    echo "Script run finish..."
    
    展开全文
  • [Linux]Linux Shell多进程并发以及并发控制

    万次阅读 多人点赞 2016-09-12 12:56:59
    Unix是一个多任务系统,允许多用户同时运行多个程序。shell的元字符&提供了在后台运行不需要键盘输入的程序的方法...输入命令后,其后紧跟&字符,该命令就会被送往到linux后台执行,而终端又可以继续输入下一个命令了。

    1. 基础知识准备

    1.1. linux后台进程

    Unix是一个多任务系统,允许多用户同时运行多个程序。shell的元字符&提供了在后台运行不需要键盘输入的程序的方法。输入命令后,其后紧跟&字符,该命令就会被送往到linux后台执行,而终端又可以继续输入下一个命令了。
    比如:

    sh a.sh &
    sh b.sh &
    sh c.sh &

    这三个命令就会被同时送往linux后台执行,在这个程度上,认为这三个命令并发执行了。

    1.2. linux文件描述符

    文件描述符(缩写fd)在形式上是一个非负整数。实际上,它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时,内核向进程返回一个文件描述符。每一个unix进程,都会拥有三个标准的文件描述符,来对应三种不同的流:

    文件描述符 名称
    0 Standard Input
    1 Standard Output
    2 Standard Error

    每一个文件描述符会对应一个打开文件,同时,不同的文件描述符也可以对应同一个打开文件;同一个文件可以被不同的进程打开,也可以被同一个进程多次打开。

    /proc/PID/fd中,列举了进程PID所拥有的文件描述符,例如

    #!/bin/bash
    source /etc/profile;
    
    # $$表示当前进程的PID
    PID=$$
    
    # 查看当前进程的文件描述符指向
    ll /proc/$PID/fd
    echo "-------------------";echo
    
    # 文件描述符1与文件tempfd1进行绑定
    ( [ -e ./tempfd1 ] || touch ./tempfd1 ) && exec 1<>./tempfd1
    
    # 查看当前进程的文件描述符指向
    ll /proc/$PID/fd
    echo "-------------------";echo;
    [ouyangyewei@localhost learn_linux]$ sh learn_redirect.sh 
    total 0
    lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 0 -> /dev/pts/0
    lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 1 -> /dev/pts/0
    lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 2 -> /dev/pts/0
    lr-x------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 255 -> /home/ouyangyewei/workspace/learn_linux/learn_redirect.sh
    -------------------
    
    [ouyangyewei@localhost learn_linux]$ cat tempfd1 
    total 0
    lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 0 -> /dev/pts/0
    lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 1 -> /home/ouyangyewei/workspace/learn_linux/tempfd1
    lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 2 -> /dev/pts/0
    lr-x------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 255 -> /home/ouyangyewei/workspace/learn_linux/learn_redirect.sh
    -------------------

    上述的例子中第12行,将文件描述符1与文件tempfile进行了绑定,此后,文件描述符1指向了tempfile文件,标准输出被重定向到了文件tempfile中。

    1.3. linux管道

    在Unix或类Unix操作系统中,管道是一个由标准输入输出链接起来的进程集合,因此,每一个进程的输出将直接作为下一个进程的输入,

    linux管道包含两种:

    • 匿名管道
    • 命名管道

    管道有一个特点,如果管道中没有数据,那么取管道数据的操作就会滞留,直到管道内进入数据,然后读出后才会终止这一操作;同理,写入管道的操作如果没有读取管道的操作,这一动作就会滞留。

    1.3.1. 匿名管道

    在Unix或类Unix操作系统的命令行中,匿名管道使用ASCII中垂直线|作为匿名管道符,匿名管道的两端是两个普通的,匿名的,打开的文件描述符:一个只读端和一个只写端,这就让其它进程无法连接到该匿名管道。

    例如:

    cat file | less

    为了执行上面的指令,Shell创建了两个进程来分别执行catless。下图展示了这两个进程是如何使用管道的:
    unix_unnamed_pipe
    有一点值得注意的是两个进程都连接到了管道上,这样写入进程cat就将其标准输出(文件描述符为fd 1)连接到了管道的写入端,读取进程less就将其标准输入(文件描述符为fd 0)连接到了管道的读入端。实际上,这两个进程并不知道管道的存在,它们只是从标准文件描述符中读取数据和写入数据。shell必须要完成相关的工作。

    1.3.2. 命名管道(FIFO,First In First Out)

    命名管道也称FIFO,从语义上来讲,FIFO其实与匿名管道类似,但值得注意:

    • 在文件系统中,FIFO拥有名称,并且是以设备特俗文件的形式存在的;
    • 任何进程都可以通过FIFO共享数据;
    • 除非FIFO两端同时有读与写的进程,否则FIFO的数据流通将会阻塞;
    • 匿名管道是由shell自动创建的,存在于内核中;而FIFO则是由程序创建的(比如mkfifo命令),存在于文件系统中;
    • 匿名管道是单向的字节流,而FIFO则是双向的字节流;

    比如,可以利用FIFO实现单服务器、多客户端的应用程序:
    unix_named_pipe


    有了上面的知识准备,现在可以开始讲述,linux多进程并发时,如何控制每次并发的进程数。

    2. linux多进程并发数控制

    最近小A需要生产2015年全年的KPI数据报表,现在小A已经将生产脚本写好了,生产脚本一次只能生产指定一天的KPI数据,假设跑一次生产脚本需要5分钟,那么:
    * 如果是循环顺序执行,那么需要时间:5 * 365 = 1825 分钟,约等于 6 天
    * 如果是一次性放到linux后台并发执行,365个后台任务,系统可承受不住哦!

    既然不能一次性把365个任务放到linux后台执行,那么,能不能实现自动地每次将N个任务放到后台并发执行呢?当然是可以的啦。

    #! /bin/bash
    source /etc/profile;
    
    # -----------------------------
    
    tempfifo=$$.fifo        # $$表示当前执行文件的PID
    begin_date=$1           # 开始时间
    end_date=$2             # 结束时间
    
    if [ $# -eq 2 ] 
    then
        if [ "$begin_date" \> "$end_date" ]
        then
            echo "Error! $begin_date is greater than $end_date"
            exit 1;
        fi
    else
        echo "Error! Not enough params."
        echo "Sample: sh loop_kpi 2015-12-01 2015-12-07"
        exit 2;
    fi
    
    # -----------------------------
    
    trap "exec 1000>&-;exec 1000<&-;exit 0" 2
    mkfifo $tempfifo
    exec 1000<>$tempfifo
    rm -rf $tempfifo
    
    for ((i=1; i<=8; i++))
    do
        echo >&1000
    done
    
    while [ $begin_date != $end_date ]
    do
        read -u1000
        {
            echo $begin_date
            hive -f kpi_report.sql --hivevar date=$begin_date
            echo >&1000
        } &
    
        begin_date=`date -d "+1 day $begin_date" +"%Y-%m-%d"`
    done
    
    wait
    echo "done!!!!!!!!!!"
    • 第6~22行:比如:sh loop_kpi_report.sh 2015-01-01 2015-12-01
      • $1表示脚本入参的第一个参数,等于2015-01-01
      • $2表示脚本入参的第二个参数,等于2015-12-01
      • $#表示脚本入参的个数,等于2
      • 第13行用于比较传入的两个日期的大小,\>是转义
    • 第26行:表示在脚本运行过程中,如果接收到Ctrl+C中断命令,则关闭文件描述符1000的读写,并正常退出
      • exec 1000>&-;表示关闭文件描述符1000的写
      • exec 1000<&-;表示关闭文件描述符1000的读
      • trap是捕获中断命令
    • 第27~29行:
      • 第27行,创建一个管道文件
      • 第28行,将文件描述符1000与FIFO进行绑定,<读的绑定,>写的绑定,<>则标识对文件描述符1000的所有操作等同于对管道文件$tempfifo的操作
      • 第29行,可能会有这样的疑问:为什么不直接使用管道文件呢?事实上这并非多此一举,管道的一个重要特性,就是读写必须同时存在,缺失某一个操作,另一个操作就是滞留,而第28行的绑定文件描述符(读、写绑定)正好解决了这个问题
    • 第31~34行:对文件描述符1000进行写入操作。通过循环写入8个空行,这个8就是我们要定义的后台并发的线程数。为什么是写空行而不是写其它字符?因为管道文件的读取,是以行为单位的
    • 第37~42行:
      • 第37行,read -u1000的作用就是读取管道中的一行,在这里就是读取一个空行;每次读取管道就会减少一个空行
      • 第39~41行,注意到第42行结尾的&吗?它表示进程放到linux后台中执行
      • 第41行,执行完后台任务之后,往文件描述符1000中写入一个空行。这是关键所在了,由于read -u1000每次操作,都会导致管道减少一个空行,当linux后台放入了8个任务之后,由于文件描述符1000没有可读取的空行,将导致read -u1000一直处于等待。

    3. 参考资料

    展开全文
  • 1. 基础知识准备 1.1. linux后台进程 Unix是一个多任务系统...字符,该命令就会被送往到linux后台执行,而终端又可以继续输入下一个命令了。 比如: sh a.sh & sh b.sh & sh c.sh & 这三个命令就会...

    1. 基础知识准备
    1.1. linux后台进程
    Unix是一个多任务系统,允许多用户同时运行多个程序。shell的元字符&提供了在后台运行不需要键盘输入的程序的方法。输入命令后,其后紧跟&字符,该命令就会被送往到linux后台执行,而终端又可以继续输入下一个命令了。
    比如:

    sh a.sh &
    sh b.sh &
    sh c.sh &


    这三个命令就会被同时送往linux后台执行,在这个程度上,认为这三个命令并发执行了。

    1.2. linux文件描述符
    文件描述符(缩写fd)在形式上是一个非负整数。实际上,它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时,内核向进程返回一个文件描述符。每一个unix进程,都会拥有三个标准的文件描述符,来对应三种不同的流:

    文件描述符    名称
    0    Standard Input
    1    Standard Output
    2    Standard Error
    每一个文件描述符会对应一个打开文件,同时,不同的文件描述符也可以对应同一个打开文件;同一个文件可以被不同的进程打开,也可以被同一个进程多次打开。

    在/proc/PID/fd中,列举了进程PID所拥有的文件描述符,例如

    #!/bin/bash
    source /etc/profile;
    
    # $$表示当前进程的PID
    PID=$$
    
    # 查看当前进程的文件描述符指向
    ll /proc/$PID/fd
    echo "-------------------";echo
    
    # 文件描述符1与文件tempfd1进行绑定
    ( [ -e ./tempfd1 ] || touch ./tempfd1 ) && exec 1<>./tempfd1
    
    # 查看当前进程的文件描述符指向
    ll /proc/$PID/fd
    echo "-------------------";echo;
    [ouyangyewei@localhost learn_linux]$ sh learn_redirect.sh 
    total 0
    lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 0 -> /dev/pts/0
    lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 1 -> /dev/pts/0
    lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 2 -> /dev/pts/0
    lr-x------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 255 -> /home/ouyangyewei/workspace/learn_linux/learn_redirect.sh
    -------------------
    
    [ouyangyewei@localhost learn_linux]$ cat tempfd1 
    total 0
    lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 0 -> /dev/pts/0
    lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 1 -> /home/ouyangyewei/workspace/learn_linux/tempfd1
    lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 2 -> /dev/pts/0
    lr-x------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 255 -> /home/ouyangyewei/workspace/learn_linux/learn_redirect.sh
    -------------------


    上述的例子中第12行,将文件描述符1与文件tempfile进行了绑定,此后,文件描述符1指向了tempfile文件,标准输出被重定向到了文件tempfile中。

    1.3. linux管道
    在Unix或类Unix操作系统中,管道是一个由标准输入输出链接起来的进程集合,因此,每一个进程的输出将直接作为下一个进程的输入,

    linux管道包含两种:

    匿名管道
    命名管道
    管道有一个特点,如果管道中没有数据,那么取管道数据的操作就会滞留,直到管道内进入数据,然后读出后才会终止这一操作;同理,写入管道的操作如果没有读取管道的操作,这一动作就会滞留。

    1.3.1. 匿名管道
    在Unix或类Unix操作系统的命令行中,匿名管道使用ASCII中垂直线|作为匿名管道符,匿名管道的两端是两个普通的,匿名的,打开的文件描述符:一个只读端和一个只写端,这就让其它进程无法连接到该匿名管道。

    例如:

    cat file | less
    1
    为了执行上面的指令,Shell创建了两个进程来分别执行cat和less。下图展示了这两个进程是如何使用管道的:

    有一点值得注意的是两个进程都连接到了管道上,这样写入进程cat就将其标准输出(文件描述符为fd 1)连接到了管道的写入端,读取进程less就将其标准输入(文件描述符为fd 0)连接到了管道的读入端。实际上,这两个进程并不知道管道的存在,它们只是从标准文件描述符中读取数据和写入数据。shell必须要完成相关的工作。

    1.3.2. 命名管道(FIFO,First In First Out)
    命名管道也称FIFO,从语义上来讲,FIFO其实与匿名管道类似,但值得注意:

    在文件系统中,FIFO拥有名称,并且是以设备特俗文件的形式存在的;
    任何进程都可以通过FIFO共享数据;
    除非FIFO两端同时有读与写的进程,否则FIFO的数据流通将会阻塞;
    匿名管道是由shell自动创建的,存在于内核中;而FIFO则是由程序创建的(比如mkfifo命令),存在于文件系统中;
    匿名管道是单向的字节流,而FIFO则是双向的字节流;
    比如,可以利用FIFO实现单服务器、多客户端的应用程序:


    有了上面的知识准备,现在可以开始讲述,linux多进程并发时,如何控制每次并发的进程数。

    2. linux多进程并发数控制
    最近小A需要生产2015年全年的KPI数据报表,现在小A已经将生产脚本写好了,生产脚本一次只能生产指定一天的KPI数据,假设跑一次生产脚本需要5分钟,那么:
    * 如果是循环顺序执行,那么需要时间:5 * 365 = 1825 分钟,约等于 6 天
    * 如果是一次性放到linux后台并发执行,365个后台任务,系统可承受不住哦!

    既然不能一次性把365个任务放到linux后台执行,那么,能不能实现自动地每次将N个任务放到后台并发执行呢?当然是可以的啦。

    #! /bin/bash
    source /etc/profile;
    
    # -----------------------------
    
    tempfifo=$$.fifo        # $$表示当前执行文件的PID
    begin_date=$1           # 开始时间
    end_date=$2             # 结束时间
    
    if [ $# -eq 2 ] 
    then
        if [ "$begin_date" \> "$end_date" ]
        then
            echo "Error! $begin_date is greater than $end_date"
            exit 1;
        fi
    else
        echo "Error! Not enough params."
        echo "Sample: sh loop_kpi 2015-12-01 2015-12-07"
        exit 2;
    fi
    
    # -----------------------------
    
    trap "exec 1000>&-;exec 1000<&-;exit 0" 2
    mkfifo $tempfifo
    exec 1000<>$tempfifo
    rm -rf $tempfifo
    
    for ((i=1; i<=8; i++))
    do
        echo >&1000
    done
    
    while [ $begin_date != $end_date ]
    do
        read -u1000
        {
            echo $begin_date
            hive -f kpi_report.sql --hivevar date=$begin_date
            echo >&1000
        } &
    
        begin_date=`date -d "+1 day $begin_date" +"%Y-%m-%d"`
    done
    
    wait
    echo "done!!!!!!!!!!"


    第6~22行:比如:sh loop_kpi_report.sh 2015-01-01 2015-12-01:
    $1表示脚本入参的第一个参数,等于2015-01-01
    $2表示脚本入参的第二个参数,等于2015-12-01
    $#表示脚本入参的个数,等于2
    第13行用于比较传入的两个日期的大小,\>是转义
    第26行:表示在脚本运行过程中,如果接收到Ctrl+C中断命令,则关闭文件描述符1000的读写,并正常退出
    exec 1000>&-;表示关闭文件描述符1000的写
    exec 1000<&-;表示关闭文件描述符1000的读
    trap是捕获中断命令
    第27~29行:
    第27行,创建一个管道文件
    第28行,将文件描述符1000与FIFO进行绑定,<读的绑定,>写的绑定,<>则标识对文件描述符1000的所有操作等同于对管道文件$tempfifo的操作
    第29行,可能会有这样的疑问:为什么不直接使用管道文件呢?事实上这并非多此一举,管道的一个重要特性,就是读写必须同时存在,缺失某一个操作,另一个操作就是滞留,而第28行的绑定文件描述符(读、写绑定)正好解决了这个问题
    第31~34行:对文件描述符1000进行写入操作。通过循环写入8个空行,这个8就是我们要定义的后台并发的线程数。为什么是写空行而不是写其它字符?因为管道文件的读取,是以行为单位的
    第37~42行:
    第37行,read -u1000的作用就是读取管道中的一行,在这里就是读取一个空行;每次读取管道就会减少一个空行
    第39~41行,注意到第42行结尾的&吗?它表示进程放到linux后台中执行
    第41行,执行完后台任务之后,往文件描述符1000中写入一个空行。这是关键所在了,由于read -u1000每次操作,都会导致管道减少一个空行,当linux后台放入了8个任务之后,由于文件描述符1000没有可读取的空行,将导致read -u1000一直处于等待。
    3. 参考资料
    Unix Power Tools
    UNIX系统编程手册
    UNIX管道:https://zh.wikipedia.org/wiki/%E7%AE%A1%E9%81%93_(Unix)

    ————————————————
    版权声明:本文为CSDN博主「yeweiouyang」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
    原文链接:https://blog.csdn.net/yeweiouyang/article/details/52512522

    展开全文
  • 本文小编为大家详细的讲解shell多进程并发,在大部分用户眼中,所谓的多进程 只不过是将多个任务放到后台执行而已,一起来看看吧具体的内容吧。1. 基础知识准备1.1. linux后台进程Unix是一个多任务系统,允许多用户...

    本文小编为大家详细的讲解shell多进程并发,在大部分用户眼中,所谓的多进程 只不过是将多个任务放到后台执行而已,一起来看看吧具体的内容吧。

    1. 基础知识准备

    1.1. linux后台进程

    Unix是一个多任务系统,允许多用户同时运行多个程序。shell的元字符&提供了在后台运行不需要键盘输入的程序的方法。输入命令后,其后紧跟&字符,该命令就会被送往到linux后台执行,而终端又可以继续输入下一个命令了。

    比如:

    sh a.sh &

    sh b.sh &

    sh c.sh &

    这三个命令就会被同时送往linux后台执行,在这个程度上,认为这三个命令并发执行了。

    1.2. linux文件描述符

    文件描述符(缩写fd)在形式上是一个非负整数。实际上,它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时,内核向进程返回一个文件描述符。每一个unix进程,都会拥有三个标准的文件描述符,来对应三种不同的流:

    文件描述符

    名称

    0

    Standard Input

    1

    Standard Output

    2

    Standard Error

    每一个文件描述符会对应一个打开文件,同时,不同的文件描述符也可以对应同一个打开文件;同一个文件可以被不同的进程打开,也可以被同一个进程多次打开。

    在/proc/PID/fd中,列举了进程PID所拥有的文件描述符,例如

    #!/bin/bash

    source /etc/profile;

    # $表示当前进程的PID

    PID=$

    # 查看当前进程的文件描述符指向

    ll /proc/$PID/fd

    echo "-------------------";echo

    # 文件描述符1与文件tempfd1进行绑定

    ( [ -e ./tempfd1 ] || touch ./tempfd1 ) && exec 1<>./tempfd1

    # 查看当前进程的文件描述符指向

    ll /proc/$PID/fd

    echo "-------------------";echo;

    [ouyangyewei@localhost learn_linux]$ sh learn_redirect.sh

    total 0

    lrwx------. 1 ouyangyewei ouyangyewei 64 Jan 4 22:17 0 -> /dev/pts/0

    lrwx------. 1 ouyangyewei ouyangyewei 64 Jan 4 22:17 1 -> /dev/pts/0

    lrwx------. 1 ouyangyewei ouyangyewei 64 Jan 4 22:17 2 -> /dev/pts/0

    lr-x------. 1 ouyangyewei ouyangyewei 64 Jan 4 22:17 255 -> /home/ouyangyewei/workspace/learn_linux/learn_redirect.sh

    -------------------

    [ouyangyewei@localhost learn_linux]$ cat tempfd1

    total 0

    lrwx------. 1 ouyangyewei ouyangyewei 64 Jan 4 22:17 0 -> /dev/pts/0

    lrwx------. 1 ouyangyewei ouyangyewei 64 Jan 4 22:17 1 -> /home/ouyangyewei/workspace/learn_linux/tempfd1

    lrwx------. 1 ouyangyewei ouyangyewei 64 Jan 4 22:17 2 -> /dev/pts/0

    lr-x------. 1 ouyangyewei ouyangyewei 64 Jan 4 22:17 255 -> /home/ouyangyewei/workspace/learn_linux/learn_redirect.sh

    -------------------

    上述的例子中第12行,将文件描述符1与文件tempfile进行了绑定,此后,文件描述符1指向了tempfile文件,标准输出被重定向到了文件tempfile中。

    1.3. linux管道

    在Unix或类Unix操作系统中,管道是一个由标准输入输出链接起来的进程集合,因此,每一个进程的输出将直接作为下一个进程的输入,

    linux管道包含两种:

    匿名管道命名管道

    管道有一个特点,如果管道中没有数据,那么取管道数据的操作就会滞留,直到管道内进入数据,然后读出后才会终止这一操作;同理,写入管道的操作如果没有读取管道的操作,这一动作就会滞留。

    1.3.1. 匿名管道

    在Unix或类Unix操作系统的命令行中,匿名管道使用ASCII中垂直线|作为匿名管道符,匿名管道的两端是两个普通的,匿名的,打开的文件描述符:一个只读端和一个只写端,这就让其它进程无法连接到该匿名管道。

    例如:

    cat file | less

    为了执行上面的指令,Shell创建了两个进程来分别执行cat和less。下图展示了这两个进程是如何使用管道的:

    有一点值得注意的是两个进程都连接到了管道上,这样写入进程cat就将其标准输出(文件描述符为fd 1)连接到了管道的写入端,读取进程less就将其标准输入(文件描述符为fd 0)连接到了管道的读入端。实际上,这两个进程并不知道管道的存在,它们只是从标准文件描述符中读取数据和写入数据。shell必须要完成相关的工作。

    1.3.2. 命名管道(FIFO,First In First Out)

    命名管道也称FIFO,从语义上来讲,FIFO其实与匿名管道类似,但值得注意:

    在文件系统中,FIFO拥有名称,并且是以设备特俗文件的形式存在的;任何进程都可以通过FIFO共享数据;除非FIFO两端同时有读与写的进程,否则FIFO的数据流通将会阻塞;匿名管道是由shell自动创建的,存在于内核中;而FIFO则是由程序创建的(比如mkfifo命令),存在于文件系统中;匿名管道是单向的字节流,而FIFO则是双向的字节流;

    比如,可以利用FIFO实现单服务器、多客户端的应用程序:

    有了上面的知识准备,现在可以开始讲述,linux多进程并发时,如何控制每次并发的进程数。

    2. linux多进程并发数控制

    最近小A需要生产2015年全年的KPI数据报表,现在小A已经将生产脚本写好了,生产脚本一次只能生产指定一天的KPI数据,假设跑一次生产脚本需要5分钟,那么:

    * 如果是循环顺序执行,那么需要时间:5 * 365 = 1825 分钟,约等于 6 天

    * 如果是一次性放到linux后台并发执行,365个后台任务,系统可承受不住哦!

    既然不能一次性把365个任务放到linux后台执行,那么,能不能实现自动地每次将N个任务放到后台并发执行呢?当然是可以的啦。

    #! /bin/bash

    source /etc/profile;

    # -----------------------------

    tempfifo=$.fifo # $表示当前执行文件的PID

    begin_date=$1 # 开始时间

    end_date=$2 # 结束时间

    if [ $# -eq 2 ]

    then

    if [ "$begin_date" \> "$end_date" ]

    then

    echo "Error! $begin_date is greater than $end_date"

    exit 1;

    fi

    else

    echo "Error! Not enough params."

    echo "Sample: sh loop_kpi 2015-12-01 2015-12-07"

    exit 2;

    fi

    # -----------------------------

    trap "exec 1000>&-;exec 1000

    mkfifo $tempfifo

    exec 1000<>$tempfifo

    rm -rf $tempfifo

    for ((i=1; i<=8; i++))

    do

    echo >&1000

    done

    while [ $begin_date != $end_date ]

    do

    read -u1000

    {

    echo $begin_date

    hive -f kpi_report.sql --hivevar date=$begin_date

    echo >&1000

    } &

    begin_date=`date -d "+1 day $begin_date" +"%Y-%m-%d"`

    done

    wait

    echo "done!!!!!!!!!!"

    第6~22行:比如:sh loop_kpi_report.sh 2015-01-01 2015-12-01:

    $1表示脚本入参的第一个参数,等于2015-01-01

    $2表示脚本入参的第二个参数,等于2015-12-01

    $#表示脚本入参的个数,等于2

    第13行用于比较传入的两个日期的大小,\>是转义

    第26行:表示在脚本运行过程中,如果接收到Ctrl+C中断命令,则关闭文件描述符1000的读写,并正常退出

    exec 1000>&-;表示关闭文件描述符1000的写

    exec 1000

    trap是捕获中断命令

    第27~29行:

    第27行,创建一个管道文件

    第28行,将文件描述符1000与FIFO进行绑定,写的绑定,<>则标识对文件描述符1000的所有操作等同于对管道文件$tempfifo的操作

    第29行,可能会有这样的疑问:为什么不直接使用管道文件呢?事实上这并非多此一举,管道的一个重要特性,就是读写必须同时存在,缺失某一个操作,另一个操作就是滞留,而第28行的绑定文件描述符(读、写绑定)正好解决了这个问题

    第31~34行:对文件描述符1000进行写入操作。通过循环写入8个空行,这个8就是我们要定义的后台并发的线程数。为什么是写空行而不是写其它字符?因为管道文件的读取,是以行为单位的

    第37~42行:

    第37行,read -u1000的作用就是读取管道中的一行,在这里就是读取一个空行;每次读取管道就会减少一个空行

    第39~41行,注意到第42行结尾的&吗?它表示进程放到linux后台中执行

    第41行,执行完后台任务之后,往文件描述符1000中写入一个空行。这是关键所在了,由于read -u1000每次操作,都会导致管道减少一个空行,当linux后台放入了8个任务之后,由于文件描述符1000没有可读取的空行,将导致read -u1000一直处于等待。

    展开全文
  • 1. 基础知识准备 1.1. linux后台进程 ...字符,该命令就会被送往到linux后台执行,而终端又可以继续输入下一个命令了。  比如: sh a.sh &amp; sh b.sh &amp; sh c.sh &amp; 这三个命令...
  • Linux Shell实现多进程并发执行

    万次阅读 2017-08-18 10:16:58
    在不加控制的模式下,不管有多少任务,全部都后台执行。也就是说,在这种情况下,有多少任务就有多少“进程”在同时执行。我们就先实现第一种情况: 实例一:正常情况脚本 ——————————————————...
  • Linux shell实现多进程并发执行

    千次阅读 2019-08-15 11:57:10
    在不加控制的模式下,不管有多少任务,全部都后台执行。也就是说,在这种情况下,有多少任务就有多少“进程”在同时执行。我们就先实现第一种情况: 实例一:正常情况脚本 ————————————————————...
  • Linux ulimit命令用于控制shell程序的资源。 ulimit为shell内建指令,可用来控制shell执行程序的资源。 语法 ulimit [-aHS][-c <core文件上限>][-d <数据节区大小>][-f <文件大小>][-m <...
  • 在不加控制的模式下,不管有多少任务,全部都后台执行。也就是说,在这种情况下,有多少任务就有多少“进程”在同时执行。我们就先实现第一种情况: 实例一:正常情况脚本 ——————————————————...
  • 1. 基础知识准备 1.1. linux后台进程 ...字符,该命令就会被送往到linux后台执行,而终端又可以继续输入下一个命令了。  比如: sh a.sh &amp; sh b.sh &amp; sh c.sh &amp; 这三个命令就...
  • 网上搜索能找到一些并发控制方法,如一、linux shell多进程以及二、Linux Shell多进程并发以及并发控制。        两篇文章的方法思路一致,仅在实现细节上有差异。其中,文章一的方法在加锁...
  • Shell脚本中的命令是串行执行的,必须等到前一条命令执行完后才执行接下来的命令,但是如果我有一大批的的命令需要执行,而且互相又没有影响的情况下(有影响的话就比较复杂了),那么就要使用命令的并发执行了。...
  • 点击蓝字 关注我们01 背景从事Linux主机建设和运维的同事们在工作中应该经常会遇到批量修改配置信息或部署应用环境的需求,需要根据需求依次登录目标主机执行一些命令或脚本,使用shell脚本的循环语句是实现这一需求...
  • 点击蓝字 关注我们01 背景从事Linux主机建设和运维的同事们在工作中应该经常会遇到批量修改配置信息或部署应用环境的需求,需要根据需求依次登录目标主机执行一些命令或脚本,使用shell脚本的循环语句是实现这一需求...
  • shell并发处理

    千次阅读 2018-06-11 11:00:18
    1、使用linux管道文件特性制作队列,控制线程数目;2、将脚本命令转移到后台执行 直接上干货,参考脚本:#!/bin/bash start_time=`date +%s` #定义脚本运行的开始时间 [ -e /tmp/fd1 ] || mkfifo /tmp/fd1 #创建...
  • 字符,该命令就会被送往到linux后台执行,而终端又可以继续输入下一个命令了。 因此,最简单的并行化方法就是:&amp;amp;amp;+wait 例如如下面的代码, 串行执行大约需要10秒 #!/bin/bash for ((i=1;i&amp;amp...
  • Linux bash shell 中,可以使用控制操作符 & 让命令在后台运行,然后使用 wait 内置命令等待任务完成。控制操作符 &查看 man bash 对控制操作符 & 的说明如下:If a command is terminated by the ...
  • 资源:LINUX与UNIX+SHELL编程指南 作者:外文译 版本:1.0 主要内容: 本书共分五部分,详细介绍了shell编程技巧,各种UNIX命令及语法,还涉及了UNIX下的文字处理以及少量的系统管理问题。本书内容全面、文字简洁...
  • Linux 是通过信号来实现进程间通信的,所以我们编写脚本时,可以通过捕捉特定的信号来控制Shell脚本的操作。下面简单列举一下常见的Linux 信号生成信号Linux 允许用键盘组合键生成两种基本的Linux信号,1.中断...
  • Linux下进程学习

    千次阅读 2013-05-03 16:23:10
    shell模拟了一个多进程的并发操作数据库的脚本,执行效果非常不理想,所以有必要把linux下的进程学习一下,参考的书籍是《linux下c一站式编程》 引言 每个进程在内核中都有一个进程控制块(PCB)来维护进程...
  • 并发编程

    2021-04-30 21:57:58
    并发,顾名思义,就是逻辑控制流在时间上重叠。并发机制运用在两个方面,一个是操作系统内核用于运行多个应用程序;一个是应用程序用于响应异步事件等,称为应用级并发,具体应用如下: 1、Linux信号处理程序允许...

空空如也

空空如也

1 2 3 4 5
收藏数 96
精华内容 38
关键字:

linuxshell并发执行控制

linux 订阅