有没有一种比较通用的并行执行多个SQL脚本的方法呢？每种数据库都提供命令行接口执行SQL语句，因此最容易想到的就是通过初始化多个并发的会话并行执行，每个会话运行一个单独的查询，用来抽取不同的数据部分。以Oracle例如，假设要从订单表抽取数据，订单表已经是按月做了范围分区，分区名称是orders_jan2008、orders_feb2008等。要从订单表抽取一年的数据，可以初始化12个并发的SQL*Plus会话，每个抽取一个分区。每个会话执行的SQL脚本应该类似：
spool order_jan.dat
select * from orders partition (orders_jan2008);
spool off
      这12个SQL*Plus进程将并行导出数据到12个文件。如果需要，还可以在抽取后使用操作系统命令将12个文件合并起来（如Linux的cat命令）。即使订单表没有分区，仍然可以基于逻辑条件执行并行抽取。逻辑方法是基于列值的逻辑范围，例如：
select ... where order_date
between to_date('2008-01-01','yyyy-mm-dd') and to_date('2008-01-31','yyyy-mm-dd');
      通过简单的shell脚本，可以从命令行接收并行度参数，使这些调用并行执行。
#!/bin/bash  
export NLS_LANG=american_america.AL32UTF8
for(( i = 0; i < $1; i++ ))  
do  
{  
sqlplus user1/password1 << !
start a.sql
exit;
!
cat ./result.lst >> aa.txt
} &  
done  
wait  
date
      a.sql文件内容如下：
set echo off;
set heading off;
set line 1000;
set pagesize 0;
set numwidth 12;
set termout off;
set trimout on;
set trimspool on;
set feedback off;
set timing off;

spool result.lst
select * from mytable;
spool off
      脚本中使用了&符号，使得{}内的命令在后台并行执行，并将每次生成的文本文件result.lst合并到一个新的文件aa.txt中。等到循环里面的命令都结束之后才执行接下来的date命令。用这个示例说明并行执行多个SQL脚本文件（这里多次执行同一个文件a.sql，当然实际中应该是多个不同的SQL文件）。mytable表有57606行记录，如果执行两次，文件中应该有115212行记录。
[oracle@data-01 ~]$ ./a.sh 2
...
[oracle@data-01 ~]$ cat result.lst | wc -l
57606
[oracle@data-01 ~]$ cat aa.txt | wc -l
115212
      换做MySQL数据库，整体思路是一样的，只要把sqlplus换成mysql客户端，再针对MySQL的语法做相应的修改即可。
      并行抽取一个复杂的SQL查询有时是可行的，尽管将一个单一查询分成多个部分可能是一个挑战。在并行模式下，协调多个独立的进程，保证一个整体一致的视图可能是非常困难的。而且所有并行技术都会使用更多的CPU和I/O资源，因此在执行任何并行抽取技术前需要评估对系统性能的影响。我们应该控制并发进程的个数，不然会影响系统其它进程的运行。

#!/bin/bash
sh /etc/init.d/ec20_ppp.sh &


 
转载于:https://www.cnblogs.com/liushuhe1990/p/9717559.html

shell脚本有时会遇到并行执行问题
1、多个shell脚本并行执行运行
在目录下创建了test1.sh、test2.sh、test3.sh、test4.sh这几个shell文件，创建了run_test.sh用来执行上面几个test文件



test*.sh的内容均为：
echo "this is $0"
sleep 10
echo "$0 end"

run_test.sh的内容为：

在命令行后面添加&可以使命令在后台运行，也就实现了并行执性

file_name="
./test1.sh
./test2.sh
./test3.sh
./test4.sh
"
start=`date +%s`
for file in $file_name
do
#增加&用于实现并发
        sh $file &
done
end=`date +%s`
echo "time is $[ $end - $start ]"


2、多个函数并行执行
在同一个shell文件下，有时为了节省时间需要多个函数并行执行，原理同上

创建qq.sh文件

test1 &

test2 &

test3 &

可以实现3个函数同时执行，如果需要test1、test2执行完后再执行test3，可以增加wait，wait会等前两个执行完再执行test3

test1 &

test2 &

wait

test3

function test1(){
        echo "test1"
        sleep 5
        echo "end"
}

function test2(){
    echo "test2"
        sleep 5
        echo "end"
}

function test3(){
    echo "test3"
        sleep 5
        echo "end"
}

test1 &
test2 &
test3 &

#test1 &
#test2 &
#wait
#test3


3、并行数量控制
有时候用例或脚本数过多，直接使用&会导致一下把内存占满，用例执行时间会更长

参考这篇博文，给出的例子中用了生产者消费者模式，例子也讲得非常清楚，地址：https://blog.csdn.net/arlingtonroad/article/details/101322665

#!/bin/bash
 
THREAD=5                       
#声明并发线程并发个数，这个是此应用的关键，也就是设置管道的最大任务数
TMPFIFO=/tmp/$$.fifo            
#声明管道名称，'$$'表示脚本当前运行的进程PID
mkfifo $TMPFIFO                
#创建管道
exec 5<>${TMPFIFO}             
#创建文件标示符“5”，这个数字可以为除“0”、“1”、“2”之外的所有未声明过的字符，以读写模式操作管道文件；系统调用exec是以新的进程去代替原来的进程，但进程的PID保持不变，换句话说就是在调用进程内部执行一个可执行文件
rm -rf ${TMPFIFO}              
#清除创建的管道文件
 
#为并发线程创建同样个数的占位
for((i=1;i<=$THREAD;i++))
do
   echo ;               
 #借用read命令一次读取一行的特性，使用一个echo默认输出一个换行符，来确保每一行只有一个线程占位；这里让人联想到生产者&消费者模型，管道文件充当消息队列，来记录消费者的需求，然后由生产者去领任务，并完成任务，这里运用了异步解耦的思想。
done >&5                
 #将占位信息写入管道
 
for i in `seq 1 20` 
#从任务队列中依次读取任务
do
        read -u5        
 #从文件描述符管道中，获取一个管道的线程占位然后开始执行操作；read中 -u 后面跟fd，表示从文件描述符中读入，该文件描述符可以是exec新开启的。
        {
               echo $i
               sleep 3
               echo "$i end"
               echo "" >&5  
 #任务执行完后在fd5中写入一个占位符，以保证这个线程执行完后，线程继续保持占位，继而维持管道中永远是50个线程数，&表示该部分命令/任务放入后台不占当前的bash，实现并行处理
        } &
done
wait                #等待父进程的子进程都执行结束后再结束父进程          
exec 5>&-           #关闭fd5的管道


打印出来的结果为：
1
2
3
4
5
1 结束
2 结束
3 结束
6
5 结束
4 结束
7
8
9
10
7 结束
9 结束
6 结束
8 结束
10 结束
11
12
13
14
15
11 结束
12 结束
16
13 结束
14 结束
17
15 结束
18
19
20
16 结束
17 结束
19 结束
20 结束
18 结束

测试文件

test1.php-->test10.php

每个test.php代码如下，延时5秒，然后输出y

<?php
    sleep(5);
    echo 'y';
?>

以下是shell脚本：注意关键点： 在耗材的脚本地方加上 大括号，必须换行，最后加一个&，

如果不加，则要等50秒，才能输出10个y

如果加上大括号及&，5秒钟即可输出10个y

#!/bin/bash

maxnum=5
flag=1
while(( $flag<$maxnum ))
do
  url="http://192.168.1.20/test/test${flag}.php"
  {
        curl $url
  }&
  let "flag++"
done