shell脚本多线程实现方式-创新互联

shell脚本多线程实现
在使用shell 脚本时，碰到了顺序执行太慢的情况，因此考虑使用多线程方式，以提高效率。
具体做法是使用 &+wait 达到多线程的效果，下面请看对比。

1. 顺序执行
   执行3次没次等待4秒，共计耗时12秒
   代码：
   #/bin/bash
   date
   for num in seq 1 3
   do
   {
   echo "sleep 4"
   sleep 4
   }
   done
   date
   结果：
   2019年 11月 20日 星期三 09:40:56 CST
   sleep 4
   sleep 4
   sleep 4
   2019年 11月 20日 星期三 09:41:08 CST

2. 使用 &+wait
   并行执行，共计耗时4秒
   代码：
   #/bin/bash
   date
   for num in seq 1 3
   do
   {
   echo "sleep 4"
   sleep 4
   }&
   done
   wait
   date
   结果：
   2019年 11月 20日 星期三 09:42:44 CST
   sleep 4
   sleep 4
   sleep 4
   2019年 11月 20日 星期三 09:42:48 CST

根据观察可以发现&+wait形式会让循环体内的命令全部进入后台运行，这样当处理大量事务时会有问题，所以可以根据以下几种方式实现控制每次开启的线程数量

1. 多层for 循环
   共计9次，发3个线程，等待4秒，共计耗时12秒
   代码：
   #/bin/bash
   date
   for num2 in seq 1 3
   do
   {
   for num in seq 1 3
   do
   {
   echo "sleep 4"
   sleep 4
   }&
   done
   wait
   }
   done
   date
   结果：
   2019年 11月 20日 星期三 09:47:23 CST
   sleep 4
   sleep 4
   sleep 4
   sleep 4
   sleep 4
   sleep 4
   sleep 4
   sleep 4
   sleep 4
   2019年 11月 20日 星期三 09:47:35 CST

2. 使用xargs -P 并发
   共计9次，发3个线程，等待4秒，共计耗时12秒
   代码：
   #/bin/bash

all_num=9
thread_num=3

date

seq 1 ${all_num} | xargs -n 1 -I {} -P ${thread_num} sh -c "sleep 4;echo {}"

date
结果：
2019年 11月 20日 星期三 09:51:03 CST
1
3
2
4
5
6
8
9
7
2019年 11月 20日 星期三 09:51:15 CST

以上就是我总结的shell 并行方式。还有使用GNU parallel命令实现并发的方式，因为测试环境没有改命令，故没做测试，待测试环境有之后会补全。

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。