网站建设资讯

NEWS

网站建设资讯

linux并行跑命令 linux并行执行脚本

linux怎么用一步命令实现多个脚本并行执行?

(run1.sh ) ; 码派(run2.sh 孙携) ; (run3.sh)

十年的崇义网站建设经验,针对设计、前端、开发、售后、文案、推广等六对一服务,响应快,48小时及时工作处理。营销型网站建设的优势是能够根据用户设备显示端的尺寸不同,自动调整崇义建站的显示方式,使网站能够适用不同显示终端,在浏览器中调整网站的宽度,无论在任何一种浏览器上浏览网站,都能展现优雅布局与设计,从而大程度地提升浏览体验。创新互联从事“崇义网站设计”,“崇义网站推广”以来,每个客户项目都认真落实执行。

如则模伏果还有继续加

在Linux系统中使用Shell实现多线程运行任务(多任务并发执行) 2022-05-30

最近,有一批任务需要把两批的fastq合并到一起并压缩成一个fastq文件才能继续往下做,由于存储空间有限又不能直接全部跑上,只能按样本逐个分批跑。众所周知,一般fastq是成对存在的,所需要对read1和read2分别合并一次,然而这次任务的fastq文件比较大,合并然后压缩一次需要1天左右,那对于一组fastq就要2-3天,这也太耗时间了,所以我在想能不能read1和read2 同时跑上,这就可以节省一半的时间了。

平时也能遇到很多类似的任务,特别是在进程数有限的情况下,如果这些小任务单独占用一个进程,而任务很多就很耗时间,如果能在一个进程下实现多个线程并行执行,就能大大提高运行效率。关于进程和线程的知识可以参考知乎的这篇文章【 Shell“ 多线程”,提高工作效率 】,整理的也比较有条理,能比较容易读懂。

当然,某些博主也写过类似的文章,例如这篇【 shell后台限制多并发控制后台任务强度进行文件拷贝 】但是实在是太高深莫测了,看不懂,一时半会儿也学不会。本文将示例Shell实现多线程的简单版本,其实不用太复杂。

其实只需要两个步骤, 第一步是给需要并行运行的命令行在结尾加上"",代表放到后台运行,第二步是在在所有并行任务的后面加上一句“wait”,意思是等所有通过“”放到后台运行的任务跑完后再继续执行后面的任务 ,这些就能实现所有带有“”的行并行执行了。

看完脚本是不是觉得很简单?

上面的脚本适合并行任务少的,可以手弊陵粗动加和wait,但是如果有几十个甚至上百个的小任务就租镇比较麻烦了。但不用担心,可以写个循环,批量运行。

循环的结果也是跟上面类似的,只是多了个循环结构。

如果需要执行的任务只有一行,可以把大括号去掉。

关于for和while的循环可以查看之前的文章【 Shell常用循环示例(for和while批量汪宽处理)2022-05-25 】

需要注意的是多线程并行还是需要有限制的,毕竟都是在一个进程里运行,如果线程太多了会卡顿的,建议控制在100个以内,当然还有毕竟高级和复杂的方法可以实现限制。因为上面的脚本已经够我用了,没继续往下学,以后可以再补充。

Linux 如何运行benchmark循环跑

Linux 如何运行benchmark循环跑如下

benchmark中包含了跑benchmark的源码benchncnn.cpp,感兴趣的可以先看一下里面的内容。在Linux的文件根目录下,新建一个build文件夹并进入,当然也可以不叫build,随便你自己起。mkdir build cd build进入之后就可以进行编译了,编译之后者拆衡在build文件夹下会生成一个叫benchmark的文件夹,之后的工作会在这里进行。编首做译用的是cmake,这里如果有问题的话可以注意一下cmake的版本,我用的版本是3.12.3。具体命令如下:cmake .

make -j8这里cmake编译实际上是要根据上一层文件夹的CMakeLists.txt的文本来的,这里的..其实就是表示的上一层文件夹。 Make -j后面的数字是开几个核,根据自己电脑的实际情况来。执行完成之后就可以看到build里有了benchmark的文件夹。

入这个文件夹,可以看到一个benchncnn的可执行文件已经编译好了,运行这个可执行文件就可以测试模型的速度。但是这个可执行文件默认的是找到当前文件夹下的param格式的文件。

所有自带的模型文件都在ncnn根目录下的benchmark的文件夹中,把里面所有的param文件都拷贝到现在的benchmark文御轮件夹,然后执行如下命令./benchncnn 4 2 0 -1

第一个数字表示测试次数,第二个表示开的线程数(这一点ncnn做的不错),最后一个数字-1表示只测cpu。NCNN交叉编译到rk3288(armv7架构)和rk3399(armv8架构)的方法。


当前名称:linux并行跑命令 linux并行执行脚本
网页网址:http://cdweb.net/article/ddpogid.html