gnu-parallel 相关问题

GNU parallel是一个shell工具,用于使用一台或多台计算机并行执行作业。

如何在gnu并行运行时gzip tee输出?

假设我在并行执行的命令中运行tee。我想从tee gzip输出:... | tee --gzip the_file | and_continue

回答 1 投票 1

更改命令时的Gnu并行恢复

使用--resume恢复并行命令时,是否允许更改命令?在--resume上的文档中,它指出完成的工作的输入没有变化很重要但它...

回答 1 投票 1

parralelizing脚本shell的一部分

#!/ bin / bash for tracelength in 10 20 50 100;对于{1..10}中的firstloop,step = 0.1 short = 0 long = 1;在{1..10}中对secondloop执行比率= 0;在...中重复做...

回答 1 投票 1

具有固定顺序的并行执行

#!/ bin / bash doone(){tracelength =“$ 1”short =“$ 2”long =“$ 3”ratio =“$ 4”echo“$ tracelength $ short $ long $ ratio”>> results.csv python3 main.py “$ tracelength”“$ short”“$ ...

回答 1 投票 1

正确执行shell`time`命令的顺序

我需要执行下面的命令(作为脚本的一部分),但我不知道以什么顺序放置东西以便它正确执行。我想要做的是将file.smt2作为输入...

回答 1 投票 1

如何在BASH上运行一个使用GNU并行获取多个参数的python脚本?

我有一个python脚本,我通常从BASH shell执行如下:pychimera $(which dockprep.py)-rec receptor1.pdb -lig ligand1.mol -cmethod gas -neut正如你所看到的一些论点需要......

回答 2 投票 2

GNU并行完全没有工作

我一直试图使用GNU并行一段时间,但我从来没有能够让它完全运行!例如,运行(在非空目录中!):ls |并行回声#...

回答 4 投票 52

Gnu Parallel:每个工作都有并行重载程序吗?

假设我有一个程序在运行之前加载重要内容......但这是一次性减速。接下来,我写:猫...... | parallel -j 8 --spreadstdin --block $ sz ... ./mycode这会......

回答 2 投票 1

如何并行循环的无数据依赖性

我试图将这个for循环并行。我无法弄清楚其他人的答案如何替换$ a值,因为我的程序依赖于它。这是我想要的原始代码......

回答 2 投票 1

GNU与for循环函数并行

我想利用AWS中的所有核心(48)来运行我的工作。我有600万个列表要运行,每个作业运行不到一秒[真正的0m0.004s用户0m0.005s sys 0m0.000s]。我跟随......

回答 1 投票 2

GNU Parallel:如何防止特定作业并行处理

GIVEN:要并行运行的一组作业:{app0,app1,app2,....}问题:如何启动“GNU parallel”工具以并行运行所有作业,从而完成一些特定的作业。 ..

回答 1 投票 1

使用GNU并行拆分

我正在将一个非常巨大的文件加载到postgresql数据库中。为此,我首先在文件中使用split来获取较小的文件(每个30Gb),然后使用GNU将每个较小的文件加载到数据库中...

回答 2 投票 12

并行处理python脚本

我有一个python脚本,一次接受一个输入并处理它。我想同时运行与不同输入并行的脚本。像50或100次,但有不同的输入馈送...

回答 2 投票 0

在unix中使用gnuparallel时的并发最大进程限制

我正在使用gnu并行来解决一些并发进程。以下是我正在使用的命令。并行'node /home/parunkarthick/NodeProject/nodescript_pd.js F_CHARGES'::: 1 2 3 4 5 6 7 8 9 10 11 12 13 ...

回答 1 投票 1

GNU并行嵌套

我有一个130000+ .tif文件的目录。我想在GNU parallel中使用find。我的所有文件都以k-001到k-163的模式和顺序命名。其中一个挑战是匹配001与seq 1. ...

回答 1 投票 1

GNU parallel将多个文件的输出合并为一个。为什么?

我正在运行GNU并行。与我在其他分析中的输出不同,这个输出很奇怪。我的代码:#设置所需程序的路径samtools = / usr / local / apps / samtools / 0.1.19-gcc412 / ...

回答 1 投票 2

加速从一台机器到另一台机器的文件传输

我必须将大约25个文件从一台机器复制到另一台机器。每个文件大小约为15 GB。我有1GB的链接,这两台机器都是非常强大的盒子。他们有大约40 CPUS。现在......

回答 2 投票 2

使用GNU Parallel的并行arecord语句

我是Linux新手。我想同时录制2个麦克风。我知道怎么分开做。有些滞后是可以容忍的。使用GNU Parallel的arecord是否可以做到这一点?我正在使用2个USB ...

回答 1 投票 1

如何在CentOS 7上安装GNU parallel(noarc.rpm)

我想在Centos 7上安装GNU parallel没有太多信息可以找到。有人能解释我怎么做吗?这是我发现的一些有用的信息

回答 2 投票 3

嵌套GNU并行处理多个大文件并将每个文件数据拆分为队列

我有一个带有近100个日志文件的目录,每个文件的重量为10~15 GB。要求是逐行读取每个文件(顺序根本不重要),清理行json并将其转储到后端...

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.