gnu-parallel 相关问题

GNU parallel是一个shell工具,用于使用一台或多台计算机并行执行作业。

对许多目录使用并行执行bash脚本

如果我有一个bash脚本(chunks.sh)可以并行执行多个迷你脚本,我想知道如何正确执行chunks.sh,以便它可以对许多文件夹并行运行?我大约有1000 ...

回答 1 投票 0

如何与curl平行使用?

我如何使用gnu parallel使此过程更快? #!/ bin / bash for((c = 1; c <= 100; c ++))做curl -sS'https://example.com'\ --data'value ='$ c''/ dev / null echo $ c done

回答 1 投票 0

匹配以Bash并行运行的函数的输出

我的Bash脚本大致如下:#!/ bin / bash函数a {echo -n“ A正在运行...”;睡5; echo“ done(A)”}函数b {echo -n“ B正在运行...”;睡1; echo“ done(B)”}函数c {...

回答 1 投票 3

如何在Windows上将GNU Parallel构建为可执行文件

我尝试在Windows上将GNU Parallel构建为可执行文件。当我使用下面的代码构建它时:wget https://git.savannah.gnu.org/cgit/parallel.git/plain/10seconds_install bash 10seconds_install ...

回答 1 投票 1

使用并行工具在PBS中运行一百万个列表

我的工作量巨大(几百万),包含列表,并且希望运行Java编写的工具来执行功能比较。该工具在真实的0m0.179s用户0m0.005s sys 0m0中完成计算。...

回答 1 投票 1

如何正确运行find |与grep +转义字符平行吗?

我在一个文件夹中大约有1500个2GB文件,并希望基于正则表达式从其中提取行。我试过:找到。 -regex“文件名模式” -exec grep -P“ pattern1 \ t | pattern2 \ t | pattern3 \ t | ........ >>

回答 1 投票 0

如何将Inotify Shell脚本作为异步进程运行

我有一个inotify shell脚本,它监视目录,并在有新文件进入时执行某些命令。我需要将此inotify脚本放入并行进程中,以便执行...

回答 1 投票 0

GNU并行子进程(Postgres的真空)意外丧生

我像这样运行的同时,抽象出一些细节:generate_job_list |平行-j10 -q的bash -c“回波-n “运行{}”; dostuff {}”我已经注意到,有时孩子处理该...

回答 1 投票 1

执行gnu parallel命令时出错

我正在尝试使用gnu parallel执行脚本test3.exp(如下所示):---- seq 1 3 | parallel test3.exp data {} /但是每次我收到这个错误:---不能使用'defined(@array)'(也许你...

回答 2 投票 2

不打算转义的GNU并行转义字符

parallel --dry-run wget {1} ::::

回答 1 投票 3

GNU Parallel和GPU?

我有兴趣让GNU Parallel在GPU上运行一些数值计算任务。一般来说,这是我的初始方法:编写任务以使用OpenCL或其他一些GPU ......

回答 1 投票 1

GNU parallel:id的并行文件

我想并行化脚本。我知道咬一口gnu-parallel,但也许它不适合我的问题。我有几个GFF输入文件(列由表格分隔),我......

回答 2 投票 1

R和GNU Parallel - 如何限制使用的核心数

(GNU Parallel新手)我的目标是在多个内核上运行具有不同参数的相同Rscript。我的第一个问题是让我的笔记本电脑工作(2个真核,4个虚拟),然后我会......

回答 1 投票 1

GNU Parallel:如何将job id传递给command

假设我在从标准输入接收的项目数组上运行gnu parallel,并根据一些标准进行拆分:cat content | parallel -j 4 my_command如何访问作业号...

回答 1 投票 1

有没有办法调试GNU Parallel?

我有一个示例脚本,我试图运行:#!/ bin / zsh echo“i,rt,fifo,depth,rate,burst”> sweep_srcq.csv parallel --bar --gnu -j4 --header:\ 'sem --id 0 echo {i},{rt},{fifo},{...

回答 1 投票 1

GNU Parallel:如何从gnu并行管道接收stdin,就像它来自文件一样?

假设我有以下命令,它运行如下:my_command -f file如何设置并行,以便管道内容被执行就好像它是一个管道? #例如,在伪代码中:...

回答 1 投票 1

如何修复不正确的gnu并行子串提取

我试图在与gnu parallel混合的bash脚本中使用子字符串提取。但是下面的代码(从更复杂的情况简化)会产生错误的结果。 #!/ bin / bash ......

回答 1 投票 1

GNU Parallel不使用所有处理器

我使用GNU parallel来加速进程。但是,GNU parallel并不使用我机器上的所有内核。我想知道这里的限制因素是什么。命令:find data -type f |平行 - ...

回答 1 投票 1

如何将关联数组传递给Gnu并行[复制]

就像在标题中一样,我已经宣布了一堆变量和一个函数。当我通过一个函数传递它时,我得到了我所期望的。但是通过并行运行相同的代码并没有...如何修复它? #!/ ...

回答 1 投票 1

在GNU Parallel中访问关联数组

假设Bash中有以下内容:declare -A ar ='([one] =“1”[two] =“2”)'declare -a ari ='([0] =“one”[1] =“two” )'for i in $ {!ari [@]};做echo $ i $ {ari [i]} $ {ar [$ {ari [i]}]}完成0 1 1 1 2 2可以......

回答 3 投票 2

© www.soinside.com 2019 - 2024. All rights reserved.