gnu-parallel 相关问题

GNU parallel是一个shell工具,用于使用一台或多台计算机并行执行作业。

来自 sqlite3 数据库文件的类似猫的行为

通常,当我在平面文件中有例如 csv 时,我会这样做: cat somefile.dat |gnu_parralel do_something。 不幸的是,我现在有一个 sqllite3 文件,其列内容类型为: 文字,文字,

回答 1 投票 0

如何读取 2 列文件并将每一列作为 GNU parallel 的成对输入传递

我在一个目录中有一个配对文件列表,我把它放在一个文件中(使用粘贴) cat 列表.files.r12.txt |头-n3 ./ID1_L2_R1_001.fastq.gz ./ID1_L2_R2_001.fastq.gz ./ID2_L3_R1_001.fastq.gz ...

回答 1 投票 0

批量为 N 个进程并行运行 bash 命令

我有一个命令: python test.py -i input_file -p parameter_1 -o output_file 我想为多个输入文件运行这个,一次 4 个输入文件(并行),一旦它们完成运行下一个 4 ...

回答 4 投票 0

将每行标准输出作为标准输入传递给工具的新调用

我想将每行 stdout 通过管道传输到另一个工具的单独调用的 stdin - 本质上是在命令行上的 bash 中映射行。 我知道我可以循环,但这有点冗长......

回答 1 投票 0

使用bash脚本在多个内核上运行可执行文件。

很抱歉,如果这是一个重复的问题,我知道有很多类似的问题,但我真的很难找到一个简单的答案。我想多次运行一个可执行文件,例如...。

回答 1 投票 2

GNU并行的最佳线程数

我想我有一个相当基本的问题。我刚刚发现了GNU并行包,我认为我的工作流程可以从它那里受益。我正在使用一个循环,它循环读取文件并生成 ...

回答 1 投票 0

OpenACC 如何在函数的不同调用之间保留一个数据?

我想用OpenACC优化一个应用程序。在主程序中,我有一个这样的迭代循环:while(t)

回答 1 投票 0

如何用并行命令调整多个png文件的大小,并保留源文件的部分名称?[已关闭]

我在同一个Linux文件夹里有100个png文件,我想从它们中创建缩略图。例如,源文件是:page_1.png page_2.png ... page_100.png 我想在 ... 创建100个缩略图。

回答 1 投票 0

parallel zgrep -c "Instructions before" {}

所以我用find -name "application.log*"。

回答 1 投票 0

在多台远程主机上开屏会话,执行复杂的命令,之后不要退出。

我有一个很长的远程主机列表,我想在所有的主机上运行一个shell命令。该命令需要很长的时间,所以我想在远程机器的屏幕内运行该命令, ...

回答 1 投票 0

对一个非常大的文件进行单条正则表达式的抓取。

file.xml是一个74G的大文件,我必须以最快的速度对其进行单一正则表达式的grep。我试图用GNU parallel来完成这个任务: parallel --pipe --block 10M --ungroup LC_ALL=C ...

回答 1 投票 5

如何在GNU并行中打印失败作业的stdout和stderr?

我正在使用parallel --keep-order --line-buffer --halt 2在一堆命令上并行调用GNU。每隔一段时间,其中一个命令就会失败,并且GNU并行打印:parallel:这项工作...

回答 1 投票 1


zsh and parallel:如何使用函数。它说找不到命令

我有一个脚本文件文件名:test_sem_zsh.sh main(){echo“ Happy day”} export -f main sem --id testing --fg main我正在尝试使用zsh $ zsh test_sem_zsh.sh test_sem_zsh运行它。 sh:...

回答 1 投票 0

安装GNU-Parallel:如何从docker build中输入“将引用”?

在docker文件中:from debian:latest RUN apt-get install parallel RUN parallel --citation <<

回答 1 投票 0

在具有SLURM的HPC系统上使用GNU Parallel运行带有两个输入文件的python文件的多个实例

我尝试在HPC系统上并行运行单个python文件240次(因为每个单独的文件运行大约需要9分钟)。理想情况下,每个python文件都应在单个内核上运行。有24个核心...

回答 1 投票 0

GNU并行-多个命令

我想在多个输入上运行多个长时间运行的进程。例如:solver_a problem_1solver_b problem_1 ... solver_b problem_18solver_c problem_18我知道如何为...

回答 1 投票 2

如何获得每个处理过的文件的GNU并行报告?

我想在一个简单的日志文件中并行跟踪GNU,并希望它在开始/结束时发出每个名称(两个或两个都很好)。对于...

回答 2 投票 0


使用grep和GNU并行删除许多文件的行

我有一个目录,其中包含许多都以“ _all.txt”结尾的文件。我想删除每个文件中包含“ *”或“-”的所有行,并将它们发送到以“ _all_cleaned.txt”结尾的文件中。 ...

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.