将python中的多个线程分配给命令行工具

Question

首先，关于此主题我的知识非常有限，但我很好奇是否有可能。我有许多大型数据样本，必须在Linux中使用命令行工具进行处理。我可以使用大约14个线程，但是该工具不能使用所有线程。我想知道是否有可能将14个线程分为两个“组”，然后以并行方式在不同的数据样本上运行相同的工具，每个线程有7个线程。我读到了有关多处理的信息，但是据我了解，我只能为该工具使用1个线程（很抱歉，如果我错了，那是我的理解）。

所以我的问题是：

1. 可以创建多组线程
2. 让我的命令行工具使用这些组并行运行

例如：

def function_to_run_tool(data_sample):
    cmd = 'command to run command line tool one one of the samples'

function_to_run_tool(sample) # This function runs in parallel on 7 threads per sample

基本上，拥有某种线程数超过1的工人会很酷。

Answer 1

除非该程序将自己分成多个线程，否则您无法在更多线程上运行该程序。就像您希望处理器将运行在更多线程中的程序运行而无需对其进行编码：这样做不能。解决方案是将您的数据分成14个部分，每个部分有一个线程，或者如果该工具是您自己制作的，则可以对其进行更改，以便为每个数据集使用更多线程。