Python多线程和多处理可加快循环速度

问题描述 投票:0回答:1

我用4个for循环实现了函数,计算时间很长,所以我试图通过使用多线程来加快速度。

我的功能如下:

def loops(start, end):  
    for h in range(start, end):
        for w in range(0, width):
            for h2 in range(h-radius, h+radius):
                for w2 in range(w-radius, w+radius):
                    compute_something()

使用多线程,我尝试了这个:

t1 = threading.Thread(target=loops, args=(0, 150))
t2 = threading.Thread(target=loops, args=(150, 300))
t1.start()
t2.start()
t1.join()
t2.join()

如果我只是将主线程与0-300一起使用,则计算时间没有变化

我也使用了Joblib多重处理:

inputs = range(300)
Parallel(n_jobs=core_num)(delayed(loops)(i) for i in inputs)

在这种情况下,计算时间甚至更高

我做错什么了吗,或者有其他方法通过多线程加速循环吗?这里的范围只是一个例子,循环的大小通常为2000 * 1800 * 6 * 6,这需要+5分钟才能完成我正在做的事情

python multithreading multiprocessing python-multiprocessing python-multithreading
1个回答
1
投票

由于GIL,使用多线程在python中不会获得任何加速。这是解释器的互斥量。您需要使用多处理程序包。它包含在标准发行版中。

from multiprocessing import Pool

pool = Pool()

然后只需使用mapstarmap。您可以找到文档here。但是首先考虑是否可以使用numpy对代码进行矢量化,这样会更快。

© www.soinside.com 2019 - 2024. All rights reserved.