如何并行计算？

Question

我试图在距离矩阵上计算一个普通的ODE（常微分方程），但我不知道如何并行化我的代码。

from scipy.integrate import quad
from math import exp
import numpy as np
import matplotlib.pyplot as plt

#I have my distance matrix and I wanna count how many points are distanced
# from point i with distance r at maximum 
def v(dist, r, i):
    return 1/N*(np.count_nonzero(np.select([dist[i,:]<r],[dist[i,:]]))+1)
#integral of rho from r to infinity
def rho_barre(rho, r):
    return quad(rho, r, np.inf)
# integral over r of a certain integrand
def grad_F(i, j, rho, v, v_r, dist):
    return quad(lambda r : ((v(dist, r, i)+v(dist, r, j))/2-v_r)*rho_barre(rho, max(r, dist[i,j])), 0, np.inf) 

#parameters
delta_T = 0.1
rho = (lambda x: exp(-x))
v_r =0

for t in range (1000):
    for i in range(N):
        for j in range(N):
            d_matrix[i,j] = d_matrix[i,j] + delta_T* grad_F(i,j,rho, v, v_r, d_matrix)

首先，我有以下错误can't multiply sequence by non-int of type 'float'，我不明白为什么。然后，我知道python中有三个循环太多了，我想知道如何在Python中使它更快。

Answer 1

听起来你有几个不同的问题。让我看看我是否可以更抽象地回答，你可以把它拼凑起来

Parallel

在Python中并行工作的一种非常简单的方法是multiprocessing

如果您多次应用相同的功能，而不是：

res = [myfun(arg) for arg in args]

你可以做：

import multiprocessing as mp
with mp.Pool() as pool:
    res = pool.map(myfun,args)

有局限性。 myfun和args都必须是pickleable（lambda不是这样你想要在你的代码中解决这个问题）

Nested Loops

通常，python循环很慢。使用NumPy时，如果可以的话，最好“向量化”。

因此，不要忘记[i,j]的每个d_matrix元素，看看你是否可以同时处理它们。因此，计算矩阵grad_F（而不是函数）并添加它。你仍然需要你的时间循环，但你可以在一个非常快的动作中解决你的d_matrix。

Other tips:

你能预先计算rho_barre吗？也许用scipy.integrate.cumtrapz来计算？

此外，尝试写更少的单行。使用新函数而不是lambdas。它将使您更容易理解您的代码！