X[i, j] * X[i, k]的三维数组

Question

我有一个非常大的矩阵 X（n=40000，p=5000），缺少值（即

X[j,k] = np.nan

对于某些 j，k）。 我想计算一个矩阵 R，这样

R[j, k] = cardinal[i such that X[i, j] and X[i ,k] are not np.nan]

.

由于X很大，简单地遍历X的每一行每一列都需要很多时间，我负担不起。因此，我想尽可能并行化计算。 你知道有什么方法可以继续吗？

我想到的想法是看到我们也有

R[j, k] = cardinal[i such that X[i, j]*X[i ,k] is not np.nan]

。因此，如果我可以计算产品

X[i, j] * X[i, k]

的3D矩阵，我会得到一个形状为（n，p，p）的3D数组，最终能够计算出R。但我不知道如何快速计算3D阵列。此外，它甚至是处理我的问题的最佳方法吗？

谢谢！