python“英特尔MKL致命错误：无法加载libmkl_rt.so”

Question

我同时运行多个python ML作业。大多数情况下我的python脚本运行正常但是当同时启动的作业太多时，它会因此错误而失败。

由于我无法找到它的原因，因此也很难重现此错误。该文件存在于该位置。

错误：

Intel MKL FATAL ERROR: Cannot load /usr/local/miniconda-2.7.13/lib/python2.7/site-packages/numpy/core/../../../../libmkl_rt.so.

Answer 1

首先，我创建了一个用于多线程的新conda虚拟环境：

conda create -n nomkl_env python=3.7 numpy nomkl

我激活了这个环境并通过conda MKL docs运行了这个命令：

conda install numpy scipy scikit-learn numexpr

现在我可以同时运行多个Python实例。早些时候，当我跑conda remove mkl mkl-service时，它以某种方式将python从现有的虚拟环境中移除。这是次优的。我想创建一个专用的conda env，这就行了。