运行joblib.Parallel（mlxtend）不会在cloud-ml中扩展

Question

我正在使用mlxtend库运行一份工作。特别是使用sequential_feature_selector joblib.Parallel并行化的source。当我在本地计算机上运行它时，它使用所有可用的CPU，但是当我将作业发送到cloud-ml时，它只使用一个核心。我在n_jobs参数中输入的数字是什么并不重要。我也试过不同的机器类型，但同样的事情发生。有谁知道问题可能是什么？

Answer 1

对于任何可能感兴趣的人，我们解决了将sklearn中的setup.py版本修复为0.20.2的问题。我们之前在包中有过sklearn，但没有版本。

#setup.py
from setuptools import find_packages
from setuptools import setup

REQUIRED_PACKAGES = ['joblib==0.13.0',
                     'scikit-learn==0.20.2',
                     'mlxtend']