如何在Qubole上升级Python版本？

Question

Qubole的当前版本是3.5.3，某些软件包，例如PyMC3和将来的XGBoost需要更高的版本。我该如何升级？这会影响其他集群的设置吗？

error message

Answer 1

有两个选项：

如果使用的是环境，则可以联系Qubole支持并更新至Python 3.7随附的最新版本。但是，这会影响整个集群，而不仅限于您的工作。

如果您自己管理软件包，则可以通过node bootstrap使用Python 3.7安装miniconda，然后将您的工作指向使用该环境。

pushd /tmp
wget https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh
chmod +x Miniconda3-latest-Linux-x86_64.sh
./Miniconda3-latest-Linux-x86_64.sh -bfp /media/ephemeral0/py_37_env

然后，您可以使用Spark属性spark.pyspark.python来指向您的工作，以使用此迷你康达环境。您可能需要相应地重新安装依赖项。