无法通过Spark HdInsight中的anaconda py35 env进行动作调用

Question

根据文档-https://docs.microsoft.com/en-us/azure/hdinsight/spark/apache-spark-python-package-installation

我们通过新的anaconda env'py35_data_prof'安装了多个外部python模块。但是，一旦我们在python代码中调用rdd.count（）或rdd.avg（）之类的rdd操作调用，spark2就会抛出-

Cannot run program "/usr/bin/anaconda/envs/py35_data_prof/bin/python": error=2, No such file or directory

enter image description here

仅供参考，错误路径中指示的python-'/ usr / bin / anaconda / envs / py35_data_prof / bin / python'实际上是一个符号链接，而不是python目录。我一直在查找HDInsight文档，但似乎找不到修复程序。请让我们知道是否有解决方法。

Answer 1

错误消息“ Cannot run program "/usr/bin/anaconda/envs/py35_data_prof/bin/python": error=2, No such file or directory”明确指出无法找到/定位已安装的软件包。确保已按照以下所有要求安装了软件包。

•使用conda创建Python虚拟环境。

•如果需要，在创建的虚拟环境中安装外部Python软件包。

•更改Spark和Livy配置并指向创建的虚拟环境。

我要求您遵循此处提到的每个步骤：“ Safely install external Python packages”。

希望这会有所帮助。