Python包未导入AWS EMR中

问题描述 投票:0回答:1

我正在尝试通过Livy向EMR集群提交工作。我的Python脚本(要提交作业)需要导入一些软件包。我已经将所有这些软件包安装在EMR的主节点上。主脚本位于S3上,该脚本正在调用S3以将作业从EC2提交给Livy。每次我尝试在远程计算机(EC2)上运行作业时,都会显示“导入错误”(没有名为[mod name]的模块)

的消息。

我已经坚持了一个多星期,无法找到可能的解决方案。任何帮助将不胜感激。谢谢。

python python-3.x amazon-emr livy
1个回答
0
投票

您正在尝试导入的这些软件包。他们是自定义包吗?如果是这样,您如何打包它们。您是否创建了wheel文件或zip文件,并在通过livy提交的spark中将它们指定为--py-files?

© www.soinside.com 2019 - 2024. All rights reserved.