PySpark从Oozie启动时未导入本地模块

Question

我有一个PySpark作业，该作业在使用spark-submit启动时可以完美运行，但是在尝试使用Oozie Spark Action启动它时却不断出错。这是我的工作空间中lib目录的结构。

lib/
    main_spark.py
    localmodule/
        ClassOne.py

我得到的是这个错误：

>> from localmodule.ClassOne import ClassOne
ImportError: No module named localmodule.ClassOne

看来我的主要py文件无法解决对localmodule的引用，即使它们都在lib目录中，因此也应该复制到同一目录中。我想念什么吗？

Answer 1

任何人都可以解决此问题。我在火花操作中提到py文件，但没有运气。