如何使用spark会话导入python文件？

Question

我尝试使用Sparkcontext在我当前的pyspark程序中导入另一个python文件。由于多个spark上下文无法一次运行，它给了我错误。我使用spark会话来导入我的python文件。我的代码是：

spark = SparkSession.builder.appName('Recommendation_system').getOrCreate()
txt=spark.addFile('engine.py')
dataset_path = os.path.join('Musical_Instruments_5.json')
app = create_app(txt,dataset_path)

我收到如下错误：

AttributeError: 'SparkSession' object has no attribute 'addFile'

使用spark会话导入python文件的正确方法是什么。

Answer 1

你应该使用类的'addFile'方法：

  pyspark.SparkContext

API reference