在Apache Spark中导入苏打水（H2O）管道时出错：py4j.protocol.Py4JError

Question

最近，我在最后阶段使用Sparkling Water的AutoML创建了一个PySpark管道（非常类似于https://github.com/h2oai/sparkling-water/blob/master/py/examples/pipelines/ham_or_spam_multi_algo.py，但是当我从文件加载模型时，出现此错误：

例如：

model = loaded_pipeline.fit(data)
model.write().overwrite().save("examples/build/model")
loaded_model = PipelineModel.load("examples/build/model")


py4j.protocol.Py4JError: ai.h2o.sparkling.ml.models.H2OMOJOModel.H2OSupervisedMOJOModel does not exist in the JVM

我有当前的程序包/版本：H2O（3.28.0.3），h2o-pysparkling-2-4（3.28.0.3-1），PySpark（2.4.3），Py4j（0.10.7）。我仅在将H2O /苏打水更新到3.28版本时收到此错误。它可以与某些环境变量或软件包版本的定义相关吗？

Answer 1

请在代码的开头运行from pysparkling import *。此调用确保我们将Sparkling Water依赖项添加到Spark应用程序。