在 pysparkling 独立集群中设置 Spark.ext.h2o.backend.cluster.mode=external 时出现错误

Question

代码：

import pandas as pd
from pyspark.sql import SparkSession
from pysparkling import *
import h2o
from pysparkling.ml import H2OAutoML
spark = SparkSession.builder.appName('SparkApplication').getOrCreate()
hc = H2OContext.getOrCreate()

Spark-提交命令：

spark-submit --master Spark://local:7077 --py-files 气泡水-3.36.1.3-1-3.2/py/h2o_pysparkling_3.2-3.36.1.3-1-3.2.zip --conf“spark.ext.h2o.backend.cluster.mode =外部”--conf Spark.ext.h2o.external.start.mode =“自动”--conf Spark.ext.h2o.external.h2o.driver="/home/whiz/spark/h2odriver-3.36.1.3.jar" --conf Spark.ext.h2o.external.cluster.size=2 Spark_h20/h2o_script.py

错误日志： py4j.protocol.Py4JJavaError：调用 o58.getOrCreate 时发生错误。 : java.io.IOException: 无法运行程序“hadoop”: error=2, 没有这样的文件或目录**

Answer 1

SW外部后端自动启动仅在Hadoop或K8s环境下支持。在独立部署中，您需要根据SW文档中的教程手动部署外部后端。