Apache Spark方法sun.misc.Cleaner sun.nio.ch.DirectBuffer.cleaner()在spark-submit过程中未找到。

Question

我试图从一个使用Yarn集群模式的虚拟机上运行以下Spark提交。

./spark-submit --master yarn --deploy-mode client test_spark_yarn.py

虚拟机的java版本是11，spark-2.4.5，而yarn集群的java版本是8，spark-2.4.0。我得到了下面的错误。

错误信息

Answer 1

这个问题通常通过设置JAVA_HOME为jdk8来解决。你能不能试试？