(Zeppelin + Livy)SparkUI.appUIAddress(),一定是错的

问题描述 投票:0回答:1

我正试图在这个文档之后用Zeppelin配置livy:https://zeppelin.apache.org/docs/0.7.3/interpreter/livy.html

但是,当我跑:

%livy.spark
sc.version

我收到以下错误:

java.lang.RuntimeException: No result can be extracted from 'java.lang.NoSuchMethodException: org.apache.spark.ui.SparkUI.appUIAddress()', something must be wrong

我使用Zeppelin 0.7.3,Spark 2.2.1和Livy 0.4.0。 Spark在YARN上运行(hadoop 2.9.0)。这是vanilla安装,我不使用像cloudera / HDP这样的发行版。所有这些软件都在一台服务器上运行

我可以使用--master yarn在spark-shell中运行示例org.apache.spark.examples.SparkPi,没有任何问题。所以我确认YARN上的火花运行良好。

任何帮助,将不胜感激。

谢谢,yusata。

apache-spark hadoop apache-zeppelin livy
1个回答
0
投票

这个问题是由spark 2.2中的方法折旧引起的.pit 2.2中不再存在appUiAddress。

正如你在这个PR https://github.com/apache/zeppelin/pull/2231中看到的那样。这个问题已经解决了。

不知怎的,你仍然遇到了这个问题。我认为降级Spark或使用更新版本的Zeppelin可以解决问题。

© www.soinside.com 2019 - 2024. All rights reserved.