Spark + Zeppelin中没有添加依赖项

Question

我无法从zeppelin向spark类路径添加自定义依赖项。

环境：AWS EMR：Zeppelin 0.8.0，Spark 2.4.0

火花解释器的额外配置：

spark.jars.ivySettings  /tmp/ivy-settings.xml
spark.jars.packages my-group-name:artifact_2.11:version

来自my-group-name的文件出现在

spark.yarn.dist.jars
spark.yarn.secondary.jars

但无法通过zeppelin笔记本电脑访问（由import my.lab._检查）

但是，当我为spark-shell运行相同的配置时，它正在本地机器上运行，并且在emr集群上运行ssh，并且可以从spark-shell获得导入

zeppelin的Sun.java.command：

org.apache.spark.deploy.SparkSubmit --master yarn-client ... --conf spark.jars.packages=my-group-name:artifact_2.11:version ... --conf spark.jars.ivySettings=/tmp/ivy-settings.xml ... --class org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer /usr/lib/zeppelin/interpreter/spark/spark-interpreter-0.8.0.jar <IP ADDRESS> 34717 :

在emr上提交Spark：

spark-shell --master yarn-client --conf spark.jars.ivySettings="/tmp/ivy-settings.xml" --conf spark.jars.packages="my-group-name:artifact_2.11:version"

任何建议在哪里寻找错误？

Answer 1

您可以尝试在解释器设置中将jar直接添加到Zeppelin。 http://zeppelin.apache.org/docs/0.8.0/usage/interpreter/dependency_management.html

或者，将jar添加到spark libs（在我的例子中是/ usr / hdp / current / spark2 / jars /目录）。