使用齐柏林飞艇在kubernetes上闪烁

Question

我正在按照本指南在使用minikube设置的本地kubernetes集群中运行一个齐柏林飞艇容器。

我能够设置齐柏林飞艇并在其中运行一些示例代码。我已经下载了spark 2.4.5和2.4.0源代码，并使用以下命令为kubernetes支持构建了它：

./build/mvn -Pkubernetes -DskipTests clean package

一旦生成火花，就按照文章中的说明创建了一个docker容器：

bin/docker-image-tool.sh -m -t 2.4.X build

我将齐柏林飞艇配置为使用由kubernetes支持构建的spark图像。上面的文章解释了spark解释器将自动配置kubernetes上的spark以在客户端模式下运行并运行作业。

但是每当我尝试使用spark运行任何参数时，都会收到以下错误

Exception in thread "main" java.lang.IllegalArgumentException: basedir must be absolute: ?/.ivy2/local

我曾尝试在齐柏林飞艇中将火花配置spark.jars.ivy设置为指向临时目录，但这也不起作用。

但是我似乎无法将spark配置为与spark.jars.ivy /tmp/.ivy配置一起运行。在构建spark时，我尝试使用spark-defaults.conf构建spark，但这似乎也不起作用。

非常困扰这个问题，以及如何解决它的任何指导意见。

谢谢！

Answer 1

我也遇到了这个问题，但是我用于设置spark.jars.ivy=/tmp/.ivy的锻炼是将其设置为环境变量。

在您的火花解释器设置中，添加以下属性：SPARK_SUBMIT_OPTIONS并将其值设置为--conf spark.jars.ivy=/tmp/.ivy。

这应该通过其他选项来激发提交，您的工作应该继续。