将弹簧活动配置文件传递到EMR中的Spark App

Question

我已经开发了一个使用Spring Boot的Spark应用，并且将基于作业的Spark作业提交给EMR集群和EMR集群。

如果Spark应用不是Spring Boot应用，则可以按预期工作。使用Spring Boot应用程序，我们需要更改超级JAR文件的构建方式。

但是，当我们提交作业时，弹簧有效配置文件没有正确通过。

spark-submit --verbose --master yarn --executor-memory 4g --class com.test.ConsoleApplication /home/hadoop/test.jar --driver-java-options='arg1 -Dspring.profiles.active=dev' --deploy-mode cluster --conf "spark.executor.extraJavaOptions=-Dspring.profiles.active=dev" --conf "spark.driver.extraJavaOptions=-Dspring.profiles.active=dev"

我所做的主动配置文件没有通过，它正在获取默认的“本地”配置文件并相应地运行spark应用。

将Spark应用转换为非Spring Boot应用是一种选择。但是除非没有其他选择，否则不要走那条路。

谢谢卫星]]

我已经开发了一个使用Spring Boot的Spark应用，并且将基于作业的Spark作业提交给EMR集群和EMR集群。如果Spark应用程序不是Spring Boot应用程序，则可以按预期工作。 ...

Answer 1

可以通过在EMR群集上使用引导操作来解决此问题。我正在设置环境变量以设置适当的配置文件。