例外：java.lang.Exception：当使用master'yarn'运行时，必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR。在火花中

Question

我是新的apache-spark。我已经在spark独立模式下测试了一些应用程序。但是我想运行应用程序纱线模式。我在windows中运行apache-spark 2.1.0。这是我的代码

c:\spark>spark-submit2 --master yarn --deploy-mode client --executor-cores 4 --jars C:\DependencyJars\spark-streaming-eventhubs_2.11-2.0.3.jar,C:\DependencyJars\scalaj-http_2.11-2.3.0.jar,C:\DependencyJars\config-1.3.1.jar,C:\DependencyJars\commons-lang3-3.3.2.jar --conf spark.driver.userClasspathFirst=true --conf spark.executor.extraClassPath=C:\DependencyJars\commons-lang3-3.3.2.jar --conf spark.executor.userClasspathFirst=true --class "GeoLogConsumerRT" C:\sbtazure\target\scala-2.11\azuregeologproject_2.11-1.0.jar

例外：当使用主'yarn'运行时，必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR。在火花中

所以从搜索网站。我创建了一个文件夹名称Hadoop_CONF_DIR并将hive site.xml放在其中并指向环境变量，之后我运行spark-submit然后我有了

连接拒绝异常我认为我无法正确配置纱线模式。有谁可以帮我解决这个问题？我需要单独安装Hadoop和yarn吗？我想在伪分布式模式下运行我的应用程序。请帮我在windows中配置yarn模式谢谢

Answer 1

您需要导出两个变量HADOOP_CONF_DIR和YARN_CONF_DIR，以使您的配置文件对纱线可见。如果您使用的是linux，请使用.bashrc文件中的以下代码。

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

在Windows中，您需要设置环境变量。

希望这可以帮助！

Answer 2

如果你使用Yarn运行spark，那么你最好将它添加到spark-env.sh：

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop