火花：容器已启动但尚未开始工作

Question

我有一个火花工作，开始得很好，但是所有执行器容器都显示了：

INFO YarnAllocator: Received 1 containers from YARN, launching executors on 0 of them.

并且mapreduce工作是这样的：

>>> Invoking Shell command line now >>

Stdoutput spark.driver.cores is set but does not apply in client mode.
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat

并且它无法开始工作。我尝试将spark.executor.instances减小为1并起作用，但是当我改回4时，它像这样挂起。

我认为这是配置问题，我该怎么办？我的配置：

spark.driver.cores=1
spark.driver.memory=2g
spark.yarn.am.cores=1
spark.yarn.am.memory=4096m
spark.executor.instances=4
spark.executor.cores=4
spark.executor.memory=2g

Answer 1

我认为您应该检查spark集群是否可以正常提交简单的作业，例如：

./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 1 \
examples/jars/spark-examples*.jar \
10