spark-submit
我的应用程序提交给我的火花集群,但分配给我的应用程序的资源没有与我指定的参数一致。client
模式cluster
,我只得到了较少的,例如9个容器9个内核和45056MB RAM(大致44GB)。我找到在哪里申请信息显示的cluster:8088
页面上此信息。我还交叉引用与在执行器信息被示出为火花应用spark:4044
执行人标签。spark-submit --master yarn --deploy-mode client --class "$1" target/scala-2.10/recommend-assembly-0.1.jar --executor-cores 8 --num-executor 15 --driver-memory 19g
client
到cluster
,分配的资源更少。
我怀疑纱的一些设置是导致此。我发现Apache Hadoop Yarn - Underutilization of cores,然而,当我改变capacity-scheduler.xml
设置它并不能帮助。我想你应该采取有关纱火花知识,包括集装箱,舞台,AM等