火花提交提交没有得到资源?

问题描述 投票:0回答:1
  1. 总结:我使用spark-submit我的应用程序提交给我的火花集群,但分配给我的应用程序的资源没有与我指定的参数一致。
  2. 详细信息:我总是得到4个容器和16个内核和74752MB RAM(约73G)。当我改变client模式cluster,我只得到了较少的,例如9个容器9个内核和45056MB RAM(大致44GB)。我找到在哪里申请信息显示的cluster:8088页面上此信息。我还交叉引用与在执行器信息被示出为火花应用spark:4044执行人标签。
  3. 下面是我使用的代码片段:spark-submit --master yarn --deploy-mode client --class "$1" target/scala-2.10/recommend-assembly-0.1.jar --executor-cores 8 --num-executor 15 --driver-memory 19g
  4. 环境信息:纱线,Hadoop2.6 Spark1.6。 4个节点(1个是主站),每个群集与16核CPU和64GB RAM(即使我的节点以某种方式仅有权​​访问各40GB RAM)。
  5. 我的尝试: 我试图与上述paramters(例如,NUM执行人),我仍然得到资源的相同数量的修修补补。但是,当我改变clientcluster,分配的资源更少。 我怀疑纱的一些设置是导致此。我发现Apache Hadoop Yarn - Underutilization of cores,然而,当我改变capacity-scheduler.xml设置它并不能帮助。
apache-spark spark-submit
1个回答
0
投票

我想你应该采取有关纱火花知识,包括集装箱,舞台,AM等

© www.soinside.com 2019 - 2024. All rights reserved.