Spark：找不到CoarseGrainedScheduler

Question

运行几个小时后，我不确定导致此异常运行我的Spark作业的原因是什么。

我正在运行Spark 2.0.2

有没有调试提示？

2016-12-27 03:11:22,199 [shuffle-server-3] ERROR org.apache.spark.network.server.TransportRequestHandler - Error while invoking RpcHandler#receive() for one-way message.
org.apache.spark.SparkException: Could not find CoarseGrainedScheduler.
    at org.apache.spark.rpc.netty.Dispatcher.postMessage(Dispatcher.scala:154)
    at org.apache.spark.rpc.netty.Dispatcher.postOneWayMessage(Dispatcher.scala:134)
    at org.apache.spark.rpc.netty.NettyRpcHandler.receive(NettyRpcEnv.scala:571)
    at org.apache.spark.network.server.TransportRequestHandler.processOneWayMessage(TransportRequestHandler.java:180)
    at org.apache.spark.network.server.TransportRequestHandler.handle(TransportRequestHandler.java:109)
    at org.apache.spark.network.server.TransportChannelHandler.channelRead0(TransportChannelHandler.java:119)
    at org.apache.spark.network.server.TransportChannelHandler.channelRead0(TransportChannelHandler.java:51)
    at io.netty.channel.SimpleChannelInboundHandler.channelRead(SimpleChannelInboundHandler.java:105)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)
    at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)
    at io.netty.handler.timeout.IdleStateHandler.channelRead(IdleStateHandler.java:266)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)
    at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)
    at io.netty.handler.codec.MessageToMessageDecoder.channelRead(MessageToMessageDecoder.java:103)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)
    at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)
    at org.apache.spark.network.util.TransportFrameDecoder.channelRead(TransportFrameDecoder.java:85)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308)
    at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294)
    at io.netty.channel.DefaultChannelPipeline.fireChannelRead(DefaultChannelPipeline.java:846)
    at io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:131)
    at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:511)
    at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:468)
    at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:382)
    at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:354)
    at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEve

Answer 1

是的，现在我知道那个神秘异常的含义，执行者因为超过容器阈值而被杀死。 有几个原因可能会发生，但第一个罪魁祸首是检查您的工作或尝试向您的群集添加更多节点/执行程序。

Answer 2

基本上它意味着失败还有另一个原因。尝试在作业日志中查找其他异常。

请参阅此处的“例外”部分：https://medium.com/@wx.london.cun/spark-on-yarn-f74e82ab6070

Answer 3

这可能是一个资源问题。尝试增加内核和执行程序的数量，并为应用程序分配更多RAM，然后通过调用重新分区来增加RDD的分区数。理想的分区数取决于先前的设置。希望这可以帮助。

Answer 4

对我来说，当我指定一个spark.read.load不存在的路径时，或者如果我为输入指定了错误的格式，即parquet而不是csv，就会发生这种情况。

不幸的是，实际的错误有时是静默的，发生在堆栈跟踪之上。有时虽然你可以找到另一组堆栈跟踪以及更有意义的堆栈跟踪。

Answer 5

另一个愚蠢的原因可能是你在火花流awaitTermination中的时间被设置为更少的时间，并且它在完成之前被终止

ssc.awaitTermination(timeout)
@param timeout: time to wait in seconds