我正在尝试使用livy,这是我第一次使用REST api。在tutorial之后,当我打字
r = requests.post(statements_url, data=json.dumps(data), headers=headers)
然后
r.json()
我收到了作为输出u'java.lang.IllegalStateException: Session is in state dead'
。根据教程,会话状态应该是谜语,但在完成启动之后似乎变为死亡。我不知道如何保持iddle
的州状态,以便我可以提出要求。
在运行服务器的控制台中,我收到以下输出16/08/02 12:37:18 ERROR SessionServlet$: internal error java.lang.IllegalStateException: Session is in state dead
经过多次尝试,我意识到我正在使用scala 2.11运行spark,而Livy只支持Scala 2.10。
当我取消在Hue Notebook中运行的一段代码时,我遇到了这个问题。
我找到的唯一解决方案是退出Hue然后重新登录。
(当您重新登录时,它会创建一个新会话)
最近我遇到了同样的问题,我通过创建正确的会话类型解决了问题。即在打包Apache Livy时,我的mvn在python失败了,所以我没有为pyspark创建会话,而是创建了spark会话,然后我的会话处于空闲状态。