Apache / Cloudera HUE / Livy Spark Server - InterpreterError：无法启动解释器

Question

我现在处于亏损状态。我正在尝试使用Spark 2.4 + Livy Server 0.5.0在Apache HUE 4.3上运行PySpark / SparkR。我已经按照我能找到的每一个指南，但我一直在讨论这个问题。基本上，我可以通过命令行运行PySpark / SparkR，但由于某种原因，HUE执行以下操作：

• 忽略我在多个地方设置的所有Spark配置（执行程序内存，内核等）（spark-defaults.conf，livy.conf和livy-client.conf）
• 成功为PySpark和SparkR创建会话，但当你尝试做任何事情时（甚至只是print(1+1)），我得到了InterpreterError: Fail to start interpreter
• 实际上在HUE上使用Scala。 Scala有效，但PySpark和SparkR不在HUE上（大概是因为Scala是基于java的）。

我可以提供任何配置。这让我非常疯狂。

我也无法通过REST API与PySpark交互，相同的InterpreterError。这让我相信它比HUE更基于Livy Server。

Answer 1

弄清楚了。我试图在cluster模式下在YARN上运行Spark，然后我切换到client并修复它。必须是群集计算机上错过的引用/文件。