为 Spark3 构建的 Apache Livy 错误：java.lang.ClassNotFoundException：org.apache.spark.sql.hive.HiveContext

Question

我使用本指南为 Spark 3.1.3 构建了 Apache Livy：https://jtaras.medium.com/building-apache-livy-0-8-0-for-spark-3-x-9bdfe1a66bd7

我在需要的地方更改了 3.1.3 的版本并且构建顺利。但是，当我尝试从此处执行示例代码时 https://livy.incubator.apache.org/examples/ scala 示例有效但 python 无效。 我收到消息说解释器因为缺少 HiveContext

java.lang.NoClassDefFoundError: org/apache/spark/sql/hive/HiveContext

而死了。我看到 HiveContext 在 Spark 3.1.3 中不存在，Livy 试图在几个地方导入它，所以这在某种程度上是意料之中的，但为什么 scala 示例会起作用？是否可以让 Livy 与 Spark3 和 pyspark 一起工作？