如何在Google Dataproc主节点上启用pyspark HIVE支持

Question

我创建了一个dataproc群集，并手动安装了conda和Jupyter笔记本。然后，我通过conda安装pyspark。我可以通过[

成功运行spark

from pyspark import SparkSession
sc = SparkContext(appName="EstimatePi")

但是，我无法启用HIVE支持。以下代码被卡住，不返回任何内容。

from pyspark.sql import SparkSession
spark = (SparkSession.builder
         .config('spark.driver.memory', '2G')
         .config("spark.kryoserializer.buffer.max", "2000m")
         .enableHiveSupport()
         .getOrCreate())

Python版本2.7.13，Spark版本2.3.4

启用HIVE支持的任何方法？

Answer 1