如何使用jupyter笔记本在pyspark中的Hive上使用%sql Magic string启用spark SQL

Question

如何在 jupyter 笔记本上启用

%sql Magic string

以及如何使用以下代码行在单元格上使用 %sql 魔术字符串。

spark.sql('select * from test').show()

Answer 1

尝试

%%sparksql
select * from test

尝试安装之前

pip 安装 SparkSQL-magic

参考：https://github.com/cryeo/sparksql-magic

Answer 2

您不需要 %sql 魔术字符串即可使用 Spark SQL。您需要首先创建一个 Spark DataFrame，如 SparkSession API 文档 中所述，例如使用

df = createDataFrame(data)

。然后您将创建一个全局视图，调用

df.createOrReplaceTempView("test")

。那么你上面的查询就可以工作了。

Answer 3

尝试

%%sql
select * from test

链接 https://github.com/jupyter-incubator/sparkmagic

Answer 4

在使用 %%sparksql 之前（如果您已经安装了 Sparksql-magic），您需要在单独的单元中使用以下命令加载扩展。

 %load_ext sparksql_magic