pyspark数据帧在show()中给出错误

问题描述 投票:0回答:1

我正在将Zeppelin笔记本与%livy.pyspark解释器一起使用。我正在Hadoop Hive表上运行SQL查询,并希望查看该表的几行内容。我正在使用以下代码:

'''
%livy.pyspark
from pyspark.sql import HiveContext
sqlContext = HiveContext(sc)
df = sqlContext.sql("Select * from Orders")
df.printSchema()
df.show()
'''

它显示带有df.printSchema()的表模式。但是,使用df.show()

会出现以下错误
'''An error occurred while calling showString.
: java.lang.RuntimeException: serious problem'''

您能帮我解决这个问题吗?

apache-spark hive pyspark apache-zeppelin livy
1个回答
0
投票

这是HIVE(https://issues.apache.org/jira/browse/HIVE-13120)的问题。解决方法是设置set hive.fetch.task.conversion=none

© www.soinside.com 2019 - 2024. All rights reserved.