【问题标题】:pyspark dataframe is giving an error with show()pyspark 数据框使用 show() 出错
【发布时间】:2020-01-25 07:51:58
【问题描述】:

我正在使用带有 %livy.pyspark 解释器的 Zeppelin 笔记本。我正在 Hadoop Hive 表上运行 SQL 查询,并希望查看表中的几行。我正在使用以下代码:

'''
%livy.pyspark
from pyspark.sql import HiveContext
sqlContext = HiveContext(sc)
df = sqlContext.sql("Select * from Orders")
df.printSchema()
df.show()
'''

它使用 df.printSchema() 显示表模式。但是,使用 df.show() 给出以下错误

'''An error occurred while calling showString.
: java.lang.RuntimeException: serious problem'''

您能帮我解决这个问题吗?

【问题讨论】:

  • 这里的Orders表是一个事务表。 show() 正在处理其他表。

标签: apache-spark hive pyspark apache-zeppelin livy


【解决方案1】:

这是 HIVE(https://issues.apache.org/jira/browse/HIVE-13120) 的问题。解决方法是设置set hive.fetch.task.conversion=none

【讨论】:

    猜你喜欢
    • 2020-03-16
    • 1970-01-01
    • 2018-10-29
    • 2019-11-20
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-01-26
    相关资源
    最近更新 更多