【问题标题】:Unable to see data from spark beeline for a hive orc table无法从火花直线中查看蜂巢兽人表的数据
【发布时间】:2016-02-25 13:11:10
【问题描述】:

我创建了一个兽人蜂巢表,如下所示:

  • create table forest41 (id int, type string) 由 (id) 聚类成 2 存储为 orc TBLPROPERTIES ('transactional'='true') 的桶;

    插入表森林41个值(1,'red'),(2,'white'),(3,'black');

现在,当我试图从 spark beeline 查看数据时:它没有显示任何数据,也没有抛出任何异常。

以下是我运行的查询: select * from default.forest40 limit 10

但在spark作业控制台中:显示与上述查询相关的作业之一——跳过阶段(一)——Spark JDBC Server查询

【问题讨论】:

    标签: apache-spark orc


    【解决方案1】:

    您使用 hive 的存储桶功能创建了 hive 表,但 Spark 不支持。

    通过此链接http://spark.apache.org/docs/latest/sql-programming-guide.html#unsupported-hive-functionality

    【讨论】:

    • 但是重启thrift服务器后就可以查看数据了。为什么会这样?
    • 你的意思是。重启 thrift server 后,就可以获取数据了。您能否指定您何时无法查看数据?
    • 创建数据并将数据插入 hive orc 表后,您将无法立即查看 spark beeline 中的数据。重新启动 thrift 服务器并再次登录beeline 后,您将能够看到。
    • 添加我的一个队友的另一个观察结果:如果我们在 spark beeline 中执行“select * from ”之前运行“USE ”命令,那么我们也将能够查看数据。这不需要重启服务器。
    • 可能这是一个错误,在 Spark Jira 中提出并通过应用程序日志文件查找一些警告和错误
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-09-23
    • 1970-01-01
    • 2021-10-23
    • 2018-06-23
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多