使用 Spark 和 Hive SQL 执行多个查询的问题答案

【问题标题】：Issues with executing multiple queries using Spark and HiveSQL使用 Spark 和 Hive SQL 执行多个查询的问题
【发布时间】：2016-02-06 20:19:31
【问题描述】：

我希望有人可以帮助我解决这个问题。在 spark-shell 中，如果我尝试如下操作：

var sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) 

var query = "select * from myDB.table limit 10; drop table if exists"

var queryDF = sqlContext.sql(query)

我收到一个错误：

“org.apache.spark.sql.AnlysisException: ';' 处缺少 EOF....

我可以执行简单的简单单行查询就好了....但是多命令查询总是会导致这个错误。

有没有人遇到并解决了这个问题？提前谢谢！！！

【问题讨论】：

标签： apache-spark hive apache-spark-sql

【解决方案1】：

这是一种预期的行为。 SQLContext.sql 不支持多个查询，因此解决方案非常简单 - 一次只传递一个查询。

【讨论】：

这是 Spark SQL 解析器的错误吗？因为 Hive 已经可以做到这一点。