【发布时间】:2019-10-21 22:40:36
【问题描述】:
我正在尝试在 Spark 集群上运行用 Java 编写的 Spark 作业,以将记录作为数据帧加载到我创建的 Hive 表中。
df.write().mode("overwrite").insertInto(dbname.tablename);
虽然表和数据库存在于 Hive 中,但它会抛出以下错误: org.apache.spark.sql.AnalysisException:找不到表或视图:dbname.tablename,数据库dbname不存在。;
我还尝试从与上表不同的现有配置单元表中读取数据,认为在创建表时可能存在问题。 我还检查了我的用户是否有权访问配置单元存储数据的 hdfs 文件夹。 一切看起来都很好,不知道可能是什么问题。
请提出建议。
谢谢
【问题讨论】:
-
如果您要构建数据框,为什么不使用结构化流?
-
您是否使用 spark-shell 进行过检查。表存在于 spark 环境中或 NOt.scala> spark.catalog.listTables().show(false)
标签: apache-spark hive apache-spark-sql