【问题标题】:Hive Table or view not found although the Table exists尽管表存在,但未找到 Hive 表或视图
【发布时间】:2019-10-21 22:40:36
【问题描述】:

我正在尝试在 Spark 集群上运行用 Java 编写的 Spark 作业,以将记录作为数据帧加载到我创建的 Hive 表中。

         df.write().mode("overwrite").insertInto(dbname.tablename);

虽然表和数据库存在于 Hive 中,但它会抛出以下错误: org.apache.spark.sql.AnalysisException:找不到表或视图:dbname.tablename,数据库dbname不存在。;

我还尝试从与上表不同的现有配置单元表中读取数据,认为在创建表时可能存在问题。 我还检查了我的用户是否有权访问配置单元存储数据的 hdfs 文件夹。 一切看起来都很好,不知道可能是什么问题。

请提出建议。

谢谢

【问题讨论】:

  • 如果您要构建数据框,为什么不使用结构化流?
  • 您是否使用 spark-shell 进行过检查。表存在于 spark 环境中或 NOt.scala> spark.catalog.listTables().show(false)

标签: apache-spark hive apache-spark-sql


【解决方案1】:

我认为它是在 spark 而不是 hive 中搜索该表。

【讨论】:

    猜你喜欢
    • 2017-05-20
    • 2019-02-24
    • 2015-12-23
    • 1970-01-01
    • 2012-08-21
    • 2015-10-04
    • 2018-05-31
    • 2020-07-20
    • 2017-07-22
    相关资源
    最近更新 更多