【问题标题】:Unable to view tables created in hive through Spark in Unix Shell Terminal无法通过 Unix Shell 终端中的 Spark 查看在配置单元中创建的表
【发布时间】:2018-03-22 07:31:45
【问题描述】:

通过 shell 和 Spark(Eclipse 上的 Scala)在 hive 中创建的表是否都相同?

如果是,我在使用它们时会得到不同的表和数据库列表。
如何解决?

【问题讨论】:

  • 都是一样的。您能解释一下您看到不同表格列表的背景吗?
  • 当我使用 HiveContext 并在 Spark 中创建一个表时,这些表没有显示在用户/配置单元/仓库中。你能告诉我可能的更正吗?
  • 请编辑您的问题以提供尽可能多的信息。例如包括创建表的 spark 代码以及如何检查 /user/hive/warehouse 目录?是通过 Hue 还是 HDFS 等等。
  • 请贴出代码以便更好理解

标签: scala apache-spark hive bigdata


【解决方案1】:

Spark 需要配置来检测 Hive。

在你的类路径中添加hive-site.xml

如果没有这些配置,Spark 会将 hive 表本地存储在项目根目录的 metastore_db 文件夹中。

【讨论】:

    猜你喜欢
    • 2016-05-20
    • 2020-04-13
    • 2015-04-12
    • 2017-01-17
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多