【问题标题】:Does Hive really use HCatalog?Hive 真的使用 HCatalog 吗?
【发布时间】:2015-08-18 11:34:55
【问题描述】:

我在网上看到了一些关于 Hive 是否使用 HCatalog 访问元存储的相互矛盾的帖子,我希望有人能在这里帮助我?

Hive 是否使用实际的 HCatalog api 来访问元数据,或者它是否有自己的检索元数据的机制并且 HCatalog 仅由非 Hive 工具用于访问元数据?

【问题讨论】:

    标签: hadoop hive hcatalog


    【解决方案1】:

    不,hive 不使用 Hcatalog Api 访问 Metastore。

    HCatalog 将 hive 元数据开放给其他 mapreduce 工具。每个 mapreduce 工具都有自己关于 HDFS 数据的概念(例如 Pig 将 HDFS 数据视为文件集,Hive 将其视为表)。由于具有基于表的抽象,HCatalog 支持的 mapreduce 工具不需要关心数据存储在哪里、以哪种格式和存储位置(HBase 或 HDFS)。

    【讨论】:

    • 我可以通过使用自定义 StorageHandler 创建表来强制 Hive 使用 HCatalog 吗?我在旧版本的 HCatalog 中看到了一个 HCatalogStorageHandler,但它现在似乎消失了?
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-12-17
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多