【问题标题】:Why HBase backed Hive table uses MapReduce为什么 HBase 支持的 Hive 表使用 MapReduce
【发布时间】:2017-09-23 01:11:56
【问题描述】:

我在我的项目中使用 Hbase 支持的 Hive 表,但我们选择 Hbase 支持的 Hive 的原因是执行更新。

除此之外,Hbase 支持的 Hive 表还有哪些其他优势。因为它在从 Hive 查询时仍然使用 MapReduce。 即使我们需要少量数据,并且由于表格很大,也需要时间来给出结果。

但是,如果我们在 Hbase shell 上执行带范围扫描或仅在 Hbase 中获取,则结果会在几分之一秒内出现。那么使用 Hbase 支持的 Hive 表除了更新(现在在 HIVE 中也可以使用)和简化 SQL 之外还有哪些其他优势。

如果 Hbase 支持,HIVE 如何评估和运行查询? 为什么它使用 MapReduce 扫描并给出结果而不是更快的 Hbase 引擎? Hbase 是否有自己的引擎来执行扫描、获取操作以从其 HFiles 中获取数据???

【问题讨论】:

    标签: hadoop hive mapreduce hbase


    【解决方案1】:

    我会建议你不要使用 Hbase 支持的 Hive。 如您所见,使用过滤器的扫描在 hive 查询运行的时间摩擦中运行。 那是因为Hbase在存储级别过滤数据,然后hive加载所有表数据然后过滤。 假设有从 hive 到 Hbase 的谓词下推,但有很多未解决的问题。并且很多谓词下推是禁用的。 更多内容可以查看页面:Hive HBase Integration

    【讨论】:

    • 谢谢,但这不是我要找的
    猜你喜欢
    • 2023-03-31
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多