【问题标题】:Hive alternative for big data query用于大数据查询的 Hive 替代方案
【发布时间】:2014-12-15 12:15:41
【问题描述】:

来自官方Hive documentation

Hive 旨在为 交互式数据浏览、小数据集查询或测试 查询。

我不是数据库架构方面的专家,我想知道当上述假设不成立时是否有替代方案,即在对大数据集进行查询时。

【问题讨论】:

    标签: database apache hive bigdata


    【解决方案1】:

    从你的问题我可以看出你想减少查询的延迟......但是你可以使用 hdfs 作为数据存储......你有很多选择,比如 presto 和 spark sql......他们都有与 hive 无缝集成,但具有相当大的性能优势.....另一种选择是将数据存储转移到无 sql 数据库....如果您想使用 HDFS 作为数据存储,hbase 可以提供一些性能优势... . 其他可以是 mongo , cassandra 等

    【讨论】:

      【解决方案2】:

      有几种方法可以使查询运行得更快。我不会详细介绍这些,但您可以探索以下内容:

      1. Cloudera Impala:由 cloudera http://www.cloudera.com/content/cloudera/en/products-and-services/cdh/impala.html

      2. 开发
      3. Presto DB:由 Facebook 开发 http://prestodb.io/

      4. Spark SQL:构建在 Spark 之上 (https://spark.apache.org/sql/)

      有很多不错的文章比较了 Hive、Impala 和 Presto,并比较了它们的性能。您可以阅读它们并选择最适合您的用例的一种。这是一个比较它们优缺点的链接:http://bigdatanerd.wordpress.com/2013/11/19/war-on-sql-over-hadoop/

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 2019-12-09
        • 1970-01-01
        • 2017-11-08
        • 1970-01-01
        • 2011-08-01
        • 2013-02-08
        • 1970-01-01
        相关资源
        最近更新 更多