【发布时间】:2014-12-15 12:15:41
【问题描述】:
来自官方Hive documentation:
Hive 旨在为 交互式数据浏览、小数据集查询或测试 查询。
我不是数据库架构方面的专家,我想知道当上述假设不成立时是否有替代方案,即在对大数据集进行查询时。
【问题讨论】:
标签: database apache hive bigdata
来自官方Hive documentation:
Hive 旨在为 交互式数据浏览、小数据集查询或测试 查询。
我不是数据库架构方面的专家,我想知道当上述假设不成立时是否有替代方案,即在对大数据集进行查询时。
【问题讨论】:
标签: database apache hive bigdata
从你的问题我可以看出你想减少查询的延迟......但是你可以使用 hdfs 作为数据存储......你有很多选择,比如 presto 和 spark sql......他们都有与 hive 无缝集成,但具有相当大的性能优势.....另一种选择是将数据存储转移到无 sql 数据库....如果您想使用 HDFS 作为数据存储,hbase 可以提供一些性能优势... . 其他可以是 mongo , cassandra 等
【讨论】:
有几种方法可以使查询运行得更快。我不会详细介绍这些,但您可以探索以下内容:
Cloudera Impala:由 cloudera http://www.cloudera.com/content/cloudera/en/products-and-services/cdh/impala.html
Presto DB:由 Facebook 开发 http://prestodb.io/
Spark SQL:构建在 Spark 之上 (https://spark.apache.org/sql/)
有很多不错的文章比较了 Hive、Impala 和 Presto,并比较了它们的性能。您可以阅读它们并选择最适合您的用例的一种。这是一个比较它们优缺点的链接:http://bigdatanerd.wordpress.com/2013/11/19/war-on-sql-over-hadoop/
【讨论】: