【问题标题】:What can I expect about hive and hadoop in performance?我对 hive 和 hadoop 的性能有何期待?
【发布时间】:2014-04-29 23:36:42
【问题描述】:

我实际上是在尝试使用带有 Yarn 的 CDH 5.0 上的 Hive 来实现一个 Hadoop 解决方案。所以我的架构是: 1个名称节点 3 数据节点 我正在查询约 1.23 亿行 21 列

我的节点使用 2vCPU @2.27 和 8 GO RAM 进行虚拟化

所以我尝试了一些请求并得到了一些结果,然后我在具有相同数据集的基本 MySQL 中尝试了相同的请求以比较结果。

实际上 MySQL 比 Hive 快得多。所以我试图理解为什么。我知道我有一些糟糕的表现,因为我的主人。我的主要问题是:我的集群大小合适吗?

我是否需要为这么多数据添加相同的 DataNode(我认为这不是很大)?

如果有人尝试使用大致相同的架构进行某些请求,欢迎您与我分享您的结果。

谢谢!

【问题讨论】:

    标签: hadoop hive cloudera-cdh


    【解决方案1】:

    我正在查询约 1.23 亿行 21 列 [...] 在我看来这不是很大

    这正是问题所在,不是很大。 Hive 是一种大数据解决方案,并非旨在在您使用的那种小型数据集上运行。这就像试图用叉车取出厨房垃圾一样。当然,它会起作用,但手动取出它可能更快。

    现在,说了这么多,如果您想要更接近传统 RDBMS 的实时性能,您有几个选择。

    • Hive 0.13+ 使用 TEZ、ORC 和许多其他优化,大大缩短了响应时间
    • Impala(CDH 发行版的一部分)完全绕过 MapReduce,但在文件格式支持方面受到更多限制。

    编辑:

    我是说使用 2 个数据节点可以获得与使用 3 个相同的性能

    这一点也不奇怪。由于 Hive 使用 MapReduce 处理查询运算符(join、group by、...),因此会产生 MapReduce 附带的所有成本。无论数据大小和数据节点数量如何,此成本或多或少都是恒定的。

    假设您有一个包含 100 行的数据集。您可能会看到 98% 的处理时间用于 MapReduce 初始化,而 2% 用于实际数据处理。随着数据大小的增加,与总时间相比,与 MapReduce 相关的成本可以忽略不计。

    【讨论】:

    • 好的,谢谢你的回复,所以我的数据集太小了。我今天做了其他测试,我发现如果我关闭一个数据节点(所以只有 2 个而不是 3 个)我有类似的性能结果。也是因为 mydataset 吗?
    • 关闭哪个数据节点有关系吗?
    • 不,实际上我有 3 个数据节点,我对此进行了测试:01+02、02+03、01+03、01+02+03。每次我花费的 cpu 时间都非常相似。所以我不认为一个数据节点会减慢这个过程......
    • 那么你的意思是2个datanodes执行与3个datanodes相同还是2个datanodes执行与MySQL相同?
    • 我是说使用 2 个数据节点我得到的性能与使用 3 个相同。
    猜你喜欢
    • 1970-01-01
    • 2012-12-05
    • 2016-09-24
    • 2020-07-17
    • 1970-01-01
    • 1970-01-01
    • 2015-03-05
    • 1970-01-01
    • 2020-03-07
    相关资源
    最近更新 更多