【发布时间】：2013-04-05 17:14:37
【问题描述】：
我读过几篇文章，表明 Hadoop 仅设计用于在单个物理位置的集群上运行，而不是用于大量分布广泛的节点（例如，通过 Internet 从多个站点运行分布式集群）。
有没有人有任何尝试跨多个站点使用 Hadoop 的实际经验？我会遇到什么样的问题？还是我最好只使用不同的框架（例如 BOINC）。
【问题讨论】：
标签： hadoop distributed-computing grid-computing
【发布时间】：2013-04-05 17:14:37
【问题描述】：
如果在一组相对本地的节点上执行与在一组广泛分布的节点上执行之间有任何区别，那将是在节点之间来回移动大量数据所需的时间增加。如果您遇到涉及处理、聚合和连接大量数据的问题，那么您必然会在节点之间发送大量数据。这意味着无论您选择什么平台（hadoop、storm 等），您都必须处理这个问题。 BOINC 或其他一些基于志愿者的系统可能更便宜，但您的实施仍然会受到高昂的数据传输成本的影响。此外，您可能会在混合中引入节点异构性，这将使您的实现更易于开发和调试。
顺便说一句，hadoop 和 BOINC 是两种截然不同的动物，它们解决了截然不同的问题。
【讨论】：
-
关于异构机器上的 Hadoop 问题的要点——我会做更多的研究。 WRT 关于数据传输是共址集群和分布式集群之间的关键区别的观点，我知道情况总是如此。我想我的基本问题是 Hadoop 在这方面是否比其他分布式平台差得多？ （即，它是否有用于数据分发等的非常健谈的内部协议？）。
-
协议是否健谈？我不知道，但如果任何被大量使用的开源平台过于健谈，我会感到惊讶。
-
如果没有对该问题的明确答案，您可能需要查看comparison here，以及另一个网格计算平台。不仅仅是结果，我相信提出的问题和用于回答问题的方法非常有见地
-
感谢链接，Lolo - 没有遇到 JPPF，但看起来很有希望。