带有 Amazon Web Services 的 Nutch 2.1（HBase、SOLR）

Question

我在本地体验了 Nutch 2.1 没有任何困难。我还尝试了 3 台机器分布式集群。我们现在正在讨论是否使用 Amazon Web Services 运行它。我对 AWS 没有太多经验。我的问题是，尝试 Nutch2.1 在云上爬行和索引部件是否有可能和必要。我们会有哪些可能的优势和劣势？

谢谢。

Answer 1

如果您有一个与 AWS 集群（您计划投资的）容量相同的集群，那么除了下面的 #1 之外没有任何优势。

在切换到 AWS 之前，您应该考虑以下几个因素：

1. 抓取主机的位置：如果您位于欧洲，并且您要抓取的网站托管在很远的地方……比如说澳大利亚。如果您购买位于澳大利亚的 AWS 节点，那么爬取该数据会比从欧洲爬取要快得多。

2. 费用：对于使用 AWS 机器，您需要按小时付费。你能负担得起吗？如果不是最好使用您自己的机器

3. 当前集群容量：您当前的集群是否有足够的容量和空间来处理抓取的数据量？我认为在计算速度方面不会有问题，因为 Nutch 在 Hadoop 上运行，Hadoop 旨在在商品硬件上运行。您的集群能否容纳爬虫获取的全部数据。

4. 数据量：对正在抓取的数据的粗略估计是多少？如果它更少，那么拥有 AWS 集群就没有意义了。

5. 时间限制：是否有完成抓取的时间限制？

如果您是为专业项目执行此操作，则必须考虑这些因素。

如果您这样做是为了娱乐/爱好/学习，请继续使用 AWS 的免费层级节点。这些是亚马逊免费提供的低容量节点。学习新事物很有趣:)

AWS的优势：

1. 无需购买机器来设置集群。除了终端 PC 外，无需任何硬件即可开始使用。
2. 地区
3. 无需照看机器。如果一个节点严重崩溃，请留下它（这不是你的问题：P）。购买一个新的，将其添加到集群中，然后继续。

AWS的缺点：

1. 成本高昂。
2. 将数据复制到 AWS 集群外的任何机器都是收费的。
3. 当您放弃采购的 AWS 节点时，您的数据不会保留。如果您想保留它，请付费并使用 S3 存储服务。