【发布时间】：2015-12-17 02:39:28
【问题描述】：
一个主节点可以同时运行的Apache Nutch爬虫实例的最大数量是多少？
【问题讨论】：
【发布时间】：2015-12-17 02:39:28
【问题描述】：
不清楚您所说的爬虫实例是什么意思。如果您想并行运行多次抓取脚本，例如您使用不同的配置、种子等进行不同的爬网...然后它们将竞争 Hadoop 集群上的插槽。然后归结为集群上有多少可用的映射器/减速器插槽，这本身取决于那里有多少从服务器。
并行处理多个 Nutch 抓取会变得非常棘手且资源效率低下。而是重新考虑您的架构，以便所有逻辑爬虫都可以作为单个物理爬虫运行，或者查看StormCrawler，这应该更适合这样做。
【讨论】：