我正在使用 StormCrawler 和 Elasticsearch 进行概念验证，以仅抓取单个域、几个主机 - 一个包含许多页面。有没有办法告诉stormcrawler不要将主机或域的所有url分组在一个spout中？
我按照 Youtube 教程进行设置，并将 spout 设置为 10 个并行度，但据我所知，风暴 UI 仅使用 1 个。我如何让它传播单个 url域，甚至是所有 spout 上的单个主机？
谢谢！ 吉姆
【问题讨论】：
要对每个主机的 URL 进行分区，您的配置应该有 partition.url.mode: "byHost" 这是默认值。这会将属于不同主机的 URL 放入不同的分片中，并且将使用更多的 spout 实例。
来自同一主机的 URL 被放在相同的分片中以强制执行礼貌。如果您想从主机并行获取，您可以简单地将 fetcher.threads.per.queue 设置为您想要的任何值。如果该网站是您自己的，这是可以接受的，但如果它属于其他人，这显然是不礼貌的。即使您继续按主机分片，这也能正常工作。
当然，您可以通过将 es.status.routing 设置为 false 来完全禁用路由。无论主机名如何，ES 都会对 URL 进行分片，并且将使用所有分片和 spout。然而，这意味着对礼貌没有严格的控制。
【讨论】：