StormCrawler 中的重定向是否有任何限制？

Question

我可以在 ElasticSearch 的状态索引中看到_redirTo 标签。关于重定向的几个问题如下：

1. 对重定向有任何限制吗？所以它不应该在循环中结束 重定向？
2. 特定抓取的 URL 有多少重定向？我可以看到 _redirTo 标记中只有一个重定向，即直接重定向。如果有两个或三个 URL 重定向，则无法获取重定向计数？

Answer 1

您可以设置种子深度的限制，请参阅MaxDepth URL filter，但不能直接设置连续重定向的数量。

如您所见，我们只跟踪给定文档被重定向到的 URL。

如果你想控制redir的数量而不管与种子的距离如何，一种方法是扩展或修改MetadataTransfer或在协议实现中处理redir，缺点是这不会检查是否目标网址已被提取。

更新有一个名为“redirections.allowed”的配置元素，默认值为true。我刚刚对 SimpleFetcherBolt 进行了修复，因为它没有得到正确处理。