使用 Kafka 主题向 Storm Crawler 提供种子 URL

【问题标题】：Using Kafka topic for feeding seeds url to Storm Crawler使用 Kafka 主题向 Storm Crawler 提供种子 URL
【发布时间】：2021-01-28 11:23:52
【问题描述】：

我们希望将来自 Kafka 主题的种子 URL 提供给基于 StormCrawler 的项目。是否需要更换 Storm Crawler？

【问题讨论】：

标签： apache-kafka apache-storm stormcrawler

【解决方案1】：

显然，您需要稍微更改拓扑并添加 KafkaSpout 并将其连接到 StatusUpdaterBolt；喜欢we do in the ES archetype with the FileSpout。 KafkaSpout 必须为 status 流生成与 FileSpout 相同类型的输出，即 URL、元数据和状态（值为 found）。如果这很困难，您可以在 Kafka Spout 和 statusupdater bolt 之间插入一个 bolt 以将字符串转换为该输出

【讨论】：