在本地模式下运行storm crawler，不依赖zookeeper，nimbus答案

【问题标题】：running storm crawler in local mode without the dependency of zookeeper ,nimbus在本地模式下运行storm crawler，不依赖zookeeper，nimbus
【发布时间】：2018-09-12 04:12:14
【问题描述】：

我在 mysql 中存储 url，在 lucene 中存储索引数据。我在使用 tomcat 的多台机器上运行 Storm crawler 作为应用服务器。我真的需要zookeeper，nimbus和storm来在服务器之间分发url（来自mysql）..？？

【问题讨论】：

您好，请一次问一个问题。您同时询问 Storm 和存储桶。
@JulienNioche 我将 url 存储在 mysql 中，将索引数据存储在 lucene 中。我在使用 tomcat 的多台机器中运行 Storm crawler 作为应用服务器。我真的需要zookeeper，nimbus和storm来在服务器之间分发url（来自mysql）..？？我
我想使用风暴爬虫作为库而不运行风暴集群。这可能吗？由于我可以通过应用服务器从 mysql 获取 url 的锁定和获取机制（以避免多个应用程序服务器处理相同的 url），我应该在没有风暴依赖的情况下运行吗？？

标签： web-crawler apache-storm stormcrawler

【解决方案1】：

See FAQ

问：我需要一个 Storm 集群来运行 StormCrawler 吗？

A：不会。它可以在本地模式下运行，并且只会使用 Storm 库作为依赖项。不过，以伪分布式模式安装 Storm 是有意义的，这样您就可以使用它的 UI 来监控拓扑。

另见Run StormCrawler in local mode or install Apache Storm?

【讨论】：

我只是使用storm jar文件运行，但它包含nimbus和zookeeper。storm crawler中的目的是什么？