python中的网络多线程答案

【问题标题】：Network multithread in pythonpython中的网络多线程
【发布时间】：2011-10-20 05:07:08
【问题描述】：

我正在用 Python 编写一个脚本，它会从我的 Web 服务器中抓取一些页面并将它们放入一个文件中。我正在为这个特定任务使用mechanize.Browser() 模块。

但是，我发现创建mechanize.Browser() 的单个实例相当慢。有没有一种方法可以相对轻松地使用多线程/多处理（即一次发出多个 GET 请求）？

【问题讨论】：

你看过 Python threading 模块吗？
线程模块不是只用于启动一个新的CPU线程吗？
相关：stackoverflow.com/questions/4119680/… 和 stackoverflow.com/questions/4139988/… 和 stackoverflow.com/questions/6905800/…
好吧，如果你不想像@ObscureRobot 建议的那样使用线程，你可以试试multiprocessing。
ObscureRobot 和 imm：我不想要 CPU 线程。正如我的帖子所说，我希望“[to] 一次发出多个 GET 请求”——就像在 HTTP GET 请求中一样。 @phaedrus - 谢谢，这些读起来很有趣。好像不是很容易实现，看来得重写整个app（3000多行代码）

【解决方案1】：

使用gevent 或eventlet 获取并发网络IO。

【讨论】：

【解决方案2】：

如果您想要工业级 Python 网页抓取，请查看 scrapy。它使用 Twisted 进行异步通信，而且速度非常快。每秒爬取 50 页并不是不切实际的期望。

【讨论】：