【发布时间】:2010-04-20 03:46:35
【问题描述】:
也许不是正确的发帖位置。不过,我还是要试试!
我有几个我创建的测试 python 解析脚本。它们足以让我测试我正在做的事情。
但是,我最近遇到了用于网络抓取的 python 框架 Scrapy。我的应用程序在分布式进程中运行,跨越多个服务器的测试平台。我试图了解scrapy,看看它是否比我正在做的事情更有好处。
所以,如果可能的话,我真的很想和一些熟悉/或使用scrapy 的人交谈。
【问题讨论】:
标签: python distributed scrapy web-crawler