【发布时间】：2010-11-24 18:59:03
【问题描述】：
我还是 python 的新手，所以我希望这个问题不是空穴来风。
我在谷歌上搜索网络抓取解决方案的次数越多，我就越困惑（尽管调查了许多树木，但我看不到森林……）
我一直在阅读许多项目的文档，包括（但不限于） 刮擦 机械化 斯宾纳
但我真的不知道我应该尝试使用哪个锤子..
我正在尝试抓取一个特定页面 (www.schooldigger.com) 它使用 asp，并且有一些我需要能够模拟的 java 脚本。
我知道这类问题不容易解决，所以我希望得到任何指导。
除了对可用选项的一些一般性讨论（以及不同项目之间的关系，如果可能的话），我还有几个具体问题
使用scrapy时，有什么办法可以避免定义要解析的“项目”，而只下载前几百页左右？我实际上并不想下载整个网站，但是，我希望能够在开发爬虫时查看正在下载哪些页面。
机械化、asp 和 javascript，请查看我发布但没有看到任何答案的问题， https://stackoverflow.com/questions/4249513/emulating-js-in-mechanize
为什么不构建某种实用程序（turbogears 应用程序或浏览器插件），允许用户选择要遵循的链接和以图形方式解析的项目？我所建议的只是某种围绕解析 API 的 gui。我不知道我是否具备创建这样一个项目的技术知识，但我不明白为什么不可能，事实上，考虑到我对 python 的了解，这似乎相当可行。也许一些关于这类项目将面临什么问题的反馈？
最重要的是，所有网络爬虫都是“特定于站点”构建的吗？在我看来，我在代码中重新发明了轮子..（但这可能是因为我不太擅长编程）
谁有全功能刮板的例子？文档中有很多示例（我一直在研究），但它们似乎都专注于简单性，只是为了说明包的使用，也许我会从更详细/更复杂的示例中受益。
感谢您的想法。
【问题讨论】：
标签： python mechanize scrapy scrape