【发布时间】：2011-03-01 07:07:24
【问题描述】：
有很多网络蜘蛛，但他们只是捕捉到 html 形式的互联网。我想要一个网络蜘蛛，一些捕捉动态网页的方法或想法，并且可以执行 javascript，我可以从 dom 树中获取信息。
【问题讨论】：
-
不太清楚你的问题是什么。请尽量使您的问题或疑问清楚。此外，运行快速拼写检查可能是个好主意（例如，“异步”？）
【发布时间】：2011-03-01 07:07:24
【问题描述】：
你越希望你的蜘蛛表现得像一个真正的浏览器，你就越需要一个真正的浏览器；所以，我建议从像Crowbar 这样的无头浏览器开始。从它的描述来看：
[Crowbar's] 的目的是允许针对 DOM 运行 javascript 抓取工具来自动抓取网站，但避免所有语法规范化问题。
【讨论】：
如果你熟悉Java，可以试试Http Unithttp://httpunit.sourceforge.net/ HttpUnit 非常直观且易于使用。它是为 Web 应用程序单元测试而设计的，但它可以是非常强大的 Web 爬虫工具。它集成了 JavaScript 引擎。它还捆绑了许多有用的库。
【讨论】：