屏幕抓取/网页抓取 url 在搜索结果后不会改变

Question

我正在做一个网络抓取项目，我需要我的“开始”页面来开始抓取。

当导航到这样的 URL 时：http://www.blah.com/search.aspx 并输入我的数据（因为我想将搜索结果页面传递给我的屏幕抓取程序）。当搜索结果（页面）返回时，URL 没有改变。

如何从搜索结果页面获取 URL，或者，模仿“搜索”在屏幕抓取程序中获取搜索结果页面？

Answer 1

在谷歌搜索后找到了这个（它有助于使用正确的关键字）。

我已经在使用 HtmlAgilityPack，这只是提供了有关如何启动帖子和阅读结果的更多见解。

http://refactoringaspnet.blogspot.com/2010/04/using-htmlagilitypack-to-get-and-post.html