模拟 ASP.NET 回发

Question

我有一个爬虫应用程序，它应该通过分页解析页面中的所有项目。不幸的是，我的应用程序抓取的网站使用回发进行分页。如何以编程方式获取第二页的内容以在 C# 中跟踪 URL。

http://www.hurriyetemlak.com/coldwell-banker-dikey-gayrimenkul/konut-satilik/istanbul-basaksehir-bahcesehir/emlak-ofisleri-ilanlari/3OWB4lkhYFs=/9wZEBZ-ivFgmrA3ENMCIfQ==/qh.BgsUoTK4=/GmMGgVD5Wcc=/GmMGgVD5Wcc=?sParam=3OWB4lkhYFs%3d&sType=9wZEBZ-ivFgmrA3ENMCIfQ%3d%3d&ListIsBig=qh.BgsUoTK4%3d&sortType=GmMGgVD5Wcc%3d&pageSize=GmMGgVD5Wcc%3d

我尝试在 __VIEWSTATE 和 __EVENTVALIDATION 上发布 __EVENTTARGET 隐藏字段，但似乎没有用。

Answer 1

您可以使用屏幕抓取技术来实现这一点（请参阅 HtmlAgilityPack）。这将要求您阅读响应并重新发布表单帖子以模仿用户在浏览器中所做的事情。简单的请求重播将不起作用。

Answer 2

您可能还需要传递 __EVENTARGUMENT 隐藏字段。并且不要忘记设置 name 属性，以及 id 属性。