如何向 httpwebrequest 发送响应以进行 Web 抓取

Question

您好，我尝试从网页中抓取数据，但这是我的问题：
当我使用httpwebrequest 连接到服务器时，服务器将标头设置为Connection: Keep-Alive，然后请求加载验证码网页（在实际网页验证码加载ajax）然后在解决验证码后返回最后一个请求的答案并最终加载数据

webpage -> captcha -> Solve -> Back to first web page -> show data

我该怎么做？

• 使用webrequest 向网页发送请求
• 从request 获取cookie 信息
• 加载captcha page 并获取catpcha pic
• send captcha pic 到其他站点以获取 solve 和 get captcha answer
• 发送captcha answer 和webrequest 和get cookie and session id
• 发送new webrequest 和cookie and session id 为load data

总是 -> 失败，我认为这是因为 Connection: Keep-Alive 所以我该如何解决这个问题？
而且当我尝试在 webbrowse 中加载页面时，我不知道为什么，但是在任何浏览器中，控制页面都无法正确加载，所以我无法使用浏览器

更新
我的问题：
如何在GetResponse()之后将答案（再次发布数据）发送到httpwebrequest并保持在线（不使用新连接）

Answer 1

如果您对keep-alive 有疑问，请尝试禁用它：HttpWebRequest.KeepAlive Property

HttpWebRequest req = (HttpWebRequest)WebRequest.Create("http://www.contoso.com");

req.KeepAlive = false;