HttpClient - 返回的内容与浏览器不同答案

【问题标题】：HttpClient - Different content returned than browserHttpClient - 返回的内容与浏览器不同
【发布时间】：2017-03-20 21:56:15
【问题描述】：

我正在尝试向 kicksusa.com 提出请求。如果我从任何浏览器发出请求，我会得到完整的预期 HTML，但是，我似乎无法以返回相同 HTML 的方式模拟请求，而是得到“请求不成功”。消息。

感谢任何帮助

我的代码：

HttpClientHandler httpClientHandler = new HttpClientHandler()
{
    //Proxy = proxy,
    AllowAutoRedirect = true,
    MaxAutomaticRedirections = 15,
    AutomaticDecompression = DecompressionMethods.GZip | DecompressionMethods.Deflate | DecompressionMethods.None
};

var client = new HttpClient();
client.DefaultRequestHeaders.Add("Host", "www.kicksusa.com");
client.DefaultRequestHeaders.Add("Connection", "keep-alive");
client.DefaultRequestHeaders.Add("Upgrade-Insecure-Requests", "1");
client.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.87 Safari/537.36");
client.DefaultRequestHeaders.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
client.DefaultRequestHeaders.Add("Accept-Encoding", "gzip, deflate, sdch");
client.DefaultRequestHeaders.Add("Accept-Language", "en-GB,en-US;q=0.8,en;q=0.6");


var _response = await client.GetAsync("http://www.kicksusa.com/jordan-craig/oil-stain-slub-tee-army-green-8909ag.html");

if (_response.IsSuccessStatusCode)
{
    var _html = await _response.Content.ReadAsStringAsync();
}

Fiddler 跟踪标头：

Host: www.kicksusa.com
Connection: keep-alive
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.87 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
Accept-Encoding: gzip, deflate, sdch
Accept-Language: en-GB,en-US;q=0.8,en;q=0.6

【问题讨论】：

使用 Fiddler，并将每个请求与其在网络上的序列化进行比较。
我已经完成了 - 仍然没有运气，请参阅编辑
该站点无论如何都会使用 javascript 加载所有内容，因此即使您设法从浏览器中获得了准确的响应 - 它也不会对您有太大帮助，因为它不包含任何有用的信息（只是一个通知你必须启用javascript）。您需要渲染该站点（使用 CefSharp.OffScreen 之类的工具或任何其他工具）以执行它的 javascript。
@Evk - 我只需要一些位，如果您查看 chrome 的源代码，这些位确实可用。
Chrome 的查看源显示已经修改的页面，而不是您从浏览器中的 http 请求获得的初始 html。您需要该页面的哪些内容？

标签： c# web-scraping dotnet-httpclient incapsula

【解决方案1】：

本网站使用Incapsula 的一些专用技术来防止自动访问该网站。

在第一次请求时，网站会返回一个带有嵌入式 iframe 的 Web 文档。只有在加载 iframe 源时，才会设置 cookie 并重定向到页面。由于浏览器发送 cookie 信息，所有进一步的请求将立即成功。

为了规避该机制，您必须在第一次请求后加载 iframe，记住 cookie，然后为所有进一步的请求发送 cookie。第一个答案中还涉及很多 JavaScript 代码，可能必须执行这些代码才能使 Incapsula 检查成功。

但是，当网站专门使用此类技术来阻止自动访问其内容时，任何试图规避此机制的行为都必须被视为不受欢迎的行为并被视为犯罪行为。未经所有者批准，您不应尝试从网站自动收集数据，尤其是在使用 Incapusla 等技术使这变得更加困难时。

有关更多详细信息，另请参阅 Incapsula 员工的this answer。

【讨论】：