C# HttpClient 请求无法抓取（在 System.Net 和 Windows.Web http 请求上）

Question

我正在尝试抓取此网站上的新闻：https://www.livescore.com/soccer/news/

using (Windows.Web.Http.HttpClient client = new Windows.Web.Http.HttpClient())
            {
                    client.DefaultRequestHeaders.Add("User-Agent",
                                 "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; WOW64; Trident / 6.0)");
                using (Windows.Web.Http.HttpResponseMessage response = await client.GetAsync(new Uri(pageURL)))
                using (Windows.Web.Http.IHttpContent content = response.Content)
                {
                    try
                    {
                        string result = await content.ReadAsStringAsync();
                        Debug.WriteLine(result);
            }
        }
        }

我看到我收到了一个包含 Your browser is out of date or some of its features are disabled 的 response 我搬到Windows.Web 添加certificates 因为我在UWP 并尝试添加以下certificates

HttpBaseProtocolFilter filter = new HttpBaseProtocolFilter();
filter.IgnorableServerCertificateErrors.Add(ChainValidationResult.Untrusted);
filter.IgnorableServerCertificateErrors.Add(ChainValidationResult.Expired);
filter.IgnorableServerCertificateErrors.Add(ChainValidationResult.IncompleteChain);
filter.IgnorableServerCertificateErrors.Add(ChainValidationResult.WrongUsage);
filter.IgnorableServerCertificateErrors.Add(ChainValidationResult.InvalidName);
filter.IgnorableServerCertificateErrors.Add(ChainValidationResult.RevocationInformationMissing);
filter.IgnorableServerCertificateErrors.Add(ChainValidationResult.RevocationFailure);

但我仍然从服务器获得相同的response。 知道如何绕过这个吗？

编辑：他们确实有旧的服务器，不安全，http://www.livescore.com/，我想我可以抓取所有内容，但没有新闻。

Answer 1

我认为问题在于用户代理字符串。您告诉网站您使用的浏览器是 Internet Explorer 10。 查看此页面http://www.useragentstring.com/pages/useragentstring.php?name=Internet+Explorer 并尝试使用 Internet Explorer 11 的用户代理（在此之前从您的 ie11 浏览器打开页面以检查该功能是否正常）