像浏览器一样检索网页内容

Question

在了解了一些不同的技术之后，我想用 UWP+NoSQL 做一个小项目。我想做一个小型 UWP 应用，每天早上抓取星座并将其显示在我的树莓派上。

所以我拿了一个WebClient，然后我做了以下事情：

WebClient client = new WebClient();
client.Headers[HttpRequestHeader.UserAgent] = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.874.121 Safari/535.2";
string downloadString = client.DownloadString("http://www.horoscope.com/us/horoscopes/general/horoscope-general-daily-today.aspx?sign=2");

但它似乎检测到这个请求不是来自浏览器，因为有趣的部分不在内容中（当我检查浏览器时，它在初始 HTML 中，根据提琴手）。

我也尝试过使用 ScrapySharp，但得到了相同的结果。知道为什么吗？

（我已经完成了UWP部分，所以我不想仅仅因为它被检测为“机器人”而改变我的个人项目的主题）

编辑

看来我还不够清楚。问题是**不是*我无法解析 HTML，问题是我在使用 ScrapySharp/WebClient 时没有收到预期的 HTML

EDIT2

这是我检索到的内容：http://pastebin.com/sXi4JJRG

而且，我没有得到（例如）“按域划分的星级评分”+每颗星的相关图片

Answer 1

您可以使用如下所示的代码sn-p阅读网页的全部内容：

internal static string ReadText(string Url, int TimeOutSec)
{
    try
    {
        using (HttpClient _client = new HttpClient() { Timeout = TimeSpan.FromSeconds(TimeOutSec) })
        {
            _client.DefaultRequestHeaders.Accept.Add(new System.Net.Http.Headers.MediaTypeWithQualityHeaderValue("text/html"));
            using (HttpResponseMessage _responseMsg = _client.GetAsync(Url))
            {
                using (HttpContent content = _responseMsg.Content)
                {
                    return content.ReadAsString();
                }
            }
        }
    }
    catch { throw; }
}

或者用一种简单的方式：

public static void DownloadString (string address)
{
    WebClient client = new WebClient ();
    string reply = client.DownloadString (address);

    Console.WriteLine (reply);
}

（回复：https://msdn.microsoft.com/en-us/library/fhd1f0sw(v=vs.110).aspx）

Answer 2

是的，WebClient 不会给你预期的结果。许多网站都有脚本来加载内容。所以要模拟浏览器，您还应该运行页面脚本。 我从来没有做过类似的事情，所以我的回答纯属理论。

要解决您需要“无头浏览器”的问题。 我知道这有两个项目（我从来没有尝试过）：

http://webkitdotnet.sourceforge.net/ - 好像已经过时了

http://www.awesomium.com/

Answer 3

好的，我想我知道发生了什么：我将真实输出（没有花哨的用户代理字符串）与您的 pastebin 提供的输出进行了比较，发现了一些有趣的东西。在第 213 行，您的 pastebin 具有：

<li class="dropdown"><a href="/us/profiles/zodiac/index-profile-zodiac-sign.aspx" class="dropdown-toggle" data-hov...ck">Forecast Tarot Readings</div>

注意结尾处的data-hov...ck。在实际输出中，这是：

<li class="dropdown"><a href="/us/profiles/zodiac/index-profile-zodiac-sign.aspx" class="dropdown-toggle" data-hover="dropdown" data-toggle="link">Astrology</a>

接下来是大约 600 行代码，包括前面提到的“有趣的部分”。在第 814 行，它说：

<div class="bot-explore-col-subtitle f14 blocksubtitle black">Forecast Tarot Readings</div>

从黑色的 ck 开始，与 pastebin 输出的其余部分相匹配。所以，要么是 pastebin 压缩了输出，要么是原始输出。

我创建了一个新的控制台应用程序，插入了你的代码，得到了我期望的结果，包括你似乎错过的 600 行 html：

static void Main(string[] args)
{
    WebClient client = new WebClient();
    client.Headers[HttpRequestHeader.UserAgent] = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.874.121 Safari/535.2";
    string downloadString = client.DownloadString("http://www.horoscope.com/us/horoscopes/general/horoscope-general-daily-today.aspx?sign=2");

    File.WriteAllText(@"D:\Temp\source-mywebclient.html", downloadString);
}

我的WebClient 来自System.Net。并且更改 UserAgent 几乎没有任何效果，有几个链接有点不同。

所以，总结一下：您的问题与初始获取后动态插入的内容无关，但可能与 webclient 与 UWP 结合使用。网站上还有一个关于 webclient 和 UWP 的问题：(UWP) WebClient and downloading data from URL in 指出您应该使用 HttpClient。也许这是一个解决方案？

Answer 4

前段时间我使用了http://www.nrecosite.com/phantomjs_wrapper_net.aspx，它运行良好，正如 Anton 所说，它是一个无头浏览器。也许会有所帮助。

Answer 5

我想知道您希望在“内容”中看到的所有“有趣的部分”是否都是图像？您知道必须单独检索任何图像的事实吗？ html 页面包含<image.../> 标签这一事实也不会神奇地显示它们。正如您在 Fiddler 中看到的那样，在检索页面后，浏览器会检索所有图像、样式表、javascript 和所有其他指定但未包含在页面中的项目。 （您可能需要清除浏览器缓存才能看到这种情况……）