使用 Google 搜索精选片段网址结果中的 Html 敏捷包屏幕抓取文本

Question

我试图弄清楚，如果不使用Google Search API，从Google SearchFeatured Snippets免费获取个人非商业桌面应用程序的结果是否合法且有可能解析此类结果：

string inputUrl = "http://google.com/search?q=" + "who is Elvis Presley";

或：

 string inputUrl = "http://google.com/search?search?client=firefox-b-d&q=who+is+elvis+presley";

我正在尝试在C# WinForms 桌面应用程序中使用HtmlAgilityPac：

string inputUrl = "http://somesite.net/";

假设在列表中添加结果：

 List<string> outputList = new List<string>();

我可以屏蔽抓取链接ExtractHref(inputUrl);，但我试图弄清楚如何从 url 中只获取文本单词和句子：

    private void ExtractHref(string URL)
    {
        lst.Clear();
        HtmlWeb web = new HtmlWeb();
        HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
        doc = web.Load(URL);

        foreach (HtmlNode link in doc.DocumentNode.SelectNodes("//a[@href]"))
        {
            HtmlAttribute att = link.Attributes["href"];

            if (att.Value.Contains("a"))
            {                   
                outputList .Add(att.Value);                   
            }
        }

        textBox1.Text = String.Join(Environment.NewLine, outputList); 
    }
   

我的目标是获得 Google 搜索浏览器结果：https://www.google.com/search?search?client=firefox-b-d&q=who+is+elvis+presley 显示精选片段搜索：

Elvis Presley，完整版 Elvis Aaron Presley 或 Elvis Aron Presley（参见 研究员笔记），（1935 年 1 月 8 日出生于密西西比州图珀洛， 美国——1977 年 8 月 16 日逝世于田纳西州孟菲斯），美国流行 被誉为“摇滚之王”和摇滚乐之一的歌手 从 1950 年代中期到 ..

以及来自维基百科的主题：

猫王亚伦普雷斯利，也简称为猫王，是美国人 歌手、音乐家和演员。他被认为是最 20 世纪的重要文化偶像，经常被提及 成为“摇滚之王”或简称为“国王”。

Answer 1

您只需更新 for 循环即可读取 href 值，因为 XPath 已经过滤了 <a> 元素，无需进一步检查。

    HtmlNode[] nodes = doc.DocumentNode
            .SelectNodes("//a[@href]")
            .ToArray();
        foreach (HtmlNode item in nodes)
        {
            Console.WriteLine(item.InnerHtml);
        }
        List<string> outputList = new List<string>();

        foreach (HtmlNode link in doc.DocumentNode.SelectNodes("//div[@class='rc']"))
        {
            outputList.Add(link.InnerText);
        }