如何在使用 HtmlAgilityPack 抓取时识别推文是原创还是转推？

Question

我想要用户的 Twitter 推文用于数据分析。为此，我使用了HtmlAgilityPack 包来抓取 Twitter，它给了我 30 条热门推文。

我识别了 tweet-text 元素并获取了所有推文。但我想确定它是推文还是转推。我该怎么做？

我已经分析了 HTML。在转推中将有一个具有tweet-context with-icn 类的元素。但是，当我在该类上抓取推文时，它会引发空异常，因为并非所有推文都具有该类。然后根据什么以及如何抓取来知道它是否被转发？

代码：

HtmlAgilityPack.HtmlWeb web = new HtmlAgilityPack.HtmlWeb();
HtmlAgilityPack.HtmlDocument doc = web.Load("https://twitter.com/BarackObama");

var TweetsNode= doc.DocumentNode.SelectNodes("//tr[@class='tweet-container']").ToList();

foreach (var item in TweetsNode)
{
    var tweet = new Tweets
    {
        console.WriteLine(item.innertext);
    };
}

在上面的代码中，我尝试获取有关 Barack Obama 个人资料的推文。我收到了前 30 条推文。我如何识别哪个是转发的？
谢谢。

Answer 1

抓取 Twitter 101

1. 从一个页面获取所有推文（方便的表格<table class='tweet '>）

   HtmlWeb p = new HtmlWeb();
   var doc = p.Load(@"https://twitter.com/dailygametips");
   var nodes = doc.DocumentNode.SelectNodes("//table[@class='tweet  ']");
   

2. 在节点中查找 <span class='context'> 以表明此推文是转推。

   List<Tweet> tweets = new List<Tweet>();
   foreach (var node in nodes)
   {
       bool isRetweet = false;
       var spanNode = node.SelectSingleNode(".//span[@class='context']");
       if (spanNode != null && spanNode.InnerHtml.Contains("retweeted"))
       {
           isRetweet = true;
       }
   

3. 我们还想要消息文本，所以接下来就废弃这个<div class='tweet-text'>：

       string msg = string.Empty;
       var msgNode = node.SelectSingleNode(".//div[@class='tweet-text']");
       if (msgNode != null)
       {
           msg = msgNode.InnerText.Trim();
       }
       tweets.Add(new Tweet(msg, isRetweet));
   }
   

---

额外的推文容器类：

class Tweet
{
    public Tweet(string message, bool isRetweet)
    {
        Message = message;
        IsRetweet = isRetweet;
    }

    string Message { get; private set; }
    bool IsRetweet { get; private set; }
}

---

正如您所说，这并不是真正的火箭科学。但是您需要了解 XPath 和 Scrapping 的基本原理。