使用 JSoup 解析 Twitter答案

【问题标题】：Using JSoup to parse Twitter使用 JSoup 解析 Twitter
【发布时间】：2014-07-30 17:07:05
【问题描述】：

这是我的代码：

    Document doc = Jsoup.connect(urlString)
            .userAgent("Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.114 Safari/537.36")
            .get();

    System.out.println(doc);

所以我正在使用 JSoup，并尝试在 Android 应用程序上解析 Twitter 标签页面的 HTML（供参考，类似于 http://www.twitter.com/hashtag/stackexchange）。但由于某种原因，我无法访问真正的 HTML。我得到一个移动版本，或者一个不完整的版本。我确定我的 userAgent 是对的。

有什么想法吗？我到处寻找，但输入“Twitter”和“JSoup”或“HTML”通常会显示有关 JSoup 和 HTML 的 Twitter 提要。

【问题讨论】：

你在加载手机版吗mobile.twitter.com
给我们urlString
urlString 的变化取决于我所说的，但一个例子是“htttp://www.twitter.com/hashtag/stackexchange”
我在获取第一页时没有任何问题。参见例如try.jsoup.org/~0yfbSt4sJMW5OdgqxwRWOLgthO0 用于 URL、UA 和选择器。你还有问题吗？

标签： android html twitter jsoup user-agent

【解决方案1】：

它对我来说工作正常，但有些内容是用 JS 加载的，所以你需要使用另一个库作为 Selenium 或 HTMLUnit 来运行 javascript

JSoup 是一个使用 CSS 选择器的 HTML 解析器

【讨论】：