使用java在网页中查找单词

Question

我正在尝试在特定网页中搜索特定单词，我使用的是 Java 和 Eclipse。问题是，如果我正在使用几乎没有内容的网页，它可以正常工作，但是当我在“大”网页中尝试时，它找不到这个词。

例如：我正在尝试在网页中查找单词["InitialChatFriendsList"：https://www.facebook.com，如果找到该单词则打印WIN!!!

这是完整的 Java 代码：

public class BR4Qustion {               
    public static void main(String[] args) {
        BufferedReader br = null;
        try {
            URL url = new URL("https://www.facebook.com");  
            br = new BufferedReader(new InputStreamReader(url.openStream()));

            String foundWord = "[\"InitialChatFriendsList\"";          
            String sCurrentLine;

            while ((sCurrentLine = br.readLine()) != null) {
                String[] words = sCurrentLine.split(",");
                for (String word : words) {         
                    if (word.equals(foundWord)) {
                        System.out.println("WIN!!!");
                        break;
                    }
                }
            }
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            try {
                if (br != null)
                    br.close();
            } catch (IOException ex) {
                System.out.println("*** IOException for URL : ");
            }
        }
    }
}

Answer 1

问题

除了你的代码有一些小缺陷（你应该使用 try-with-ressources 和新的 IO 库 NIO）它看起来完全没问题 而且似乎没有逻辑错误。

---

您在这里面临不同的问题。尝试阅读 Facebook 时，您首先需要登录您的帐户，否则您将看到起始页：

我猜您认为从浏览器（例如 Google Chrome）登录就足够了，但事实并非如此。登录信息保存在您使用的特定浏览器的本地存储中，例如在其 cookies 中。我们在会话中交谈。

---

展示

作为一个小实验，使用 Google Chrome 访问 Facebook 并登录。之后用 Internet Explorer 访问它，它将不会登录，而您正在再次阅读起始页。

Java 代码也是如此，您只是在阅读起始页，因为对于“Javas browser”，您还没有登录。您可以通过转储 BufferedReader 正在阅读的内容来检查它：

final URL url = new URL("https://www.facebook.com");
try (final BufferedReader br = new BufferedReader(new InputStreamReader(url.openStream()))) {
    // Read the whole page
    while (true) {
        final String line = br.readLine();
        if (line == null) {
            break;
        }

        System.out.println(line);
    }
}

看看输出，它可能是起始页面的来源。

---

见解

通过我的浏览器登录 Facebook 后，网站会向我发送以下 cookie：

突出显示的c_user cookie 肯定与会话相关。如果我删除它并刷新页面，那么我将不再登录。

---

解决方案

为了工作，您的 Java 代码需要登录自己，通过填写表单并提交（或发送相应的 POST 请求），然后听取 Facebook 的回答并保存所有这些 cookie 信息。但是，自己做这将是一项艰巨的任务，我不建议这样做。相反，您可以使用从 Java 内部模拟浏览器的 API，例如 HTMLUnit。或者，您可以使用 Selenium 之类的库，您可以通过其驱动程序界面直接控制您喜欢的浏览器。

另一种方法是劫持会话。在那里，您尝试从浏览器本地文件中提取相关的 cookie 数据，并在 Java 应用程序中重新创建具有相同内容的 cookie 数据。对于非专家来说，这也是一项没有 API 的艰巨任务。

---

备注

现在，非常重要的是，请注意 Facebook（以及 Twitter 等其他网站）有一个公共可用 API (Facebook for Developers)，旨在简化与自动化软件的交互。当然也有可用的 Java API Wrapper，比如Facebook4J。因此，如果您尝试抓取 Facebook 等网站，您应该只使用这些 API。

另请注意，包括 Facebook 在内的许多网站都在其服务条款 (TOS) 中声明，通过不使用其 API 的自动化软件进行的交互被视为违反这些条款。这可能会导致法律后果。

TOS 的摘录：

1. 安全
   1. 您不会收集用户的内容或信息，或以其他方式访问 Facebook，使用自动方式（例如收割机器人、机器人、蜘蛛或 scrapers ）未经我们事先许可。

Answer 2

您可以尝试使用Jsoup

这个库允许你连接和加载一个页面来解析它。

这是example