【问题标题】:Monitoring chat rooms with HtmlUnit, is it possible?用 HtmlUnit 监控聊天室,可以吗?
【发布时间】:2016-07-12 15:12:38
【问题描述】:

我最近开始使用HtmlUnit,成功抓取了一些页面并与之交互,非常强大的工具...

但是,据我所知,我只是检索了一个具有某种状态的页面......我的下一步是让HtmlUnit 不断地阅读来自聊天室的消息,并在以下情况下存储/做一些事情某个字符串/正则表达式匹配。我什至在考虑与聊天室进行互动。

我不确定 HtmlUnit 是否能做到这一点,我做了一些研究,发现了一些关于 webDriverwebWindow 等的信息,也许我需要与 Threads 合作才能做到这一点......

你们能指出我正确的方向吗?

非常感谢

【问题讨论】:

  • 要问 HTMLUnit 是否会这样做,首先要问 HTMLUnit 是如何做它目前所做的。您是否认为它知道如何在文件仍处于打开状态时读取某些文件?或者甚至不在文件(特别是 HTML 文件)中的数据流呢?

标签: java ajax web-scraping chat htmlunit


【解决方案1】:

HtmlUnit 尝试尽可能多地模拟真实浏览器的行为。

如果目标网站很简单,那么 HtmlUnit 就可以了。但是在某些情况下,网站对于当前的HtmlUnit来说过于复杂,需要隔离一个root cause来修复。

您可以从WebDriver 开始,您可以轻松地更改实现,例如ChromeDriver/FirefoxDriverHtmlUnitDriver 只需一行更改。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-06-24
    • 2014-09-22
    • 2021-12-02
    • 1970-01-01
    • 2019-09-22
    • 2013-11-16
    相关资源
    最近更新 更多