等到所有数据都从 HTTPoison 中的网页加载完毕

Question

我正在尝试加载一个网页，我感兴趣的数据在初始页面加载后通过Ajax 加载。当我获取页面时，我当前看到的文本是Loading records...。

我想知道我可以使用哪些技术来等待该部分加载完毕后再将数据返回给我。

目前我正在使用 Elixir HTTPoison 库，但我对 Elixir/Erlang 中的不同技术持开放态度。

Answer 1

HTTPoison 之类的库仅发出初始 Web 请求，返回“服务器渲染”内容。他们不处理客户端代码和标记。您需要像 PhantomJS 这样的无头浏览器/网络驱动程序来实际处理它并执行 javascript 代码（类似于普通网络浏览器的工作方式）。

可以完成这项工作的两个流行的 Elixir 库（尽管它们主要用于集成测试）是：

• Hound
• Wallaby

---

如果 Ajax 调用足够简单，另一种选择是首先使用 HTTPoison 加载网页和脚本，然后使用 Floki 之类的东西提取 Javascript 代码，解析正在进行的 Ajax 调用，然后手动执行通过HTTPoison。