用 Cheerio 刮，文字不可见

Question

所以我一直在用 Cheerio 进行网络抓取，我能够找到我正在寻找的特定 HTML 元素，但由于某种原因，文本不存在。

例如，在我的网络浏览器中，当我检查元素时，我看到了<a href = "#" data-bind="text: MovieName, attr: { href: DetailsUrl }">Why Him?</a>。

但是，当我在抓取时打印出对象时，我看到 <a href = "#" data-bind="text: MovieName, attr: { href: DetailsUrl }"></a> 所以当我调用 .text() 函数时，它不会返回任何内容。为什么会这样？

Answer 1

检查元素不是 Cheerio 能够看到某些东西的有效测试。您必须改用View Source。

Inspect Element 是在应用浏览器中存在的所有各种技术（包括 CSS 和 JavaScript）后，浏览器如何呈现元素的实时视图。另一方面，查看源代码是服务器发送到浏览器的原始代码，您通常可以期望它与 Cheerio 将收到的相同。也就是说，假设您确保 HTTP 标头相同，尤其是与 content negotiation 相关的标头。

重要的是要理解，虽然 Cheerio 是一个 DOM 解析器，但它并不模拟浏览器。因此，例如，如果文本是通过 JavaScript 添加的，那么文本将不存在，因为 JavaScript 不会运行。

如果浏览器模拟对您很重要，您应该考虑使用PhantomJS。如果您需要高度逼真的浏览器渲染设置，请查看WebDriver 和Leadfoot。