无法从页面获取完整的 dom 内容

【问题标题】：Cannot get full dom content from page无法从页面获取完整的 dom 内容
【发布时间】：2012-08-24 19:29:26
【问题描述】：

当我尝试从 xvideos 获取完整的 dom 内容时（meaby it 网站不是最好的例子，但我现在找不到更多） browser.html() 仅返回 dom 的最后一个 div 元素。我认为这是页面上最后一个由 javascript 渲染的 div，但我不确定。

var zombie = require("zombie");                                                                                                    

zombie.visit("http://www.xvideos.com/", function (err, browser) {
  console.log(browser.html());                        
})

谢谢

【问题讨论】：

标签： javascript zombie.js

【解决方案1】：

browser.html() 确实返回整个页面。快速测试表明，获取带有僵尸的 xvideos.com 会导致一些“存根”页面。

这只是一个理论，但 xvideos 上的人可能会使用一些浏览器检测脚本并为任何不同于大多数常见浏览器的浏览器 (UserAgent) 返回存根页面。这可能是一种保护自己免受爬虫攻击的安全措施。

【讨论】：