脚本浏览器 Scapper [关闭]

Question

我可以使用什么来实现以下目标，编写浏览器脚本或以其他方式向服务器发出请求，登录，浏览网站，例如。查找链接并导航到这些链接。

现在，由于我对 NodeJS 感兴趣，所以我正在研究 node.io。它使您可以很容易地抓取网站，但问题是当我尝试发布（登录）时，我什么也得不到！

nodeio = require "node.io"

nodeio.scrape ->

    @post "http://localhost/auth/login", {
        username: "username"
        password: "password"
    }, ->

        console.log "=====After Login====="

但我只是明白了

OK: Job complete

即使登录失败，我也应该在登录后到达console.log？

---

然后我想通过编写浏览器脚本来实现这一点可能更好，它会更接近地模拟真实请求？

Answer 1

Selenium 或 Watir 允许您编写浏览器脚本。它们使用实际的浏览器，因此它们会比较低级别的工具慢，但它们可以完成浏览器所做的一切（即 JavaScript）。

Answer 2

node.io 似乎是一个很好的工作工具，但我也推荐zombie.js。它似乎主要用于测试，但文档看起来也非常适合抓取。

如果你想走脚本浏览器路线，请忽略我的回答。 :)