如何自动导航到需要身份验证的网站？答案

【问题标题】：How do I automate navigation to a website that requires authentication?如何自动导航到需要身份验证的网站？
【发布时间】：2011-02-05 14:35:18
【问题描述】：

这就是我想要实现的目标。我想编写一个脚本，该脚本将导航到一个需要我进行身份验证的网站，例如 Facebook、Live Spaces、Twitter 或任何其他网站，然后让该脚本在该网站的一个页面上搜索某些信息.

我在过去使用 Windows.Forms WebBrowser 控件做过类似的事情，它是一个完整的 IE 实现，可以通过代码进行控制，并且会存储你通过身份验证后获得的任何 cookie，但它是修改起来非常不友好，我希望改用脚本语言，也许是 Powershell 或类似的东西。

网上有没有关于这方面的好教程？

谢谢！

【问题讨论】：

【解决方案1】：

如果 Python 是您的首选，Mechanize + Twill + Beautiful Soup。
也看看 SO screen-scraping 标签。

【讨论】：

【解决方案2】：

有很多选择。过去，我使用 Chickenfoot 或从控制台使用 Mechanize 自动化我的浏览器。

然后抓取站点并检查每个页面的 HTML 以获取您的数据。

【讨论】：

【解决方案3】：

您可以使用 IRobotSoft 网络爬虫。它为网络数据挖掘自动化了一个 IE WebBrowser 控件。有关典型问题，请在此处查看他们的论坛 http://www.irobotsoft.org/bb/。

【讨论】：

【解决方案4】：

我创建了一个新的 PowerShell 模块，目前处于技术预览阶段。试试http://facebookpsmodule.codeplex.com，让我知道这对你有什么作用！

【讨论】：