我从哪里开始使用网络机器人？ [关闭]答案

【问题标题】：Where do I start with a web bot? [closed]我从哪里开始使用网络机器人？ [关闭]
【发布时间】：2010-12-08 13:02:36
【问题描述】：

我只是想创建一个可以（最好）在网络服务器上运行的自动脚本，并且只需“点击”网页的对象。我是 Python 的新手或任何这将用于的语言，所以我想我会去这里询问从哪里开始！这看起来像是我希望脚本欺骗广告或做一些非法的事情，但它只是为了与另一个网站进行交互。

【问题讨论】：

标签： python bots

【解决方案1】：

我推荐 Python mechanize 库。它旨在充当模拟浏览器。我已经用它从脚本驱动了几个 Web 界面。

【讨论】：

【解决方案2】：

我建议使用 .NET 包的 WebBrowser 控件。您可以访问所有 DOM 元素并与任何网站进行完全交互。这是一个简短的article

如果您仍然喜欢 python，mechanize 可能是一个不错的选择。

【讨论】：

【解决方案3】：

我可能会从Twill 开始——您可以使用它的脚本语言或 Python API。

【讨论】：

【解决方案4】：

它不一定是 Python，我已经看到它是用 PHP 和 Perl 完成的，您可能可以用许多其他语言来完成它。一般的做法是：

1) 你给你的应用一个 URL，它会向那个 URL 发出一个 HTTP 请求。我想我已经看到用 php/wget 完成了。可能有很多其他方法可以做到这一点。

2) 扫描您想要“单击”的其他 URL 的 HTTP 响应（实际上，向它们发送 HTTP 请求），然后向这些 URL 发送请求。解析链接通常需要对正则表达式有一定的了解（如果您不熟悉正则表达式，请复习一下——这很重要；））。

【讨论】：