如何编写可以在网页上浏览和执行操作的自动化机器人。 JAVA答案

【问题标题】：How to code an automated bot that can browse and do operations on a webpage. JAVA如何编写可以在网页上浏览和执行操作的自动化机器人。 JAVA
【发布时间】：2013-10-02 20:38:19
【问题描述】：

需要编写一个需要执行以下操作的机器人：

转到 jsp 页面并通过以下方式搜索内容：

在搜索框上写东西
点击搜索按钮（提交按钮）
单击生成的按钮/链接之一（相同的 jsp 页面输出不同）
获取新页面的整个html（同一个jsp页面不同输出）

第四个可以通过屏幕抓取来完成，我认为我不需要帮助。但我需要一些指导来执行从 1 到 3 的选项。任何链接或只是一些有助于我谷歌了解它的关键字将不胜感激。我打算用java来做这个。

【问题讨论】：

标签： java eclipse url connect bots

【解决方案1】：

我的建议是使用 Selenium (http://docs.seleniumhq.org/download/)。在你的firefox中安装Selenium IDE，它可以记录你在网站上所做的事情，将它存储到一个脚本中并回复它。如果您是初学者，此视频 (http://www.youtube.com/watch?v=gsHyDIyA3dg) 会对您有所帮助。

如果你想用 Java 做，很简单，只需将 Selenium IDE 中的脚本导出到 JUnit Webdriver 代码即可。

当然你可以在Java中使用Selenium Java webdriver来编写你的程序来直接操作网站。

【讨论】：

【解决方案2】：

即使是第 1 点到第 3 点也是屏幕抓取 - 您正在弄清楚（使用手动或自动方式）页面中的内容并对其执行操作。您可以尝试探索Apache HTTP Client，以轻松地运行 HTTP 命令并获得响应。

我希望您这样做是出于合法的目的 - 如果未经许可进行屏幕抓取几乎总是不受欢迎。

【讨论】：

【解决方案3】：

Selenium 使浏览器自动化。而已。你用这种力量做什么完全取决于你。以上步骤可以通过selenium(java中的一个测试工具)来完成

【讨论】：