【发布时间】:2011-10-20 00:12:21
【问题描述】:
我需要编写一个可以访问网站的代码 sn-p,例如www.google.com 找到放在短语中的搜索框并检索结果页面/页面的 HTML 代码。是否有可能在 Java 中实现这一点?
【问题讨论】:
标签: java html web-search
我需要编写一个可以访问网站的代码 sn-p,例如www.google.com 找到放在短语中的搜索框并检索结果页面/页面的 HTML 代码。是否有可能在 Java 中实现这一点?
【问题讨论】:
标签: java html web-search
例如www.google.com
对于 Google,请使用 JSON/Atom Custom Search API。这是访问 Google 搜索的唯一(合法)方式。
【讨论】:
是的,使用HttpClient 之类的东西,尽管还有其他类似的选项。
【讨论】:
很可能您应该能够将参数传递给 url(发出搜索后查看 google url,有很多参数)或使用发布请求(如果网站支持,请检查API 说明)。
如果您直接从 Java 读取 URL(例如,使用 URL 类),您将按原样获得返回的 HTMl。
【讨论】:
我想到的第一个工具是 Selenium。它主要是一个 Web 测试框架,但可用于自动执行您建议的那种操作的浏览器。
http://seleniumhq.org/docs/03_webdriver.html#getting-started-with-selenium-webdriver
【讨论】:
HttpUnit 也可以使用。它是一个文档齐全、开源且易于使用的单元测试框架。
【讨论】: