【问题标题】:Possible Redirection With HTMLUnit使用 HTMLUnit 的可能重定向
【发布时间】:2012-06-11 16:54:18
【问题描述】:

我正在做一个小程序,它可以在 Google 上搜索您想要的歌曲并打印它的歌词。为此,我将 HTMLUnit 与 Java 一起使用。我正在搜索目标文本,然后单击第一个 google 结果。但是,当我从浏览器检查结果时,页面会有所不同。

可能我的错误是因为 XPath,但我不确定。因为,我使用了 Google Chrome 的 XPATH 查看器以及 2 个 Firefox 扩展。

在 chrome 中,我右键单击要查看其 XPATH 的元素,然后从底部窗口右键单击锚点 ()。然后,我选择复制 XPath。然后我将相应的 "s 更改为 '。

到目前为止,这是我的源代码。我现在写了一首随机的歌。

非常感谢。

源代码:

(我尝试了很多东西。所以,由于源代码混乱,我很抱歉。我没有删除行来向您展示我到目前为止所做的尝试。再次感谢您。)

import java.io.IOException;
import java.net.MalformedURLException;

import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlAnchor;
import com.gargoylesoftware.htmlunit.html.HtmlPage;


public class dsa {
    public static void main(String args[]) throws FailingHttpStatusCodeException, MalformedURLException, IOException {

        WebClient webClient = new WebClient(BrowserVersion.FIREFOX_3_6);
        webClient.setThrowExceptionOnScriptError(false);
        //webClient.setJavaScriptEnabled(false);

        String address = "http://www.google.com/search?q=";
        String searchString = "Metallica - Whiskey In The Jar";
        //String searchString = "testtesttest";
        String someString = address.concat(searchString);
        String lastString = someString.concat(" site:randomlyricswebpageblabla.com");

        // site:anotherrandomlyricswebpage.com

        HtmlPage currentPage = webClient.getPage(lastString);
/*
        HtmlTextInput searchBox = (HtmlTextInput) currentPage.getElementById("search_input");
        searchBox.setTextContent("Amorphis - From The Heaven Of My Heart");

        HtmlButtonInput button = (HtmlButtonInput) currentPage.getElementById("search_button");

        HtmlPage newPage = button.click();
*/      
        //System.out.println(currentPage.asText());

        //

        //

        //HtmlElement element = (HtmlElement)currentPage.getByXPath("//h3").get(0);
        //DomNode result = element.getChildNodes().get(0);
        //HtmlAnchor hede = (HtmlAnchor) element.getFirstChild();
        //HtmlPage newPage = hede.click();

        //HtmlElement firstGoogleResult = (HtmlElement) currentPage.getByXPath("//*[@id='rso']/li[1]/div/h3/a").get(0);
        //HtmlAnchor testAnchor = (HtmlAnchor) firstGoogleResult.getFirstChild();

        HtmlAnchor firstGoogleResult = (HtmlAnchor) currentPage.getByXPath("//*[@id='rso']/li[1]/div/h3/a").get(0);

        HtmlPage newPage = firstGoogleResult.click();

        //HtmlAnchor linkTest = (HtmlAnchor) newPage.getByXPath("//*[@id='contentdiv_left']/div/div[3]/text()[1]");



        //HtmlDivision divContent = (HtmlDivision) newPage.getByXPath("\\div[contains(@class, 'contentdiv_leftbox_data')]");
        //System.out.println(divContent.asText());

        //System.out.print("*************\n\n\n" + newPage.asText());
        System.out.println(newPage.asText());
    }
}

我明白了

推文按钮

推特

程序执行后在控制台中。

那么,我的第一个 Google 搜索结果的 XPath 是错误的,还是我在其他地方弄错了?

非常感谢。

【问题讨论】:

  • Google 有一个自定义的Search API,您可能想了解一下。它们不允许您以编程方式进行搜索,否则您将开始遇到 CAPTCHA 和其他机器人检测器。

标签: java htmlunit


【解决方案1】:

由于userAgent,您得到了错误的数据。

当 google 收到请求时,它会在其数据库中搜索包含此数据的旧搜索:IP + 网络浏览器 + 您的 PC 数据。

我不知道 HTMLUnit 的默认用户代理是什么,但如果您将其设置为与您正在使用的用户代理相同的版本,它应该会得到相同的响应。

另外,我会尝试在合适的歌词网站上搜索,而不是在谷歌上搜索。我不知道任何美国歌词网站,但应该很容易找到。

希望有帮助!

【讨论】:

  • 我搜索了一个数据库最大的网站,在我找到的那个网站中,我看到这个网站正在使用google自定义搜索。所以我选择了这种方式。所以,我想我会为 Firefox 12.0 或 Chrome 找到一些额外的库和东西。唔。我可以在哪里找到这些想法?如果我不能,我最好使用不同的库。非常感谢您的回复。
  • WebClient 中有一个我认为叫做 userAgent 的方法。看看它是如何工作的
  • 我会看看那个,但我不认为我可以在那里写 FIREFOX_12_0。但是,我会检查那个方法。谢谢。
  • 不一定是这样。看看这里。它应该有帮助:whatsmyuseragent.com(只需搜索 userAgent。我不知道它是如何完全工作的,但如果你在正确的地方搜索,它应该可以工作)
  • 我想我找到了。 This one你确定谷歌没有做一些事情来避免搜索吗?他们是否希望我使用他们的 API 来避免机器人和其他东西?非常感谢。
猜你喜欢
  • 2011-01-11
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2017-02-18
  • 2012-10-22
  • 1970-01-01
  • 2011-07-13
  • 1970-01-01
相关资源
最近更新 更多