使用 htmlunit 抓取网页答案

【问题标题】：scraping web page using htmlunit使用 htmlunit 抓取网页
【发布时间】：2018-11-17 08:19:18
【问题描述】：

这是我的代码。我想访问一个网站并比较我的数据。我希望java将数据放入字段并自动点击计算底部并将答案返回给java。

import com.gargoylesoftware.htmlunit.WebClient;

public class MyWebServiceAccess {

  public static void main(String[] args) throws Exception 
  {

        final WebClient webClient = new WebClient();

        final HtmlPage page = webClient.getPage("https://www.socscistatistics.com/tests/signedranks/Default2.aspx");

        // Inputs
        HtmlTextInput treatment1 = (HtmlTextInput) page.getElementById("ctl00_MainContent_TextBox1");
        HtmlTextInput treatment2 = (HtmlTextInput) page.getElementById("ctl00_MainContent_TextBox2");

        // Significance Level:
        HtmlRadioButtonInput s1= (HtmlRadioButtonInput) page.getElementById("ctl00_MainContent_RadioButtonList1_0");
        HtmlRadioButtonInput s2= (HtmlRadioButtonInput) page.getElementById("ctl00_MainContent_RadioButtonList1_1");


        // 1 or 2-tailed hypothesis?:
        HtmlRadioButtonInput t1= (HtmlRadioButtonInput) page.getElementById("ctl00_MainContent_RadioButtonList2_0");
        HtmlRadioButtonInput t2= (HtmlRadioButtonInput) page.getElementById("ctl00_MainContent_RadioButtonList2_1");

        // Calculate
        HtmlSubmitInput Calculate= (HtmlSubmitInput) page.getElementById("ctl00_MainContent_Button2");

        // Result Span
        HtmlSpan result = (HtmlSpan) page.getElementById("ctl00_MainContent_Label9");

        // Fill in Inputs 
        treatment1.setValueAttribute("");
        treatment2.setValueAttribute("");

        s1.setChecked(true);
        s2.setChecked(false);

        t1.setChecked(true);
        t2.setChecked(false);

        Calculate.click();

        // Printing the Output
        System.out.println(result.asText());

        webClient.closeAllWindows();

   }

}

【问题讨论】：

您的问题是什么？不要告诉我这是“怎么做？”因为那是一种广泛的方式。
我的问题是我无法连接到 HTML 页面并做我想做的事。我正在寻找我的代码问题而不是实现它的方式。
用您的问题更新您的问题，然后包括任何错误以及给您带来麻烦的代码部分。

标签： java web htmlunit

【解决方案1】：

在抓取网页时，您需要基本了解 Web 技术 (http/html) 的工作原理，并且还需要一些 Java/编程知识。至少能够发现程序中的问题真的很有帮助。

首先，您的代码会产生一个类转换异常，因为输入字段是文本区域而不是输入文本控件。其次，您必须单击右键（您的代码单击“重置”按钮）。最后，如果单击按钮，您将获得一个新页面。您的结果在新页面上。

希望对您有所帮助....

String url = "https://www.socscistatistics.com/tests/signedranks/Default2.aspx";                                   

try (final WebClient webClient = new WebClient()) {                                       
    HtmlPage page = webClient.getPage(url);                                                                        

    // Inputs                                                                                                      
    HtmlTextArea treatment1 = (HtmlTextArea) page.getElementById("ctl00_MainContent_TextBox1");                    
    HtmlTextArea treatment2 = (HtmlTextArea) page.getElementById("ctl00_MainContent_TextBox2");                    

    // Significance Level:                                                                                         
    HtmlRadioButtonInput s1= (HtmlRadioButtonInput) page.getElementById("ctl00_MainContent_RadioButtonList1_0");   
    HtmlRadioButtonInput s2= (HtmlRadioButtonInput) page.getElementById("ctl00_MainContent_RadioButtonList1_1");   
    s1.setChecked(true);                                                                                           
    s2.setChecked(false);                                                                                          

    // 1 or 2-tailed hypothesis?:                                                                                  
    HtmlRadioButtonInput t1= (HtmlRadioButtonInput) page.getElementById("ctl00_MainContent_RadioButtonList2_0");   
    HtmlRadioButtonInput t2= (HtmlRadioButtonInput) page.getElementById("ctl00_MainContent_RadioButtonList2_1");   
    t1.setChecked(true);                                                                                           
    t2.setChecked(false);                                                                                          

    // Fill in Inputs                                                                                              
    treatment1.type("4\n3\n2\n5\n5\n3");                                                                           
    treatment2.type("1\n2\n3\n0\n0\n2");                                                                           

    // click Calculate creates a new page                                                                          
    HtmlSubmitInput calculate= (HtmlSubmitInput) page.getElementById("ctl00_MainContent_Button1");                 
    page = calculate.click();                                                                                      

    // Result Span                                                                                                 
    HtmlSpan result = (HtmlSpan) page.getElementById("ctl00_MainContent_Label9");                                  

    // Printing the Output                                                                                         
    System.out.println(result.asText());                                                                           
}

【讨论】：