先声明一下:贴出的代码sn-ps都是基本的例子。您需要处理琐碎的IOExceptions 和RuntimeExceptions,例如NullPointerException、ArrayIndexOutOfBoundsException 和自己的配偶。
如果您正在为 Android 而不是 Java 进行开发,还请注意,自从引入 API 级别 28 以来,明文 HTTP 请求为 disabled by default。鼓励您使用HttpsURLConnection,但如果确实需要,可以在应用程序清单中启用明文。
准备中
我们首先需要至少知道 URL 和字符集。这些参数是可选的,取决于功能要求。
String url = "http://example.com";
String charset = "UTF-8"; // Or in Java 7 and later, use the constant: java.nio.charset.StandardCharsets.UTF_8.name()
String param1 = "value1";
String param2 = "value2";
// ...
String query = String.format("param1=%s¶m2=%s",
URLEncoder.encode(param1, charset),
URLEncoder.encode(param2, charset));
查询参数必须采用name=value 格式并由& 连接。您通常还可以使用URLEncoder#encode() 指定字符集的查询参数URL-encode。
String#format() 只是为了方便。当我需要字符串连接运算符+ 两次以上时,我更喜欢它。
这是一项微不足道的任务。这是默认的请求方法。
URLConnection connection = new URL(url + "?" + query).openConnection();
connection.setRequestProperty("Accept-Charset", charset);
InputStream response = connection.getInputStream();
// ...
任何查询字符串都应使用? 连接到URL。 Accept-Charset 标头可能会提示服务器参数的编码方式。如果您不发送任何查询字符串,那么您可以将Accept-Charset 标头放在一边。如果你不需要设置任何headers,那么你甚至可以使用URL#openStream()这个快捷方式。
InputStream response = new URL(url).openStream();
// ...
不管怎样,如果对方是HttpServlet,那么它的doGet()方法会被调用,参数会被HttpServletRequest#getParameter()提供。
出于测试目的,您可以将响应正文打印到standard output,如下所示:
try (Scanner scanner = new Scanner(response)) {
String responseBody = scanner.useDelimiter("\\A").next();
System.out.println(responseBody);
}
将URLConnection#setDoOutput() 设置为true 隐式地将请求方法设置为POST。 Web 表单的标准 HTTP POST 是 application/x-www-form-urlencoded 类型,其中查询字符串写入请求正文。
URLConnection connection = new URL(url).openConnection();
connection.setDoOutput(true); // Triggers POST.
connection.setRequestProperty("Accept-Charset", charset);
connection.setRequestProperty("Content-Type", "application/x-www-form-urlencoded;charset=" + charset);
try (OutputStream output = connection.getOutputStream()) {
output.write(query.getBytes(charset));
}
InputStream response = connection.getInputStream();
// ...
注意:当您想以编程方式提交 HTML 表单时,不要忘记将任何 <input type="hidden"> 元素的 name=value 对放入查询字符串,当然还有 name=value 对987654400@ 您想以编程方式“按下”的元素(因为它通常在服务器端用于区分是否按下了按钮,如果按下了,则区分哪个按钮)。
您也可以将获得的URLConnection 转换为HttpURLConnection 并改用它的HttpURLConnection#setRequestMethod()。但如果您尝试使用连接进行输出,您仍然需要将URLConnection#setDoOutput() 设置为true。
HttpURLConnection httpConnection = (HttpURLConnection) new URL(url).openConnection();
httpConnection.setRequestMethod("POST");
// ...
不管怎样,如果对方是HttpServlet,那么它的doPost()方法会被调用,参数会被HttpServletRequest#getParameter()提供。
实际触发 HTTP 请求
您可以使用URLConnection#connect() 显式触发HTTP 请求,但是当您想要获取有关HTTP 响应的任何信息时,该请求将自动按需触发,例如使用URLConnection#getInputStream() 的响应正文等。上面的例子正是这样做的,所以connect() 调用实际上是多余的。
收集 HTTP 响应信息
-
HTTP response status:
您需要在这里HttpURLConnection。必要时先施放。
int status = httpConnection.getResponseCode();
-
HTTP response headers:
for (Entry<String, List<String>> header : connection.getHeaderFields().entrySet()) {
System.out.println(header.getKey() + "=" + header.getValue());
}
-
HTTP response encoding:
当Content-Type 包含charset 参数时,响应正文可能是基于文本的,我们希望使用服务器端指定的字符编码来处理响应正文。
String contentType = connection.getHeaderField("Content-Type");
String charset = null;
for (String param : contentType.replace(" ", "").split(";")) {
if (param.startsWith("charset=")) {
charset = param.split("=", 2)[1];
break;
}
}
if (charset != null) {
try (BufferedReader reader = new BufferedReader(new InputStreamReader(response, charset))) {
for (String line; (line = reader.readLine()) != null;) {
// ... System.out.println(line)?
}
}
} else {
// It's likely binary content, use InputStream/OutputStream.
}
维护会话
服务器端会话通常由 cookie 支持。某些 Web 表单要求您登录和/或由会话跟踪。您可以使用CookieHandler API 来维护 cookie。在发送所有 HTTP 请求之前,您需要准备 CookieManager 和 CookiePolicy 或 ACCEPT_ALL。
// First set the default cookie manager.
CookieHandler.setDefault(new CookieManager(null, CookiePolicy.ACCEPT_ALL));
// All the following subsequent URLConnections will use the same cookie manager.
URLConnection connection = new URL(url).openConnection();
// ...
connection = new URL(url).openConnection();
// ...
connection = new URL(url).openConnection();
// ...
请注意,众所周知,这并不总是在所有情况下都能正常工作。如果它失败了,那么最好手动收集和设置 cookie 标头。您基本上需要从登录响应或第一个 GET 请求中获取所有 Set-Cookie 标头,然后将其传递给后续请求。
// Gather all cookies on the first request.
URLConnection connection = new URL(url).openConnection();
List<String> cookies = connection.getHeaderFields().get("Set-Cookie");
// ...
// Then use the same cookies on all subsequent requests.
connection = new URL(url).openConnection();
for (String cookie : cookies) {
connection.addRequestProperty("Cookie", cookie.split(";", 2)[0]);
}
// ...
split(";", 2)[0] 用于消除与服务器端无关的 cookie 属性,例如 expires、path 等。或者,您也可以使用 cookie.substring(0, cookie.indexOf(';')) 而不是 split()。
串流模式
HttpURLConnection 默认情况下会在实际发送之前缓冲整个 请求正文,无论您是否使用connection.setRequestProperty("Content-Length", contentLength); 自己设置了固定内容长度。每当您同时发送大型 POST 请求(例如上传文件)时,这可能会导致 OutOfMemoryExceptions。为避免这种情况,您需要设置HttpURLConnection#setFixedLengthStreamingMode()。
httpConnection.setFixedLengthStreamingMode(contentLength);
但是如果事先确实不知道内容长度,那么您可以通过相应地设置HttpURLConnection#setChunkedStreamingMode() 来使用分块流模式。这会将 HTTP Transfer-Encoding 标头设置为 chunked,这将强制请求正文以块的形式发送。下面的示例将以 1 KB 的块发送正文。
httpConnection.setChunkedStreamingMode(1024);
用户代理
a request returns an unexpected response, while it works fine with a real web browser 可能会发生。服务器端可能正在阻止基于User-Agent 请求标头的请求。 URLConnection 默认将其设置为Java/1.6.0_19,其中最后一部分显然是 JRE 版本。您可以按如下方式覆盖它:
connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36"); // Do as if you're using Chrome 41 on Windows 7.
使用来自recent browser 的用户代理字符串。
错误处理
如果 HTTP 响应代码是 4nn(客户端错误)或 5nn(服务器错误),那么您可能需要阅读 HttpURLConnection#getErrorStream() 以查看服务器是否发送了任何有用的错误信息。
InputStream error = ((HttpURLConnection) connection).getErrorStream();
如果 HTTP 响应代码为 -1,则连接和响应处理出现问题。 HttpURLConnection 实现在较旧的 JRE 中在保持连接活动方面有些错误。您可能希望通过将http.keepAlive 系统属性设置为false 来关闭它。您可以通过以下方式在应用程序的开头以编程方式执行此操作:
System.setProperty("http.keepAlive", "false");
上传文件
对于混合的 POST 内容(二进制和字符数据),您通常会使用 multipart/form-data 编码。编码在RFC2388中有更详细的描述。
String param = "value";
File textFile = new File("/path/to/file.txt");
File binaryFile = new File("/path/to/file.bin");
String boundary = Long.toHexString(System.currentTimeMillis()); // Just generate some unique random value.
String CRLF = "\r\n"; // Line separator required by multipart/form-data.
URLConnection connection = new URL(url).openConnection();
connection.setDoOutput(true);
connection.setRequestProperty("Content-Type", "multipart/form-data; boundary=" + boundary);
try (
OutputStream output = connection.getOutputStream();
PrintWriter writer = new PrintWriter(new OutputStreamWriter(output, charset), true);
) {
// Send normal param.
writer.append("--" + boundary).append(CRLF);
writer.append("Content-Disposition: form-data; name=\"param\"").append(CRLF);
writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF);
writer.append(CRLF).append(param).append(CRLF).flush();
// Send text file.
writer.append("--" + boundary).append(CRLF);
writer.append("Content-Disposition: form-data; name=\"textFile\"; filename=\"" + textFile.getName() + "\"").append(CRLF);
writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF); // Text file itself must be saved in this charset!
writer.append(CRLF).flush();
Files.copy(textFile.toPath(), output);
output.flush(); // Important before continuing with writer!
writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary.
// Send binary file.
writer.append("--" + boundary).append(CRLF);
writer.append("Content-Disposition: form-data; name=\"binaryFile\"; filename=\"" + binaryFile.getName() + "\"").append(CRLF);
writer.append("Content-Type: " + URLConnection.guessContentTypeFromName(binaryFile.getName())).append(CRLF);
writer.append("Content-Transfer-Encoding: binary").append(CRLF);
writer.append(CRLF).flush();
Files.copy(binaryFile.toPath(), output);
output.flush(); // Important before continuing with writer!
writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary.
// End of multipart/form-data.
writer.append("--" + boundary + "--").append(CRLF).flush();
}
如果对方是HttpServlet,那么它的doPost()方法将被调用,并且部分将被HttpServletRequest#getPart()提供(注意,因此不是getParameter()等等!)。 getPart() 方法相对较新,它是在 Servlet 3.0(Glassfish 3、Tomcat 7 等)中引入的。在 Servlet 3.0 之前,您最好的选择是使用 Apache Commons FileUpload 来解析 multipart/form-data 请求。有关 FileUpload 和 Servelt 3.0 方法的示例,另请参阅 this answer。
处理不受信任或配置错误的 HTTPS 站点
如果您是为 Android 而不是 Java 开发,小心:如果您在开发期间没有部署正确的证书,下面的解决方法可能会节省您的时间。但是您不应该将其用于生产。这些天(2021 年 4 月)如果 Google 检测到不安全的主机名验证程序,他们将不允许您的应用在 Play 商店中分发,请参阅 https://support.google.com/faqs/answer/7188426.
有时您需要连接 HTTPS URL,可能是因为您正在编写网络爬虫。在这种情况下,您可能会在某些 HTTPS 站点上遇到javax.net.ssl.SSLException: Not trusted server certificate,而这些站点并未保持其 SSL 证书是最新的,或者在某些配置错误的 HTTPS 站点上会遇到 java.security.cert.CertificateException: No subject alternative DNS name matching [hostname] found 或 javax.net.ssl.SSLProtocolException: handshake alert: unrecognized_name。
您的网络爬虫类中的以下一次性运行 static 初始化程序应该使 HttpsURLConnection 对那些 HTTPS 站点更加宽松,因此不再抛出这些异常。
static {
TrustManager[] trustAllCertificates = new TrustManager[] {
new X509TrustManager() {
@Override
public X509Certificate[] getAcceptedIssuers() {
return null; // Not relevant.
}
@Override
public void checkClientTrusted(X509Certificate[] certs, String authType) {
// Do nothing. Just allow them all.
}
@Override
public void checkServerTrusted(X509Certificate[] certs, String authType) {
// Do nothing. Just allow them all.
}
}
};
HostnameVerifier trustAllHostnames = new HostnameVerifier() {
@Override
public boolean verify(String hostname, SSLSession session) {
return true; // Just allow them all.
}
};
try {
System.setProperty("jsse.enableSNIExtension", "false");
SSLContext sc = SSLContext.getInstance("SSL");
sc.init(null, trustAllCertificates, new SecureRandom());
HttpsURLConnection.setDefaultSSLSocketFactory(sc.getSocketFactory());
HttpsURLConnection.setDefaultHostnameVerifier(trustAllHostnames);
}
catch (GeneralSecurityException e) {
throw new ExceptionInInitializerError(e);
}
}
遗言
Apache HttpComponents HttpClient 在这方面要方便得多 :)
解析和提取 HTML
如果您只想从 HTML 中解析和提取数据,那么最好使用像 Jsoup 这样的 HTML 解析器。