如何将 SOCKS 与 HtmlUnit 一起使用？

Question

是否可以通过 SOCKS 代理使用 HtmlUnit？谁能提供代码示例？

====

所以我已经挖掘了 webclient 资源，这是我能想到的最好的方法：

1. 子类 MultiThreadedHttpConnectionManager 以便它允许设置 SOCKS 信息，如果已设置，则在返回连接之前设置 SOCKS 参数

2. 子类 WebConnection - 重写 createHttpClient 以便它使用第 1 步中的管理器并添加一个方法来直接获取该管理器或首先获取 http 客户端（它现在是受保护的 - 太糟糕了...）

3. 要使用 1) 创建一个WebClient 实例 2) 创建子类WebConnection 3) 将其设置为由WebClient 使用 4) 访问连接的管理器并使用它的方法来使用socks

Answer 1

您需要做的就是在创建WebClient 对象之前设置appropriate system properties。例如：

System.setProperty("socksProxyHost", "localhost"); // replace "localhost" with your proxy server
System.setProperty("socksProxyPort", "9999"); // replace "9999" with your proxy port number

WebClient client = new WebClient();

此时，HttpClient（由 HtmlUnit 在幕后使用）将获取设置并使用 SOCKS 代理进行所有网络通信。

更新：我阅读了您修改后的问题（和您的评论），我认为您的思路是正确的。问题是，如果您使用上述系统属性实现第 1 步，那么您的代码不是线程安全的（因为这些系统属性是全局的）。一种解决方案是在某些东西上进行同步，但这当然会引入性能问题（可能对您而言并不重要）。

如果您真的想在每个套接字的基础上控制它，那么我认为您需要执行以下操作：

1. 创建一个自定义ProtocolSocketFactory，将java.net.Proxy 对象传递给Socket 构造函数（如this example）。
2. 创建一个使用此ProtocolSocketFactory 的自定义Protocol。
3. 使用 HttpConnection.setProtocol() 将此 Protocol 应用于自定义连接管理器中的新连接。

我还没有实际测试过这个，但是基于对 HttpClient 3.1 源代码的快速浏览，我认为这就是它的完成方式。我很想听听你最终如何解决这个问题:-)。祝你好运！

Answer 2

HtmlUnit 使用 HttpClient 作为底层连接库，我对此进行了一些调查，但是：

1- Couldn't find a way to configure HttpClient (except by the generic Java Socks mechanism defined in http://java.sun.com/javase/6/docs/technotes/guides/net/proxies.html)
2- Do not have access to a public Socks Proxy to test against