网络文档的复杂检索

Question

我需要从网站检索文档，并对其进行解析。 问题是：

1. 网站同时使用 http 和 https 协议
2. 你需要登录网站（我有普通账号）
3. 从登录页面，至少有2个重定向只是为了自己登录

我管理了一个 HTTPS 连接并发布了我的登录名和密码，但是我在 cookie 管理和重定向方面遇到了问题......

Answer 1

commons-httpclient 会有所帮助。

Answer 2

使用像 HtmlUnit 这样的库可能会有所帮助。