在 Apache Nutch 中设置 cookie 标头

Question

我想抓取一个使用 cookie 进行身份验证的特定网站。我想在 Apache Nutch 为抓取网站而发出的每个 GET 请求中设置 cookie 和用户代理信息。

如何在配置中指定 cookie 信息，或者是否需要为此编写自定义插件？

Answer 1

目前无法手动指定 Nutch 在获取 URL 时发送的 cookie/标头。插件protocol-httpclient 支持基于表单的身份验证，请查看httpclient-auth.xml 文件。我认为这不会太难实施，我们总是欢迎贡献。