用solr6.4.1爬取网站答案

【问题标题】：crawling a website with solr6.4.1用solr6.4.1爬取网站
【发布时间】：2017-03-13 17:31:47
【问题描述】：

我正在尝试在 Solr 6.4.1 中抓取网站。我假设 Nutch 是随 Solr 一起提供的 OOTB。我正在使用以下命令来抓取网站

java -Ddata=web -Dc=corename -jar post.jar (URLName starting from https)

我收到以下错误：

SimplePostTool: WARNING: Solr returned an error #400 (Bad Request) for url:

【问题讨论】：

solr.log:Error added field 'stream_size'='null' msg=For input string: "null"
是否需要进行任何配置更改以使 solr 抓取网站
谁能指导我正确的语法以在 solr 6.4.1 中抓取网站
据我所知，Nutch 没有附带 solr。它们是两个完全独立的软件产品。您必须单独处理它们。
solr 6.4.0 版本附带了内部 nutch，因此为了抓取 URL，我们不需要安装额外的 Nutch........ .......java -Ddata=web -Dc=corename -jar post.jar (URL)

标签： solr nutch

【解决方案1】：

尽管有文档，但我认为 SimplePostTool 不适用于 URL。它将始终将其作为文件夹读取，而不是 URL。

如果你需要爬取，我认为你需要使用Linux机器。 bin/post 脚本在 Linux 上运行良好。

【讨论】：