DataImportHandler 没有报错但没有完成答案

【问题标题】：DataImportHandler reports no error but does not completeDataImportHandler 没有报错但没有完成
【发布时间】：2012-01-27 18:10:31
【问题描述】：

我试图说服 solr 执行 sqlite 数据库的批量导入。我将 DataImportHandler 配置为通过 jdbc 成功打开该数据库，并且可以使用 wget http://localhost:8080/solr/dataimport?command=full-import 开始导入，但无论我做什么，solr 似乎只索引前 499 个文档（由 wget http://localhost:8080/solr/dataimport?command=status 报告）。

jetty 日志文件不报告任何错误信息。相反，它报告索引结束：

27-Jan-2012 19:08:13 org.apache.solr.handler.dataimport.SolrWriter readIndexerProperties
INFO: Read dataimport.properties
27-Jan-2012 19:08:13 org.apache.solr.handler.dataimport.SolrWriter persist
INFO: Wrote last indexed time to dataimport.properties
27-Jan-2012 19:08:13 org.apache.solr.handler.dataimport.DocBuilder execute
INFO: Time taken = 0:0:1.145

我做错了什么？？

【问题讨论】：

你能发布你的 data-config.xml 文件吗？
这可能是 data-config.xml 文件或 schema.xml 文件的问题

标签： sqlite solr dataimporthandler

【解决方案1】：

我知道回答自己的问题不是很好的品味，但我最终找出了导致此错误的讨厌问题。

用于为特定数据源配置 solr 的指令如下：

<dataSource type="JdbcDataSource" driver="org.sqlite.JDBC" url="jdbc:sqlite:/foo.db"/>

默认情况下，JdbcDataSource 类读取此 XML 节点的 batchSize 属性并假定它设置为 500，除非指定。所以，上面其实等价于：

<dataSource type="JdbcDataSource" ... batchSize="500"/>

现在，JdbcDataSource 将 batchSize 传递给底层 JDBC 驱动程序（在本例中为 sqlite jdbc 驱动程序）的方法 setFetchSize。此驱动程序假定此方法实际上要求它限制返回的行数，因此在这种情况下永远不会返回超过 500 行。我对 JDBC API 的预期语义不够熟悉，无法判断是 sqlite 驱动程序在解释这个值的方式上是错误的，还是 solr JdbcDataSource 类在它认为驱动程序的方式上是错误的对此方法调用做出反应。

不过，我所知道的是，解决方法是指定 batchSize="0"，因为 sqlite jdbc 驱动程序假定值为零意味着：“未指定行限制”。我将此技巧添加到相应的 solr FAQ 页面。

【讨论】：