如何在基于文件的数据源中处理 solr delta-import

Question

我正在尝试在 solr 索引中实现增量导入，以防我从数据库中索引数据。但我想在基于文件的数据源上实现它。

我的 data-config.xml 文件是这样的 dataSource type="com.solr.datasource.DataSource" name="SuggestionsFile"/>

<document name="suggester">
    <entity name="file" dataSource="SuggestionsFile">
        <field column="suggestion" name="suggestion" />
   </entity>

我在 solrconfig.xml 文件中使用 DataImportHandler。我无法发布我的配置文件，我试图发布，但我不知道为什么它没有显示。

我的 DataSource 类读取文本文件并返回数据列表，即 solr 索引。它在完全导入的情况下工作正常，但在 delta-import 的情况下不工作。请建议我还需要做什么。

Answer 1

FileDataSourceEntityProcessor 支持基于“newerThan”属性过滤列表：

<entity
    name="fileimport"
    processor="FileListEntityProcessor"
    newerThan="${dataimporter.last_index_time}"
    .. other options ..
>
    ...
</entity>

网上有一个complete example。