为什么 Solr 导入后会删除文档

Question

我通过 Dataimporthandler 从 MySql 导入数据。这很好用，我收到了这条消息：

索引已完成。添加/更新：2,172 个文档。已删除 0 文件。 （持续时间：01 秒）请求：1 (1/秒)，获取：2,172 (2,172/s)，跳过：0，处理：2,172 (2,172/s)

但是当我查看我的概览时，它会说：

文档数：1470 最大文档：2172 已删除文档：702

所以 702 个文档被删除了，原因我无法弄清楚。在我的架构中，我不使用任何唯一字段或可能给重复项带来麻烦的东西。

---

数据配置.xml

<dataConfig>
  <dataSource type="JdbcDataSource"
    driver="com.mysql.jdbc.Driver"
    url="xxx"
    user="xxx"
    password="xxx"
  />
  <document>
   <entity name="product" query="CALL getSolrProducts();" transformer="RegexTransformer">
      <field column="uuid" name="uuid"/>
      <field column="id" name="id"/>
      <field column="productimage" name="productimage"/>
      <field column="producturl" name="producturl"/>
      <field column="productpricenew" name="productpricenew"/>
      <field column="productpriceold" name="productpriceold"/>
      <field column="brandid" name="productbrand"/>
      <field column="productbrandname" name="productbrandname"/>
      <field column="productbrandurl" name="productbrandurl"/>
      <field column="productbrandimage" name="productbrandimage"/>
      <field column="productbranddata" name="productbranddata"/>
      <field column="productshippingcoast" name="productshippingcoast"/>
      <field column="productlink" name="productlink"/>
      <field column="color" name="color" splitBy=","/>
      <field column="colordata" name="colordata" splitBy=","/>
      <field column="productdescription" name="productdescription"/>
      <field column="upc" name="upc" splitBy=","/>
      <field column="productname" name="productname"/>
      <field column="productshop" name="productshop"/>
      <field column="productshopname" name="productshopname"/>
      <field column="productshopimage" name="productshopimage"/>
      <field column="productimagethumb" name="productimagethumb"/>
      <field column="productshopdata" name="productshopdata"/>
    <field column="cat1id" name="cat1id"/>
    <field column="cat2id" name="cat2id"/>
    <field column="cat3id" name="cat3id"/>
    <field column="cat4id" name="cat4id"/>
    <field column="cat1data" name="cat1data"/>
    <field column="cat2data" name="cat2data"/>
    <field column="cat3data" name="cat3data"/>
    <field column="cat4data" name="cat4data"/>
      <field column="size" name="size" splitBy=","/>
      <field column="sizedata" name="sizedata" splitBy=","/>
      <field column="recommendations" name="recommendations" splitBy=","/>
    </entity>
  </document>
</dataConfig>

有人指点吗？

Answer 1

由于您检查了clean，DIH 首先发出“全部删除”更新查询，然后开始发布新文档。一旦索引完成，DIH 会发出一个提交，这将只保留发布的新文档并删除索引开始之前存在的所有旧文档。你的数据库一定已经更新了，所以你现在有更多的文档，702 个删除的文档对应于索引开始之前存在于索引中的文档。 （在 DIH 中检查 optimize 将清除已删除的文档，但优化对于大型索引可能代价高昂，并且已删除的文档无论如何都不会出现在搜索结果中，因此可能没有多大好处。）