MongoDB 写入问题：不同的数据库显示相同文档的不同计数

Question

我正在尝试在 MongoDB 的 2 个数据库的不同集合中批量插入某些文档。

MongoClient mongoClient2 = this.getMongoClient();
MongoDatabase currentDB = mongoClient2.getDatabase(splits[0]);
MongoCollection<Document> currentCollectionNew = currentDB.getCollection(splits[1])
                        .withWriteConcern(WriteConcern.MAJORITY.withJournal(true))
                        .withReadConcern(ReadConcern.MAJORITY);

BulkWriteOptions bulkWriteOptions = new BulkWriteOptions();
bulkWriteOptions.ordered(true);
bulkWriteOptions.bypassDocumentValidation(true);
try {
     BulkWriteResult bulkWriteResult = urrentCollectionNew.bulkWrite(listDoc,
                            bulkWriteOptions);

   logger.info("bulkWriteResult inserted count in MAIN: " + bulkWriteResult.getInsertedCount());
   logger.info("bulkWriteResult modified count  in MAIN: " + bulkWriteResult.getModifiedCount());
   logger.info("bulkWriteResult matched count in MAIN : " + bulkWriteResult.getMatchedCount());
   logger.info("bulkWriteResult deleted count in MAIN : " + bulkWriteResult.getDeletedCount());
    logger.info("bulkWriteResult upserted count in MAIN : " + bulkWriteResult.getUpserts().size());
    logger.info("bulkWriteResult was acknowledged in MAIN : " + bulkWriteResult.wasAcknowledged());

    mongoClient2.close()
 } catch (Exception e) {
    logger.warn("Error in bulkWriting main DB: {} ", e.getMessage());
    logger.error(e.getMessage(), e);
                }

    MongoCollection<Document> mongoStageCollection = objFactory.getCollectionObject(resourceType, true);
    String[] splitsStage = mongoStageCollection.getNamespace().getFullName().split("\\.");
    MongoClient mongoClient3 = this.getMongoClient();
    MongoDatabase newStageDB = mongoClient3.getDatabase(splitsStage[0]);
    MongoCollection<Document> stageCollectionNew = newStageDB.getCollection(splitsStage[1])
                        .withWriteConcern(WriteConcern.MAJORITY.withJournal(true))
    .withReadConcern(ReadConcern.MAJORITY);

    logger.info("mongoStageCollection.getWriteConcern(): {} ", mongoStageCollection.getWriteConcern());
    logger.info("mongoStageCollection.getReadConcern(): {} ",
      mongoStageCollection.getReadConcern().toString());
    logger.info("mongoStageCollection.getReadPreference(): {}",
                        mongoStageCollection.getReadPreference().getName());

    try {
          BulkWriteResult bulkWriteResult = stageCollectionNew.bulkWrite(listDoc, bulkWriteOptions);

          logger.info("bulkWriteResult inserted count in STAGING: " + bulkWriteResult.getInsertedCount());
          logger.info("bulkWriteResult modified count  in STAGING: " + bulkWriteResult.getModifiedCount());
           logger.info("bulkWriteResult matched count in STAGING: " + bulkWriteResult.getMatchedCount());
           logger.info("bulkWriteResult deleted count in STAGING: " + bulkWriteResult.getDeletedCount());
           logger.info("bulkWriteResult upserted count in STAGING: " + bulkWriteResult.getUpserts().size());
           logger.info("bulkWriteResult was acknowledged in STAGING: " + bulkWriteResult.wasAcknowledged());
          mongoClient3.close();
                } catch (Exception e) {
                    logger.warn("Error in bulkWriting STAGING DB: {} ", e.getMessage());
                    logger.error(e.getMessage(), e);
                }

例如 2 个 DB 是 FHIR 和 FHIR_Stage。 在两个数据库中创建相同的集合。 FHIR.Condition 和 FHIR_STAGE.Condition

FHIR.Observation 和 FHIR_STAGE.Observation

等等……

FHIR 应该拥有所有数据，而 FHIR_Stage 应该只有增量数据。 但是，在初始加载时，两个 DB 应该包含完全相同的数据。

我看到的是这 2 个数据库中的集合中的计数不匹配 即 FHIR.Condition 中的计数与 FHIR_STAGE.Condition 中的计数不同

这里的问题是这种不匹配是随机发生的，即有时匹配有时不匹配（当我清理所有内容并重新运行初始加载时） 这发生在这两个数据库中的不同集合上。 而且它没有模式，随机一些集合计数不会匹配，有时一切都会匹配。

我已经有一个星期无法解决这个问题了。 非常感谢任何帮助。

MongoDB 设置：

我们有一个 3 节点 (VM) 集群。我们有 3 个分片在运行，每个分片是一个 3 成员副本集。每个节点都是其中一个副本集的主节点。

使用 x509 证书保护集群。

我在 sh.status() 或 rs.status() 中都没有发现错误。 也没有复制延迟。

数据库和集合是根据某些业务逻辑从 Java 代码动态创建的。而且我还在数据库上启用分片，然后在代码中的集合上启用分片。

WriteConcern - 多数

ReadPreference - 主要

ReadConcern - 多数

Mongo 版本：3.4.15 Mongo Java 驱动程序：3.4.2

仅供参考 - 相同的代码库在独立 MongoDB 上按预期工作。

感谢期待。

如果需要，我很乐意分享更多信息。

附言

如果有什么不同，写入 MongoDB 的进程是 Kafka Consumer

Answer 1

我们在发布此内容几天后发现了这个问题 -

我们的是分片的 MongoDB 集群。

这是因为我们没有使用聚合管道中的 count() 函数，而是依赖于 db.collectionName.count()

转向聚合管道，我们可以在两个数据库中看到相同的文档。

Reference 指出。