如何使用 insert_many 方法处理 pymongo AutoReconnect 异常

Question

我有一个包含 3 个成员的 MongoDB 副本集和一个在其中存储数据的 Python 应用程序。

当使用带有包装器的单个文档插入时，我可以处理 pymongo 的 AutoReconnect 异常，如下所示：

def safe_mongo_call(method, num_retries, *args, **kwargs):
    while True:
        try:
            return method(*args, **kwargs)
        except (pymongo.errors.AutoReconnect,
                pymongo.errors.ServerSelectionTimeoutError) as e:
            if num_retries > 0:
                logger.debug('Retrying MongoDB operation: %s', str(e))
                num_retries -= 1
            else:
                raise

我不确定在使用批量写入时如何处理这些异常，例如insert_many 方法。根据documentation 的说法，批量写入不是原子的，因此即使发生其中一种异常，也可能已经有一些文档成功写入数据库。因此，我不能像上面那样简单地重用包装器方法。

处理这些情况的最佳方法是什么？

Answer 1

对于这种情况，BulkWriteError 必须提供有关已完成操作的详细信息 https://api.mongodb.com/python/current/examples/bulk.html#ordered-bulk-write-operations

但是在连接丢失的情况下，AutoReconnect 被发送，并且操作进度的信息似乎丢失了（针对 pymongo==3.5.1 进行了测试）

在任何情况下，您都需要重建已写入的内容和未写入的内容，然后重试剩余项目的操作。 在后一种情况下，这会有点困难，因为您没有关于实际编写但仍然可行的事先信息

作为草图解决方案： 每个要插入的文档都分配有一个 ObjectId，除非 _id 已经存在。您可以自己处理 - 遍历文档，手动为那些缺少它的人分配 _id 并将 ID 保存在临时变量中。一旦你遇到异常，找到最后一个 _id 成功插入，即利用类似于二分搜索的方法来进行最坏的 ~O(logN) 查询，并且可能还使用批量操作被分成更小的批次这一事实(https://api.mongodb.com/python/current/examples/bulk.html#bulk-insert)。但当然，这种方法的适用性取决于您在 mongod 实例上的负载配置文件以及是否允许额外的查询突发。如果 BulkWriteError 按预期抛出，您可以只抓取未插入的文档，然后仅为这些文档重试操作。

回到 AutoReconnect 问题，我会亲自在 mongo-python-driver 问题跟踪器中开一张票，很有可能它是一个错误或正在完成故意的