CosmosDb - 插入大量数据

Question

我开发了一个 azure webjob，用于在 MongoDb CosmosDb 数据库中插入大量数据。

以下是我的存储库中用于在 cosmosDb 数据库中插入数据的代码：

public async Task<bool> InsertZonierDataAsync(List<Zonier> zonierList)
{
    if (zonierList == null || !zonierList.Any())
    {
        throw new ZonierListNullOrEmptyException();
    }

    try
    {
        await _retryPolicy.ExecuteAsync(async () =>
        {
            await _collection.InsertManyAsync(zonierList);
        });
        return true;
    }
    catch (MongoBulkWriteException ex)
    {
        throw new DataBaseWritingException(ex.Message, ExceptionCodeConstants.DataBaseWritingExceptionCode);
    }
}

为了快速插入数据，我在作​​业运行期间将 RU/秒更新为 10K。 zonierList 中有大约 20 亿个原始数据需要插入。

不幸的是，通过网络作业插入数据需要很长时间（超过两个小时）。当我直接在 CosmosDb 中检查吞吐量时，它并没有在 10K 时被阻塞：

我做错了什么，为什么要花这么多时间？我可以通过配置更改某些内容还是应该更改插入数据的方式？

Answer 1

即使您为容器预配了 10k RU，Cosmos DB 也会在构成该容器的所有物理分区中平均分配该数量。如果您插入的所有文档都具有相同的分区键值，那么它们都将进入相同的逻辑分区并返回物理分区。这意味着，如果您的集合有 4 个物理分区，您将只使用您配置的 10k 中的 2.5k。数字加起来。