通过 mongo-connector 连接 Mongodb 和 elasticsearch 时缺少文档

Question

我正在尝试通过 mongo-connector 3.1.1 将文档从 MongoDB 4.4.5 传输到 Elasticsearch7.12

我首先使用：

sudo mongo-connector -m 127.0.0.1:27017 -t 127.0.0.1:9200 -d elastic2_doc_manager -n Data.myData --continue-on-error --batch-size=1000 --only-dump --batch-size=1000 --no-dump --tz-aware

在日志的开头，我可以看到 MongoDB 中的文档总数为 454

当这个过程完成时，我得到了

在 Elasticsearch 索引中我只能看到 268，如图所示

知道这里可能是什么问题吗？

Answer 1

此问题与 Elastivsearch 上的字段映射达到最大数量有关 为了解决这个问题，通过

增加对 Elasticsearch 索引的限制

PUT my_data_index/_settings
{
  "index.mapping.total_fields.limit": 20000

}