将数百万个文档从 Mongo 迁移到 Kafka

Question

我在 Mongo DB 中有 1000 万个文档，我想将它们作为 JSON 推送到 Kafka，因为它没有任何更改。

寻找最佳方法。

1.使用Mongo响应式流

 Flux.from(collection.find()).doOnError(e -> {
             e.printStackTrace();
         }).doOnComplete(() -> {
             System.out.println("Finished ");
         }).subscribe(doc -> {
             // Code to insert into Kafka
         });

1. 使用 Akka 流

还有其他可用的连接器吗？

另外，我需要在订阅方法中做多线程吗？

还有其他更好的方法吗？

Answer 1

您可以使用Kafka Connect 和MongoDB source connector 将数据从Mongo 复制到Kafka。使用 Kafka Connect 更加灵活、可扩展和简单。

一个示例配置是：

name=mongodb-source-connector
connector.class=org.apache.kafka.connect.mongodb.MongodbSourceConnector
tasks.max=1
uri=mongodb://127.0.0.1:27017
batch.size=100
schema.name=yourSchemaName
topic.prefix=aPrefix # optional
databases=mydb.test,mydb.test2