MySQL 主数据存储和 MongoDB 辅助数据存储之间的 ETL

Question

我们有一个具有 MySQL 后端的 rails 应用程序，每个客户端都有一个数据库，并且架构是相同的。我们使用自定义 gem 来根据请求的 URL 更改数据库（这是我们试图摆脱的一些遗留代码）

我们需要从那些 MySQL 数据库中捕获一些变化（库存变化、一些订单信息等）转换并存储在单个 MongoDB 数据库（多租户数据存储）中，这些数据将首先用于分析，但我们的想法是将所有东西移到那里。

使用 AR 回调和 Rabbit 可以做到这一点，但老实说，它无法正常工作，而且看起来修复它比重新开始更麻烦。

我们做了一些研究，发现了一些工具来执行 ETL，但它们对于我们的需求来说太过分了。

有没有人遇到过类似的问题？

关于如何构建和实现这个简单 ETL 的建议

Answer 1

Pentaho 提供 change-data-capture 选项，可以解决数据同步问题。

如果 Overkill 是指设置、配置，那么是的，这是 ETL 工具的常见问题，而 PENTAHO 是其中最简单的。

如果你能提供更多细节，我很乐意提供详尽的答案。