从 MongoDB 到 Teradata 的数据迁移

Question

我们正在努力将数据从 MongoDB 迁移到 Teradata (DW)。

我们认为有必要对数据进行转换。

您能否帮我回答以下问题，这些问题将指导我们开发迁移解决方案：

1. 考虑到所涉及的转换，哪种格式是从 MongoDB 导出数据以加载到 Teradata(DW) 的最佳且最有效的格式？ （CSV/JSON/其他）

转换可能包括从导出文件中省略行、省略字段、跨字段聚合（总和/计数）等。

1. 如果为 ETL 开发框架，Java 会是一个不错的选择吗？

2. 我们注意到'\n' [换行符] 也是一些记录的一部分。因此，在 csv 中，我们看到中间有一些空白行。

我们需要关注正确的行分隔符吗？或者导出格式可以在这方面帮助我们吗？

4. 我们看到一些记录被截断，因为记录的长度超过了 1024 个字符。

我们在 VI 编辑器中收到“行太长”消息。我们的系统中没有备用编辑器。有没有办法处理行截断？

Answer 1

CSV 没有特别明确 - 在野外有几种变体，转义行为略有不同。我几乎总是喜欢除了 csv 之外的任何东西。

1. JSON
2. 是的
3. 这不是问题，但可以。
4. 不要用 vi 编辑数据，这纯粹是编辑器的限制，与导出格式无关。以编程方式进行转换