用于摄取不同数据馈送的架构建议？

Question

问题描述： 我必须从多个来源摄取数据馈送，并对它们进行 ETL 并将它们存放在 Oracle 数据仓库中。文件本身是 .csv 文件。这些文件具有不同的格式、属性和值。

假设我有 3 种不同类型的文件：

• File1 - 我每天都会收到一个这种类型的新文件。 user_id,first_name,last_name

• File2 - 我每周都会收到一个这种类型的新文件：order_id,
  order_date, order_amount

• File3 - 我每个月都会收到一个这种类型的新文件：part_id,
  部分名称，部分描述

提取这些数据并将其提供给 ETL 步骤的最简单方法是什么？我如何编写代码，实现可用于所有类型文件的解决方案，甚至是当前未知类型的 File4？

我认为 XSLT 和 XPath 是一种可能的解决方案。将 .csv 文件转换为 XML，然后为每种文件类型编写一个 XSLT 模板。我在正确的轨道上吗？还有哪些其他技术/工具可以帮助我？

非常感谢任何建议。

Answer 1

我曾经使用 Talend Studio 构建 ETL 作业以进行数据集成： https://www.talend.com/products/data-integration

它是 ETL 最重要的开源工具之一，学习曲线非常快，看起来非常适合您描述的工作：您可以读取 csv，进行所有转换，然后直接加载结果在 Oracle DB 上的结果。 它基于 Java，但您不会编写代码行（只是一些基础知识）。完成工作后，您可以将它们导出为脚本（.sh 或 .bat）并安排它们。