使用 intellij 将 ETL 与 Java 集成答案

【问题标题】：Integrating ETL with Java using intellij使用 intellij 将 ETL 与 Java 集成
【发布时间】：2017-07-04 14:07:34
【问题描述】：

我想从 Java 上的 ETL 开始。我正在使用 Intellij。我想知道如何进行集成或者哪个工具与 intellij 兼容。另外，如果有任何关于ETL基础知识的教程。

如果我想进行数据转换，我需要什么和所有东西它可以是基本的，就像从文件中获取随机输入并转换基于特定逻辑的数据

【问题讨论】：

检查集成的最佳位置通常是集成一方或双方的官方文档。

标签： java etl

【解决方案1】：

创建代码以提取（查询不同的源，如 DB、XML、Web 服务等）以进行转换（您知道使所有内容兼容、删除 dup、创建 Dims 和 Facts）以将它们加载到目标（数据库等）。 . 这一切都不是新鲜事。 Java 很棒，但是用它创建 ETL 是在创建一个非标准的应用程序......并且将成为一个遗留问题，然后您需要构建一个调度程序来运行负载并与多个组件集成。

所以。我强烈建议不要创建 Java 应用，而是看看 Informatica PowerCenter 和/或 Oracle Data Integrator 等产品。

此解决方案是全球 ETL 的业务范围标准，提供对象和方法来避免应用程序几乎不需要管理且位于任何应用程序之上...也用于集成、迁移、B2B、BI...命名...

祝你好运！

【讨论】：

Apache Nifi 或 Apache Spark 将是两个 Java 选项

【解决方案2】：

如果您尝试创建基于 Java 的 etl 产品，您将重新发明轮子。 Talend 是一个基于 Java 的开源 ETL 工具，它提供了 ETL 工具的功能，让人们可以编写 Java 代码来集成..

Pentaho 是另一个基于 Java 的 ETL 工具..

两者都很受欢迎，并且具有良好的用户界面...

【讨论】：