【问题标题】:Import/Export data using ETL or Java Freamework使用 ETL 或 Java 框架导入/导出数据
【发布时间】:2013-03-07 18:20:01
【问题描述】:

我们想在我们的 java webapp(使用 Spring 和 Hibernate 实现)中添加导入/导出数据的能力。 我们的 webapp 包含分层数据以及从文件加载的 LOB 数据。 要求是将数据导出到 XML/二进制文件中,将所有内容捆绑在一个 ZIP 文件中,然后将其导入我们应用程序的另一个实例中。

对于我应该使用哪些框架来实现这一点(如果有的话),您有什么经验或建议吗?

我教过使用 Pentaho 的数据集成 (Kettle),但我认为测试和维护它会很困难,所以我正在寻找任何其他的 java 框架,以便在两者之间进行比较.

【问题讨论】:

  • 我们在谈论哪些数据库供应商?构建一个新环境或不断更新另一个环境是一次性的吗?
  • 目前我们使用Oracle,但将来可能会改变。这是一种一次性操作,通常用于安装后设置。

标签: java import export kettle


【解决方案1】:

如果您使用的是 Oracle,那么我建议您使用 SQL Developerdata pump 功能来执行此操作。这将比尝试自己实现一些东西更加可靠和直接,根据我的经验,最好使用数据库的本机迁移功能。

我对 Kettle 有一些经验,如果您需要进行一些转换,即实际的 ETL,作为迁移的一部分,这可能是一个不错的选择,尽管正如您所说,它更难测试。

编辑: 如果您需要将这部分作为整个环境设置的一部分,那么我建议您将其与 PuppetChef 结合使用,它们可以引导整个环境,包括应用服务器、属性文件、数据库脚本等。

【讨论】:

  • 感谢您的回答。我现在看到我忘了提及它,但其中一个要求是在服务器之间复制本地存储的文件(它们应该是我提到的 ZIP 文件的一部分)。因此,我不想将实现拆分为 2 个不同的工具并只使用一个。另外,万一我们的数据库以后发生变化,我也会有问题。
  • 如果您尝试引导整个环境,那么我建议您使用脚本来实现它。您仍然可以以脚本形式使用 Data Pump,但将其作为 Puppet 或 Chef 设置的一部分。我正在使用 Puppet,效果非常好。
  • 听起来很有趣,我去看看。非常感谢。
猜你喜欢
  • 2023-03-17
  • 1970-01-01
  • 1970-01-01
  • 2012-02-12
  • 1970-01-01
  • 2011-11-03
  • 2020-03-04
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多