在 Spring 中使用 Greenplum答案

【问题标题】：Using Greenplum with Spring在 Spring 中使用 Greenplum
【发布时间】：2014-01-23 23:49:40
【问题描述】：

是否有任何 Spring 项目提供模板或实用程序用于插入或使用 Greenplum？

我知道一种方法是使用 Spring Batch 让一个 tasklet 调用 Greenplum gpload 实用程序，然后它将指定的文件插入数据库。

然而，考虑到 Spring Data 和 Spring XD 项目都旨在抽象数据访问和处理大数据需求这一事实，似乎应该为这个需求定制一些东西。鉴于 Pivotal 现在与 GreenPlum 和 Spring 的关系如此密切，情况尤其如此。

如果有人有任何使用 Spring 和 Greenplum 的经验并且可以提供任何建议或最佳实践，我们将不胜感激。

【问题讨论】：

【解决方案1】：

我曾与 Spring Batch 和 Greenpulm 合作。只需使用 PostgresSQL jdbc 驱动程序，它就可以透明地工作，因为 Greenplum 数据库是基于 PostgreSQL 的

【讨论】：

【解决方案2】：

这件事已经出现了好几次了。很久以前在这方面已经完成了一些工作，但我们还没有将该代码移到公共存储库中 - 现在是将该代码放入 github 的好时机。

这是一份描述可用内容的文档。

其中可能不明显的是（我记得）我们能够在 Java 中以编程方式使用 gpfdist，而不是使用命令行。我会让这篇文章的作者看看这个帖子发表评论。

这项工作没有调用 Greenplum gpload 实用程序的 tasklet，但这当然是个好主意。我们刚刚完成了将文件写入 HDFS 的 FTP tasklet 的第一次通过，这应该是一个很好的开始。

我很想听听您在这方面的更多想法。一种想法是使用批处理分区作业来使位于 xd-container 节点的本地文件系统上的文件可以并行发生。

期待您的回复。

干杯，标记

【讨论】：