使用 Spring 批处理流式传输 blob答案

【问题标题】：Streaming blob using Spring batch使用 Spring 批处理流式传输 blob
【发布时间】：2018-04-25 02:16:33
【问题描述】：

我需要编写一个 ETL，我需要将 blob 从一个存储迁移到另一个存储。单个 blob 的大小可高达 100gb。

是否可以使用 Spring 批处理框架对这些 blob 进行流式传输？我看到有一个读者、处理器和作家的概念。我不确定的是，是否可以在 Spring 批处理编写器中获取我的 blob 源 InputStream 的句柄，以便我可以将数据从源流传输到接收器数据源。

谢谢。

【问题讨论】：

【解决方案1】：

我认为 ItemReader/Processor/Writer 在这里帮不了你。这种抽象有利于在数据库中转换记录。但是在您的情况下，这很复杂，因为记录不适合内存。

您可以使用 Reader/Processor/Writer 方法（和 spring 批处理）是事务处理和可重新启动性。

这里的主要问题是：您需要找到如何将 blob 从一个存储流式传输到另一个存储的正确方法。然后这个逻辑应该去处理器或写入器。

【讨论】：

感谢您的回复。我认为您的方法是有道理的，我还认为 Spring 批处理适用于需要将一个数据库中的表记录迁移到另一个数据库的小型工作单元。再次感谢您的回复。我可能不会使用 Spring Batch 来解决这种问题。