有没有办法使用 Java 开发工具包将 InputStreams 集合批量上传到 Amazon S3？

Question

我知道TransferManager 和.uploadFileList() 和.uploadFileDirectory() 方法，但是它们接受java.io.File 类型作为参数。我有一组包含 jpeg 图像数据的字节数组输入流。我也不想在上传之前创建内存文件来存储这些数据。

所以我需要的基本上是 S3 客户端的 PutObjectRequest 所做的，但对于 InputStream 对象的集合。此外，如果一次上传失败，我想中止整个事情并且不上传任何内容，就像数据库事务在过程中出现问题时如何撤销更改一样。

Java SDK 可以做到这一点吗？

Answer 1

在我分享答案之前，请考虑升级...

fyi - TransferManager 是 deprecated，现在在 JAVA AWS SDK 中支持为 TransferManagerBuilder，如果 TransferManagerBuilder 对象适合您的需求，请考虑升级。

---

现在既然您询问了 TransferManager，您可以 1) 复制下面的代码并将功能/参数替换为您在输入流的内存处理中的自定义并在您的自定义中处理它功能...或； 2) 下面是另一个示例，请尝试按原样使用...

---

1. 使用inputstream 和issue listed here 修改Github 源代码

private def uploadFile(is: InputStream, s3ObjectName: String, metadata: ObjectMetadata) = {
    try {
      val putObjectRequest = new PutObjectRequest(bucketName, s3ObjectName,
        is, metadata)
      // TransferManager supports asynchronous uploads and downloads
      val upload = transferManager.upload(putObjectRequest)
      upload.addProgressListener(ExceptionReporter.wrap(UploadProgressListener(putObjectRequest)))
    } catch {
      case e: Exception => throw new RuntimeException(e)
    }
  }

---

1. 奖金，很好的自定义答案 here 使用 sequence input streams

public void combineFiles() {
    List<String> files = getFiles();
    long totalFileSize = files.stream()
                               .map(this::getContentLength)
                               .reduce(0L, (f, s) -> f + s);

    try {
        try (InputStream partialFile = new SequenceInputStream(getInputStreamEnumeration(files))) {
            ObjectMetadata resultFileMetadata = new ObjectMetadata();
            resultFileMetadata.setContentLength(totalFileSize);
            s3Client.putObject("bucketName", "resultFilePath", partialFile, resultFileMetadata);
        }
    } catch (IOException e) {
        LOG.error("An error occurred while combining files. {}", e);
    }
}

private Enumeration<? extends InputStream> getInputStreamEnumeration(List<String> files) {
    return new Enumeration<InputStream>() {
        private Iterator<String> fileNamesIterator = files.iterator();

        @Override
        public boolean hasMoreElements() {
            return fileNamesIterator.hasNext();
        }

        @Override
        public InputStream nextElement() {
            try {
                return new FileInputStream(Paths.get(fileNamesIterator.next()).toFile());
            } catch (FileNotFoundException e) {
                System.err.println(e.getMessage());
                throw new RuntimeException(e);
            }
        }

    };
}

---