java - 如何在java中将文件从存储桶传输到远程服务器

Question

我想使用 JSch 或脚本通过 Java 中的 SFTP 将文件从存储桶 GCP 传输到远程服务器，而不是我的本地目录。

     try{   
            JSch jsch = new JSch();
            jsch.addIdentity(privateSftpKey);
            session = jsch.getSession(SFTPUSER, SFTPHOST, SFTPPORT);
            java.util.Properties config = new java.util.Properties();
            config.put("StrictHostKeyChecking", "no");
            session.setConfig(config);
            session.connect();
            log.info("Host connected.");
            
            channel = session.openChannel("sftp");
            channel.connect();
            log.info("sftp channel opened and connected.");
            
            channelSftp = (ChannelSftp) channel;
            String sftpDirectory = "/home/share";

            File directory = new File("C:\\Users\\XYZ\\Desktop\\Learning\\Projects\\TransferStorageBucketToRemoteServer");
            File[] fList = directory.listFiles();

            for (File file : fList){           
                if (file.isFile()){
                    String filename=file.getAbsolutePath();
                    channelSftp.put(filename, sftpDirectory, ChannelSftp.OVERWRITE);
                    System.out.println(filename + " transferred to " + sftpDirectory );
                }
            }
            log.info("File transfered successfully to host.");
        } catch (Exception ex) {
            log.info("Exception found while tranfer the response.");
            log.info("Exception Message...: {}",ex.getMessage());
        }

当我在互联网上搜索时，只有从

1. 存储桶到另一个存储桶或
2. 存储桶到本地目录，反之亦然

谷歌云存储API代码，从存储桶读取文件

Credentials credentials = GoogleCredentials
                  .fromStream(new FileInputStream(jsonKey));

 Storage storage = StorageOptions.newBuilder().setCredentials(credentials)
                  .setProjectId("projectId").build().getService();

Blob blob = storage.get("bucket-name", "file.txt");
ReadChannel readChannel = blob.reader();

但不确定如何直接从 GCP ReadChannel 将其上传到 SFTP 通道而不将其写入另一个输出文件，然后将其传输到 SFTP 通道

channelSftp.put(file_from_readChannel , sftpDirectory, ChannelSftp.OVERWRITE);

但我看不到从存储桶直接传输到远程服务器。

任何人都可以在这方面提供帮助，以及在 java 或命令中的可能方式吗？

Answer 1

由于它在 Kubernetes 上运行，因此您可以将存储桶作为驱动器安装在 pod 上，并将文件上传到 FTP 服务器，就像它们是本地文件一样。

要将bucket作为驱动器安装在pod ypu上可以使用GCS fuse，here就是一个例子。

这可以通过在 Dockerfile 中添加这个来实现：

Dockerfile

RUN apt-get update && apt-get install --yes --no-install-recommends \
    ca-certificates \
    curl \
    gnupg \
  && echo "deb http://packages.cloud.google.com/apt $GCSFUSE_REPO main" \
    | tee /etc/apt/sources.list.d/gcsfuse.list \
  && curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add - \
  && apt-get update \
  && apt-get install --yes gcsfuse \
  && apt-get clean && rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/* 

RUN mkdir <MOUNTING_POINT>
RUN gcsfuse -o nonempty <BUCKET_NAME> <MOUNTING_POINT>

一旦它被挂载，你就可以upload the files to the SFTP 就像它们是本地文件一样。