使用 SFTP Inbound 重新下载本地删除的文件的程序是什么

Question

据此 doc 找不到从远程 SFTP 重新下载本地删除文件的正确进程。

要求是，删除已经从远程 SFTP 获取的本地文件，并在需要时使用 sftp-inbound-adapter (DSL configuration) 重新获取相同的文件。在这个实现中，MetadataStore 没有被持久化到任何外部系统，如 PropertiesPersistingMetadataStore 或 Redis 元数据存储。所以根据 doc，MetadataStore 存储在 In-Memory 中。

找不到任何方法从MetadataStore 中删除该远程文件的元数据，以便使用file_name 重新获取本地删除的文件。而且一点头绪都没有，这个removeRemoteFileMetadata()回调需要怎么实现（according to this doc）。

配置类包含以下内容：

    @Bean
    public IntegrationFlow fileFlow() {
        SftpInboundChannelAdapterSpec spec = Sftp.inboundAdapter(sftpConfig.getSftpSessionFactory())
                .preserveTimestamp(true)
                .patternFilter(Constants.FILE_NAME_CONVENTION)
                .remoteDirectory(sftpConfig.getSourceLocation())
                .autoCreateLocalDirectory(true)
                .deleteRemoteFiles(false)
                .localDirectory(new File(sftpConfig.getDestinationLocation()));

        return IntegrationFlows
                .from(spec, e -> e.id("sftpInboundAdapter").autoStartup(false)
                        .poller(Pollers.fixedDelay(5000).get()))
                .channel(MessageChannels.direct().get())
                .handle(message -> {
                    log.info("Fetching File : " + message.getHeaders().get("file_name").toString());
                })
                .get();
    }

Answer 1

我试图解决这个问题，我使用了Tanvir Hossain 的参考代码。我是这样编码的。

@Bean
public IntegrationFlow fileFlow() {
    SftpInboundChannelAdapterSpec spec = Sftp
            .inboundAdapter(sftpConfig.getSftpSessionFactory())
            .preserveTimestamp(true)
            .filter(sftpFileListFilter())
            .localFilter(systemFileListFilter())
            .remoteDirectory(sftpConfig.getSourceLocation())
            .autoCreateLocalDirectory(true)
            .deleteRemoteFiles(false)
            .localDirectory(new File(sftpConfig.getDestinationLocation()));

    return IntegrationFlows
            .from(spec, e -> e.id("sftpInboundAdapter").autoStartup(false)
                    .poller(Pollers.fixedDelay(5000).get()))
            .channel(MessageChannels.direct().get())
            .handle(message -> {
                log.info("Fetching File : " 
                        + message.getHeaders().get("file_name").toString());
            })
            .get();
}


private FileSystemPersistentAcceptOnceFileListFilter systemFileListFilter() {

    return new FileSystemPersistentAcceptOnceFileListFilter(store(), prefix);
}


private ChainFileListFilter<ChannelSftp.LsEntry> sftpFileListFilter() {

    ChainFileListFilter<ChannelSftp.LsEntry> chainFileListFilter = 
                                                new ChainFileListFilter<>();
    chainFileListFilter.addFilters(
            new SftpPersistentAcceptOnceFileListFilter(store(), prefix),
            new SftpSimplePatternFileListFilter(sftpConfig.getFileFilterValue())
    );
    return chainFileListFilter;
}

@Bean
public SimpleMetadataStore store() {
    return new SimpleMetadataStore();
}

我用于删除元数据的Controller 如下所示：

public class Controller { 

    private final SimpleMetadataStore simpleMetadataStore;

    public Controller(SimpleMetadataStore simpleMetadataStore) {

           this.simpleMetadataStore = simpleMetadataStore;

    }

    @GetMapping("/test/remove-metadata/{type}/{fileName}")
    @ResponseBody
    public String removeFileMetadata(
             @PathVariable("fileName") String fileName,
             @PathVariable("type") String type
    ) {
        String prefix = definedPrefix;
        String filePath = "";
        if(type.equals("local")){
            filePath = "/local/storage/path/" + fileName;
        }else if(type.equals("remote")){
            filePath = fileName
        }
        String key = prefix + filePath;

        simpleMetadataStore.remove(key);
        return key;
    }

}

我正在获取我想要的文件。它正在为我重新获取文件。

Answer 2

使用ChainFileListFilter、SftpSimplePatternFileListFilter 和SftpPersistentAcceptOnceFileListFilter。

使用SimpleMetadataStore 将状态存储在内存中（或其他一些MetadataStore）。

new SftpPersistentAcceptOnceFileListFilter(store, "somePrefix");

那么，store.remove(key) 其中key 是somePrefix + fileName。

在localFilter 和FileSystemPersistentAcceptOnceFileListFilter 中使用类似的过滤器。