一个简单任务场景,业务对账,同时需要备份请求的对账文件(sftp服务),所以使用了一个强大的支持 
多种存储的工具rclone,然后定时自动同步到s3存储中,对于定时任务,使用jenkins(基于定时任务cron) 
使用jenkins的好处是灵活可以随意配置,同时我们系统已经有了好多构建节点,具有冗余性

参考图

jenkins+ rclone定时同步sftp数据到s3

 

 

操作流程说明

因为rclone的配置是可以复用的,所以配置好一个同时copy jenkins 的agent 就行了,具体创建的jenkins job 就是一个执行rclone shell 命令 
的自由job了,对于定时任务,我们可以使用jenkins 自带的定时触发机制,随意调整任务的构建了

说明

rclone 对于同步包含了copy 以及sync 命令,如果是打算源以及目的是一样的,直接使用sync就可以,对于目的可能会变,但是不像被删除的话 
可以使用copy

参考资料

https://github.com/rclone/rclone 
https://rclone.org/

相关文章:

  • 2021-06-01
  • 2022-01-20
  • 2022-12-23
  • 2021-09-16
  • 2022-01-12
  • 2021-08-20
猜你喜欢
  • 2022-12-23
  • 2021-10-18
  • 2021-08-30
  • 2021-06-07
  • 2021-08-29
  • 2021-12-15
相关资源
相似解决方案