定时增量从ftp拉取数据

1.安装lftp

yum -y install lftp

2.shell脚本

--delete: 如果远程目录下已经没有某个文件，而目标服务器有，则删除这个文件。

--only-newer: 只下载新的文件。

如下：mirror --delete --only-newer --verbose /data/ftp /data/buildfarm，表示自动备份远处ftp服务器的 /data/ftp文件夹，到目标服务器目录的/data/buildfarm文件夹下，并且删除已经不存在的文件，并且只下载最新的文件，再给出详细的输出。

vim /data/ftp_download.sh

#!/bin/bash
 
lftp -u ftpname,ftpwd 172.28.21.246 << EOF
set net:timeout 5; 
set net:max-retries 3;
set net:reconnect-interval-multiplier 1; 
set net:reconnect-interval-base 5;
mirror --delete --only-newer --verbose /data/ftp /data/buildfarm
bye
EOF

3.定时执行

vim /etc/crontab

#每30秒执行一次
*/30 * * * * ? root /data/ftp_download.sh