安全地使用管道传输 FTP 文件答案

【问题标题】：FTP File Transfers Using Piping Safely安全地使用管道传输 FTP 文件
【发布时间】：2013-03-19 07:15:59
【问题描述】：

我有一个文件转发系统，其中一堆文件被下载到一个目录，解复用并复制到各个机器。当主服务器接收到文件时，它们会被转发。文件通常会以突发形式到达。（通过 ssh 密钥进行身份验证）

此脚本创建 sftp 会话，并使用管道监视 fifo 管道的头部。

HOST=$1
pipe=/tmp/pipes/${HOST%%.*}
ps aux | grep -v grep | grep  sftp | grep "user@$HOST" > /dev/null
if [[ $? == 0 ]]; then
    echo "FTP is Running on this Server"
    exit
else
    pid=`ps aux | grep -v grep | grep  tail  | tr -s ' ' | grep $pipe`
    [[ $? == 0 ]] && kill -KILL `echo $pid | cut -f2 -d' '`
fi
if [[ ! -p $pipe ]]; then
    mkfifo $pipe
fi
tail -n +1 -f $pipe | sftp -o 'ServerAliveInterval 60' user@$HOST > /dev/null &
echo cd /tmp/data >>$pipe #Sends Command to Host
echo "Started FTP to $HOST"

更新：我最终将清理代码更改为使用“ps aux”来查看 ftp 会话是否正在运行，以及随后 tail -f 是否仍在运行。分别按 user@host 和管道名称进行 Grep。这是在调用脚本时完成的，并且每当我尝试上传文件时都会调用该脚本。
即：

FILENAME=`basename $1`
function transfer {
    echo cd /apps/data >> $2 # For Safety
    echo put $1 .$FILENAME >> $2
    echo rename .$FILENAME $FILENAME  >> $2
    echo chmod 0666 $FILENAME  >> $2
}
./ftp.sh host
[ -p  $pipedir/host ] && transfer $1 $pipedir/host

在主服务器上接收到的文件被 Incron 捕获，它将一个 put 命令和可用文件的位置写入 fifo 管道，由 sftp 发送（也执行重命名）。

我的问题是，这安全吗？这会在 ftp 错误/事件上崩溃吗？不太担心登录错误。
目标是减少 ftp 登录次数。单个会话/分钟（或更多）间隔。
并允许在收到文件时转发它们。动态命令。如果可能的话，我更喜欢使用标准的 ubuntu 库。

编辑：在测试和解决一些问题后，服务器只是运行

[[ -p $pipe ]] && echo FTP is Running on this Server
ln -s $pipe $lock &> /dev/null || (echo FTP is Running on this Server && exit)
[[ ! -p $pipe ]] && mkfifo $pipe
( tail -n +1 -F $pipe & echo $! > $pipe.pid ) | tee >
        ( sed "/tail:/ q" >/dev/null && kill $(cat $pipe.pid) |& rm -f $pipe >/dev/null; )
        | sftp -i ~/.ssh/$HOST.rsa -oServerAliveInterval=60 user@$HOST &
rm -f $lock

它相当简单，但效果很好。

【问题讨论】：

哇...我第一次见到 '|&' ;) ...但我们（我和我的 bash 安装）不懂 'tee >'

标签： bash ftp sftp

【解决方案1】：

您可能有兴趣建立一个更简单（和强大）的同步基础架构：如果文件到达时给定主机未连接...它永远不会收到它（如果我正确理解您的代码）

我会做类似的事情

 rsync -a -e ssh user@host:/apps/data pathToLocalDataStore

在客户端机器上定期或通过事件...rsync 智能地通过时间戳和大小同步文件（-a 包含 -t）

该事件将是一些进程终止，例如：客户端会（在 ~/.ssh/config 中为主机配置私钥使用）：

#!/bin/bash
while :;do
  ssh user@host /srv/bin/sleepListener 600
  rsync -a -e ssh user@host:/apps/data pathToLocalDataStore
done

在服务器上 /srv/bin/sleepListener 是指向 /bin/sleep 的符号链接服务器收到新文件后：

killall sleepListener

注意：每 10 分钟执行一次全面检查...如果节点离线/在线也没关系...

【讨论】：