rsync over ssh - 使用由 Paramiko 在 Python 中创建的通道

Question

我想使用 rsync 和 SSH（从 Python 程序中）从远程机器获取文件。

如何启动一个本地的 rsync 实例并将其引入我用 Paramiko 打开的 SSH 通道？

Answer 1

这是一个老问题，但在搜索“rsync over paramiko”时仍然是 Google 中的第一个热门问题，这里唯一被投票赞成的项目是与 OP 的问题无关的评论（该评论中的链接指向使用 Paramiko 不支持的 ControlMaster）。

在其中一个 Paramiko 演示 here 中有一个如何设置本地端口转发的示例。在pull request 中还有一个更易于使用的版本。您可以通过两种方式使用本地端口转发：

1. 使用 ssh 协议通过本地端口将 ad-hoc 本地端口转发到远程 ssh 服务器和 rsync。这相当于运行 ssh -L12345:localhost:22 remote-host 后跟 rsync --rsh 'ssh -p 12345' sourcedir/file localhost:/destdir/file。
2. 使用 rsync 协议通过本地端口将 ad-hoc 本地端口转发到 ad-hoc 远程 rsync 守护程序和 rsync。这类似于运行ssh -L12345:localhost:12345 后跟rsync sourcedir/file rsync://localhost:12345/module/destdir/file，不同之处在于您需要设置一个在12345 上运行的临时rsync 守护进程，其模块名称指向远程主机上的destdir。

我个人更喜欢上面的第二种方法，虽然它稍微复杂一些，因为它跳过了本地 ssh 客户端，并且还使用了我认为比使用 ssh 更有效的 rsync 协议。

使用上述拉取请求中的ForwardServer，代码看起来有点像这样（取决于Fabric）：

RSYNC_SPEC = """
port=12345
use chroot=false

[homedir]
log file=/tmp/rsync-ad-hoc.log
max verbosity=4
path=/home/{user}/
read only=false
"""

@task
def rsync(local_path, remote_path):
    """
    local_path: Absolute path to a local source
    remote_path: Relative path (from home directory) to a remote destination
    """
    with ForwardServer(0, "localhost", rsync_port, connections[env.host_string].get_transport()) as serv:
        local_port = serv.socket.getsockname()[1]
        run("killall rsync; rm -f /tmp/rsync-ad-hoc.log /tmp/rsync-ad-hoc.conf; :")
        put(local_path=StringIO(RSYNC_SPEC.format(user=env.user)), remote_path="/tmp/rsync-ad-hoc.conf", )
        run("rsync --daemon --config /tmp/rsync-ad-hoc.conf")
        remote_rsync_path = os.path.join("rsync://localhost:%s/homedir" % local_port, remote_path)
        # Rsync expects the root of the destination to exist.
        run("mkdir -p /home/{user}/{path}".format(user=env.user, path=remote_path))
        logging.info("Attempting rsync from (localhost, %s, %s) to (%s, %s, %s)", local_port, local_path, env.host_string, rsync_port, remote_path)
        local("rsync -avzPh --delete %s/ %s/" % (local_path, remote_rsync_path))

您还可以让函数采用远程绝对路径并为模块生成目录（而不是假设它是相对于用户的主目录）。

Answer 2

我在使用 paramiko 和 rsync 时遇到了我无法解决的问题。我经常使用这个典型的框架成功地将 paramiko 与许多其他命令（例如 mkdir、mpstat、服务、本地 python 程序等）一起使用：

    client = paramiko.SSHClient()
    client.set_missing_host_key_policy(paramiko.AutoAddPolicy())
    client.connect(domain, username="root",timeout=5)

    stdin, mpstat, stderr = client.exec_command('mpstat')
    x=mpstat.readlines()
    # process the lines as though it is a file

关于 rsync，我没有追求 paramiko 解决方案，而是恢复为：

    x='''ssh root@%s "rsync -aRzq root@%s:%s /root/Backups/%s/%s " \
      '''%(BackupServerIP, ServerIP, file, Service, Server)
    os.system(x)

我通常更喜欢 paramiko，因为它很容易处理它的输出，所以我很想知道将它与 rsync 一起使用是否有问题，或者我坚持的时间不够长。