GNU Parallel：保持连接活跃答案

【问题标题】：GNU Parallel: keep connection aliveGNU Parallel：保持连接活跃
【发布时间】：2014-10-23 18:21:23
【问题描述】：

我正在使用 GNU Parallel 将 1000 个文件从 S3 下载到两个 EC2 主机 (-S:,R)，其中“R”是远程对等方的 IP。
使用 --jobs 64 从 S3 下载 64 个文件（相当大的文件）需要很长时间：

时间并行 --jobs 64 --joblog out.txt -S:,R --env HTTPS_PROXY --env S3_DIR "aws s3 cp ${S3_DIR}part-{}.gz /my/path/" ::: `seq -f "%05g" 0 1000`

结果，我得到了

远程主机关闭与 R 的连接。

这是由于远程对等方上的 sshd 配置，我无法更改这些设置（机器不是我的。）

查看文档，我找不到像keep-alive这样的东西。我该如何解决这个问题？谢谢。

【问题讨论】：

【解决方案1】：

您可能无法更改 sshd_config，但它通常会尊重 ssh 提供的选项：

ssh -o TCPKeepAlive ...

如果是这种情况，您可以让 GNU Parallel 使用不同的 ssh 命令：

parallel -S '/path/to/different/ssh_command -o KeepAlive server' echo ::: foo

【讨论】：