在 zip 文件上分发大量文件的最佳方式

Question

我在分布式计算方面没有太多经验，但我想在 python 中创建一个脚本来将解压缩作业集中分发到 x 数量的服务器，从而使我免于经常登录到多个服务器上分发解压缩作业的麻烦文件共享。

什么是这类任务的最佳工具，我想在未来使用 hadoop，但我知道的不够多，我认为这可能不是这项工作的正确工具。我看过一些类似的帖子暗示 zeromq。只是在寻找什么工具最适合这样的工作的建议。

Answer 1

当您解压缩文件时，问题通常是 I/O 限制，而不是 CPU。因此，登录到多台服务器以解压缩同一共享上的文件只会堵塞托管该共享的（文件）服务器的网络连接。

另一方面，如果您尝试在不同的服务器上解压缩相同文件，则根本不需要 python。查看pssh 命令及其相关命令。