多二进制文件同步答案

【问题标题】：Many binary files synchronization多二进制文件同步
【发布时间】：2011-02-11 12:00:31
【问题描述】：

我在办公服务器上有大约 100 000 个文件（图像、pdf 等...）每天文件数量增加约 100-500 项，约 20-50 个旧文件更改。

将 Web 服务器与这些文件同步的最佳方法是什么？ Mercurial，GIT等任何系统都可以提供帮助吗？（在办公服务器上，我会提交更改，网络服务器会定期更新）？

第二个问题是，在 Web 服务器上我有用户生成的内容（二进制文件）（其他文件）。该用户每天上传大约 1000-2000 个新文件。旧文件不会改变。我需要将这些文件备份到本地机器。在这种情况下，像 Merurial、GIT 这样的系统可以提供帮助吗？（在网络服务器上我将通过 cron 提交这些文件，在本地机器上我将进行更新）

谢谢

更新。

Office 服务器是 Windows Server 2008 R2 网络服务器是 Debian 5 lenny

【问题讨论】：

标签： mercurial synchronization binaryfiles

【解决方案1】：

最简单和最可靠的机制（根据我的经验）是 rsync。

然而，在 Windows 上，由于 Cygwin 与命名管道交互的问题，rsync over ssh 被严重破坏。 rsync 通过它自己的协议工作（只要你不关心加密），但我在让 rsync 一次作为 Windows 服务持续超过几天时遇到了很多问题。 DeltaCopy 是一个在后台使用 rsync 工具的 Windows 应用程序；它似乎工作得很好，虽然我还没有尝试过 ssh 选项。

【讨论】：

现在 rsync 花了大约 4 个小时在 office 和 web 服务器之间进行同步。对我来说很长。但是系统是在2000年构建的，可能我必须升级它:)
你是第一次运行 rsync，还是每次运行？
您是否在源和接收器之间使用 rsync 协议（直接或通过 ssh）？如果您通过本地安装的文件共享使用 rsync，它可能不会给您带来太多好处。
我不知道，因为这个系统是 10 年前由第三方制作的。这就是为什么我要求使用一些新系统来完成这项任务。

【解决方案2】：

在这种情况下，DVCS 不是一个好的解决方案：它会保留您并不总是需要的所有历史记录，并且会使任何克隆大量操作。

如果您需要某种具有与二进制文件关联的完整性检查的版本控制，则artifact repository like Nexus 更适合。
否则（无版本控制），一个简单的rsync 像Marcelo proposes 就足够了。

【讨论】：