文件复制解决方案答案

【问题标题】：File Replication Solutions文件复制解决方案
【发布时间】：2010-09-10 07:34:44
【问题描述】：

考虑一个 Windows 托管的构建过程，该过程将定期将文件放到磁盘上，以复制到同一数据中心内的多个其他 Windows 服务器。其他机器将运行 IIS，并将这些文件提供给大众。

总的语料库大小将是数百万个文件，100 GB 的数据。它必须处理目标服务器上可能存在的争用、潜在链接，例如通过 WAN，冷启动干净的服务器

到目前为止我想到的解决方案：

已排队的系统和守护程序会定期唤醒并复制或作为服务运行。
SAN - 昂贵、复杂、更昂贵
ROBOCOPY，定时作业 - 简单但有效。许多内部/不确定状态，例如复制的地方，错误
现成的repl。软件 - 比 SAN 便宜，但仍然很昂贵
UNC 共享文件夹，没有 repl。更高的延迟，更低的成本 - 仍然需要集群解决方案。
DFS 复制。

其他人还用过什么？

【问题讨论】：

标签： file filesystems replication xcopy san

【解决方案1】：

我已经成功地使用了 rsync 脚本来完成这类工作，在我们的例子中是 1000 台机器。我相信有一个适用于 windows 的 rsync 服务器，但我没有在 Linux 以外的任何平台上使用过它。

【讨论】：

【解决方案2】：

尽管我们没有数百万千兆数据需要管理，但我们还是会在一夜之间在我们的主要公司及其海外代理机构之间发送和收集大量文件。我们使用 allwaysync 已经有一段时间了。它允许文件夹/ftp 同步。它有一个很好的界面，可以对文件夹和文件进行分析和比较，当然也可以安排时间。

【讨论】：

【解决方案3】：

UNC 共享文件夹和不复制有很多缺点，尤其是当 IIS 将使用 UNC 路径作为站点的主目录时。在压力下，您将遇到http://support.microsoft.com/default.aspx/kb/810886，因为与共享文件夹的服务器的同时会话数。此外，由于 IIS 需要扫描/索引/缓存（取决于 IIS 版本和 ASP 设置）UNC 文件夹，因此您会遇到 IIS 站点启动缓慢的情况。

我看到了非常有前途的 DFS 测试，没有显示上述限制。

【讨论】：

【解决方案4】：

我们在我的组织中使用 ROBOCOPY 来传递文件。它运行得非常流畅，我觉得值得推荐。

此外，您并没有做任何太疯狂的事情。如果您也精通 perl，我相信您可以编写一个快速脚本来满足您的需求。

【讨论】：

是的，我会将它们归为一类——控制台驱动的爬虫应用程序