在 SQL 数据库服务器之间复制/传输 Tera 字节数据的最快方法答案

【问题标题】：Fastest Way to copy/transfer Tera bytes of data between SQL Database Servers在 SQL 数据库服务器之间复制/传输 Tera 字节数据的最快方法
【发布时间】：2017-06-21 14:57:54
【问题描述】：

我正在寻找一种最有效、最快捷的方式将海量数据从位于欧洲的 SQL Server 传输到位于美国的 SQL Server。

传统方式需要更长的时间。

链接服务器
SQL 大容量复制或 BCP
SQL 数据库复制
SQL 导入向导

云是一种选择，但它会带来数据隐私问题。我不是在寻找使用备份和恢复或通过硬盘传输的离线副本。

谁能提出解决这个问题的最佳方法？

【问题讨论】：

Sneakernet 是一种选择，尤其是如果您仍然有人旅行。
这很可能是网络带宽问题，而不是“复制技术”问题。分析您的网络容量并使用它来计算您可以实现的最快复制时间。您当前的时间距离理想时间有多近？如果它们非常接近，那么您可能无能为力。
这不仅仅是带宽问题，尤其是在尝试使用基于 TCP 的协议（如 FTP、SCP 或 HTTP[S]）时。即使带宽很大，TCP 在高延迟连接上的性能也很差。

标签： sql-server performance server data-transfer bigdata

【解决方案1】：

您可以要求来自欧洲的公司以高清格式备份所有内容并安全运送。我的工作就是这样做的。从洛杉矶运送 Oracle 数据库副本

【讨论】：

根据this article 的说法，带有U 盘的鸽子可以加快宽带连接速度。（一个幽默的夸张强化了你的观点）
对不起，我不是在寻找离线传输。但如果有人能接受，这是个好主意。

【解决方案2】：

方案一：使用压缩的数据库全备份文件

完整备份数据库
压缩备份文件并使用 zip 工具将其拆分为 500MB（或更小）的小块。

注意：您可以使用 SSMS 或 T-Sql 脚本在一个或多个位置通过压缩保存约 60% 的多个文件，并且将使用多个线程。这可以使备份花费更少的时间，并且无需使用 zip 工具。

将文件托管在 ftp 服务器或 http 上传服务器中
使用http /ftp协议从源http/ftp复制数据文件
在目标服务器中解压文件并组成一个备份文件
恢复数据库

更新：

备选方案 2：使用压缩的 bcp 文件

SQL 大容量复制或 BCP 作为本机数据输出
使用 zip 压缩文件
ftp 服务器或 http 上传服务器中的主机文件
使用 http/ftp 协议从源 http/ftp 复制文件
在目标服务器解压文件
从数据文件 bcp in

注意：
- 您可以使用批处理文件或 Powershell 脚本来自动执行这些任务
- 网络速度由服务提供商的网络速度控制，请联系您的互联网服务提供商以获得最大速度。
- 我们避免了源/目标Sql服务器之间的在线交互，避免了网络超时。

【讨论】：