在服务器之间快速传输大数据[关闭]

Question

这是一个常见的问题，但在谷歌上搜索会产生很多废话。

随着数据量越来越高，以及处理能力和云计算能力，我们见证了对快速数据传输技术的日益增长的需求，这些技术能够通过传播/移动/共享这些数据来释放所有可用数据的力量不同的服务器/客户端。

在我们的例子中，我们正在记录实时二进制数据（每天 50 Gig），我们需要每天向订阅者上传/下载它（是的，每个订阅者服务器都需要在本地获取所有数据，例如计算和各种数据分析的东西）

简而言之，目前有哪些选择可以在远程 Windows 服务器之间快速传输大量数据（VPS、云，具有“相当”一致的带宽 -（光纤一边））

这是一个悬而未决的问题。无论协议如何，每个想法都受到欢迎。

Answer 1

通过网络发送和接收数据的挑战是多方面的。

1. 网络带宽是最大的限制因素，在应用程序级别您几乎无能为力（偶尔压缩数据除外，即使在这种情况下，压缩率也决定了获得）。所以更快的网络是首选。

2. 某些协议更适合传输某些类型的文件/数据。例如 http 是一个基于文本的协议，并不适合二进制和大内容。但是，由于它是最流行的网络协议，需要通过网络发送二进制内容，因此像encoding and chunking 这样的技术已经发展起来。如果您的数据按 GB 顺序排列，那么 HTTP 真的不是选择。

3. FTP 是用于通过网络传输文件的最流行的协议，它专门用于传输文件。有几个 FTP 扩展，如 GridFTP、bbftp，它们非常专门设计用于大数据传输。

4. BitTorrents 是另一个可以探索的选项。 Facebook 使用 BitTorrent 将二进制文件推送到服务器（数以万计）。

你的问题是非常开放的，我受到我的经验的限制:)。 Here is link我找到了哪些大数据传输的交易。希望对您有所帮助。