从 azure 存储容器下载多个小文件时速度慢、延迟高答案

【问题标题】：Slow speed and high latency when downloading multiple small files from azure storage container从 azure 存储容器下载多个小文件时速度慢、延迟高
【发布时间】：2019-09-04 13:08:32
【问题描述】：

我正在尝试将 azure blob 存储容器的数据下载到我的机器上。它包含多个小文件，每个 12-60 KB。当我使用 Microsoft Azure Storage Explorer 应用程序时，它一次下载不超过数百个项目，然后暂停数十分钟，然后再尝试下载下一批。这使得下载速度大约低于 3 KB/s，非常可怕。

我也尝试过使用开源 npm 包下载容器文件，结果相似。

有没有办法减少延迟/提高速度？还是有更好的方法来下载所有容器数据？

【问题讨论】：

你能用 Cerebrata Cerulean - cerebrata.com 试试吗？与微软的 Storage Explorer 一样，它也是一个跨平台的 Azure 管理工具（但它是一个付费工具）。披露：我是 Cerebrata 团队的一员。
我真的不认为有什么办法可以加快下载速度。至少，根据我的经验——在多个小文件的类似情况下——我想不出办法。我认为它就是这样。
您的实例和 blob 存储在同一区域吗？或者你下载到本地机器？
@Jay - 不知道你在暗示什么。不同的存储帐户类型具有不同的吞吐量目标（v1 与 v2）。不同的工具以串行和并行方式运行（以及针对 REST API / SDK 进行编码）。除了尝试使用通用工具之外，OP 并没有真正提供任何细节。
@DavidMakogon 没错。可能在我的项目中我没有尝试不同的上传下载速度。我的立场是正确的。

标签： azure blob azure-storage

【解决方案1】：

实际上这取决于您（本地）机器的网络速度。因此，您可以尝试在同一区域创建一个小实例，然后下载到该实例。它会比你的本地机器快得多。然后尝试将全部文件和 ftp 归档回您的本地计算机。

【讨论】：

好评论，但不是真正的答案，因为我们不知道 OP 的情况发生了什么。