Azcopy 将数百万个小 Blob 从存储帐户复制到您的 VM答案

【问题标题】：Azcopy Copy Millions of Small Blob from storage account to your VMAzcopy 将数百万个小 Blob 从存储帐户复制到您的 VM
【发布时间】：2021-06-11 07:36:21
【问题描述】：

我正在尝试使用 azcopy 命令将数百万个小型 csv 文件从我的存储帐户复制到物理机，但我注意到速度非常慢。

azcopy 命令的格式是 Azcopy 复制 --recursive --overwrite=True

并且命令是从物理机运行的。

有没有一种方法可以让 azcopy 同时下载多个 blob？而不是一一检查blob？我相信这就是为什么速度下降到 1 mb/秒这样低的值的原因，因为它正在对这些非常小的 blob 进行一一检查。或者是否有其他方法可以提高这种 blob 传输的速度？

【问题讨论】：

标签： azure etl azcopy

【解决方案1】：

azcopy 使用并行处理等针对吞吐量进行了高度优化。我还没有遇到任何可以为您提供更快下载速度的工具。根据我的经验，主要的限制因素通常（显然）是网络带宽，还有 CPU 能力。它使用大量计算资源。那么您是否可以至少在下载期间在您的虚拟机上增加这两个？

【讨论】：

你能指出我在哪里可以阅读有关网络带宽和增加 CPU 的信息
你的虚拟机在哪里？天蓝色？
登陆位置是物理机，hadoop集群的边缘节点