AzCopy 是否可以直接从 HDFS 而不是从本地存储将文件传输到 Azure？答案

【问题标题】：Can AzCopy trasnfer files to Azure directly from HDFS instead of from local storage?AzCopy 是否可以直接从 HDFS 而不是从本地存储将文件传输到 Azure？
【发布时间】：2019-06-27 19:57:08
【问题描述】：

我想我有一个相当直截了当的问题。我正在使用托管在 Unix 机器上的 Hadoop 集群。我需要将 ORC 文件从这个 Hadoop 集群传输到 Azure BLOB 存储。

如果我在托管 Hadoop 集群的 Unix 计算机上安装 AzCopy，我是否能够在 HDFS 和 Azure 之间来回传输文件？

我在互联网上看到的所有信息都只涉及本地存储到 Azure 之间的传输。所以，我仍然对从 HDFS 到 Azure 的传输感到困惑。

有人可以帮我解决这个关于 AzCopy 的困惑吗？会有很大的帮助。提前致谢。

【问题讨论】：

标签： azure hadoop hdfs azure-blob-storage

【解决方案1】：

你可以只使用 distcp 来做这件事。从这里查看解决方案（我只是颠倒了参数的顺序）https://stackoverflow.com/a/54514602/1537195

hadoop  distcp -D fs.azure.account.key.<account name>.blob.core.windows.net=<Key> hdfs://<hdfs path> wasb://<container>@<account>.blob.core.windows.net<path to wasb file>

【讨论】：

但是distcp 不是仅用于传输到 HDInsight 群集 (WASB) 吗？我的 Hadoop 群集未托管在 Azure Data Lake 上。它在一个单独的 Unix 机器上。 distcp 还会为我工作吗？这是我一直困惑的事情之一。
不，wasb 驱动程序应该或多或少包含在所有正常的 hadoop 集群中。见这里：gerardnico.com/azure/wasb（点：7 - 代码）
WASB 与 HDinsight 无关，仅与 Azure Blob 存储有关。
好的。感谢您的澄清。所以，下面的命令（我刚刚从你的答案中更改了源和目标）hadoop distcp -D fs.azure.account.key.<account name>.blob.core.windows.net=<Key> hdfs://<hdfs path> wasb://<container>@<account>.blob.core.windows.net<path to wasb file> 应该将文件从我的 Hadoop 集群传输到 Azure Blob，对吗？