从 Azure Blob 存储下载 parquet 文件。具有相同名称的文件和文件夹答案

【问题标题】：Downloading parquet files from Azure Blob Storage. File and folder with same names从 Azure Blob 存储下载 parquet 文件。具有相同名称的文件和文件夹
【发布时间】：2018-09-24 10:26:30
【问题描述】：

我在 Azure Blob 存储上创建了 parquet 文件。现在我想下载它们。问题是它一直失败。我认为这是因为它是一个具有相同名称的文件和文件夹。这是为什么？我只需要文件夹吗？既然文件只有0B？

我得到的错误看起来像：

说是因为已经下载了0B文件

【问题讨论】：

您收到的错误信息是什么？
同名文件和文件夹的存在是有原因的。 WASB 不像普通的 HDFS，它是一个不同的实现，这就是为什么 WASB 会自动创建文件夹名称的Block Blob。话虽如此，这不是您面临问题的原因。可以分享一下错误信息吗？
@SivaprasannaSethuraman 更新了 OP
@GauravMantri 更新了 OP
一个后续问题：这些文件夹是空的还是里面有一些文件？这也可能是该工具的问题。

标签： azure parquet azure-blob-storage

【解决方案1】：

如 cmets 中所述，您可能下载了 Block Blob 文件，而不是下载实际文件，这是一个 Azure 实现，用于在将 blob 存储用作文件系统时处理和提供类似 FileSystem 的访问权限（ Azure HDInsight 群集的 HDFS 由 Azure Blob 存储提供支持）。 Azure Blob Storage 和 AWS S3 等对象存储具有此类自定义实现，可提供（或模拟）类似无缝文件系统的体验。

简而言之，不要下载Block Blob。下载实际文件。

【讨论】：