使用 HDInsight hadoop 进行存储

Question

我非常想知道有关 hadoop hdinsight 的一个信息。

本文来自微软：https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-use-blob-storage/

说明 hadoop 在内部使用存储帐户来存储数据。

假设上面的信息是方法，那么hadoop和storage account有什么区别。 如果我只想存储文件等信息，我可以只使用存储帐户而不是创建 hdinsight hadoop？ 此外，如果 hadoop 'hadoopCluster' 使用存储帐户 'stgAccount' 是否意味着存储帐户 'stgAccount' 空间和 'hadoopCluster' 空间是否相同？

Answer 1

基本上在 HDInsight 部署中，您有两个部分：

1. 由多个头节点和工作节点（运行软件的虚拟机）组成的 HDInsight 群集
2. 用于存储数据的 Azure Blob 存储。

Azure Blob 存储是一种安全的分布式数据存储。无论您是否使用 HDInsight，都可以使用它。这只是一个有自己定价的云存储。因此，如果您只想将文件存储在云中，则绝对不需要 HDInsight。

HDInsight 群集不是。实际上，您会看到，例如直接存储在 Head 节点的磁盘上的任何内容都会偶尔消失。

HDInsight 群集可以访问您在创建群集时指定的存储，并且可以在该存储中读取/写入数据。

Answer 2

为了补充 benohead 的回复，您可以使用 Azure Blob store 作为存储或新发布的 Azure Data Lake Store (ADLS) - 这是用于大数据工作负载的高度可扩展和高性能存储。由于 HDInsight 将计算与存储分开，因此可以使用 VM 进行计算，使用 Azure 博客或 ADLS 进行存储。你可以使用 Azure Blob 或 ADLS，而无需使用 HDInsight 提供的计算。