【问题标题】:Fetch Data into HDInsight from an existing Storage Account从现有存储帐户将数据提取到 HDInsight
【发布时间】:2020-09-16 11:19:42
【问题描述】:

最初,我使用存储帐户在 Azure 中创建了一个 Hadoop HDInsight 集群。在 Ambari 门户中,我已连接到 hive 仓库并创建了一些示例表。 现在,我删除了 HDInsight 群集并创建了一个与以前的群集具有相同规格和区域的新群集。存储帐户已连接,但我看不到我之前创建的那些表。

谁能提供步骤或参考博客。

【问题讨论】:

  • 您是否使用自定义元存储创建了已创建的 HDInsight 群集?
  • 我在现有存储帐户上创建了 HDInsight

标签: azure hadoop azure-hdinsight azure-storage-account


【解决方案1】:

这是在您创建没有自定义元存储的 HDInsight 群集时的预期行为。

删除集群时是否会删除 Hive Metastore?

这取决于您的集群配置使用的元存储类型。

对于默认元存储:默认元存储是集群生命周期的一部分。删除集群时,相应的元存储和元数据也会被删除。

对于自定义 Metastore: Metastore 的生命周期与集群的生命周期无关。因此,您可以创建和删除集群而不会丢失元数据。即使在您删除并重新创建 HDInsight 群集后,您的 Hive 架构等元数据仍然存在。

参考:Use external metadata stores in Azure HDInsight

【讨论】:

  • 本文档使用 Azure SQL 数据库,我可以使用现有存储帐户中的表吗?它是 HDinsight 的一部分。
  • 我尝试了自定义 megastore 方法,在 Azure SQL 数据库中创建了一些示例表,但 HIve 无法获取这些表。
猜你喜欢
  • 1970-01-01
  • 2016-03-16
  • 1970-01-01
  • 2021-09-30
  • 1970-01-01
  • 1970-01-01
  • 2021-12-18
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多