如何使用帐户和帐户密钥创建具有 Azure WASB 存储的 Hive 表？答案

【问题标题】：How to create Hive table with Azure WASB storage using account and account-key?如何使用帐户和帐户密钥创建具有 Azure WASB 存储的 Hive 表？
【发布时间】：2020-01-20 01:16:27
【问题描述】：

以前我使用 AWS 并使用 presto 读取数据，现在移动到 Azure 并希望使用 blob 存储为不同的帐户创建配置单元表，但我无法创建它。我正在为以下格式的 aws 创建配置单元表。

CREATE TABLE hive.web.request_logs (
  request_time timestamp,
  url varchar,
  ip varchar,
  user_agent varchar
)
WITH (
  format = 'ORC',
  external_location = 's3a://key:secret-key@my-bucket/data/logs/'
)

我正在尝试以下 Azure 代码：

CREATE TABLE hive.web.request_logs (
  request_time timestamp,
  url varchar,
  ip varchar,
  user_agent varchar
)
WITH (
  format = 'ORC',
  external_location = 'wasb://account:account-key.blob.core.windows.net@my-bucket/data/logs/'
)

我希望为不同的帐户和帐户密钥创建用于 Azure blob 存储的配置单元表。

【问题讨论】：

标签： azure amazon-s3 hive analytics presto

【解决方案1】：

您需要通过 Ambari 修改配置以在 Hive 上创建外部表，该表映射到 Azure Blob 存储，如下所示：

可以按照以下步骤通过 Ambari 将存储帐户添加到现有集群

第 1 步：转到 Ambari 仪表板https://clustername.azurehdinsight.net/

第 2 步： 导航到 HDFS -->Config -->Advanced，向下滚动到 Custom core-site

第 3 步：选择添加属性并按以下方式输入您的存储帐户名称和密钥

HDFS >>自定义核心站点

Key => fs.azure.account.key.(storage_account).blob.core.windows.net

值 =>（存储访问密钥）

第 4 步： 导航到 HIVE => Config => Advanced，向下滚动到 Custom hive-env

第 5 步：选择添加属性并按以下方式输入您的存储帐户名称和密钥

Hive =>> 自定义 hive-env

密钥 => AZURE_STORAGE_ACCOUNT

值 =>（存储帐户名称）

密钥 => AZURE_STORAGE_KEY

值 =>（存储访问密钥）

第 6 步：从 Ambari 重启服务

希望这会有所帮助。

【讨论】：