【问题标题】:Add Azure Data Lake account to existing HDInsight cluster将 Azure Data Lake 帐户添加到现有 HDInsight 群集
【发布时间】:2019-02-26 14:43:31
【问题描述】:
【问题讨论】:
标签:
azure-data-lake
azure-hdinsight
【解决方案3】:
ADLv1/v2 没有与上面发布的adding storage account to HDInsight 类似的指南。
但是,好消息是提供的 bash 脚本可以重复使用。
Bash 脚本执行bunch of steps,您只需要最后两个。
将缺少的自定义属性添加到updateAmbariConfigs 下的core-site.xml 文件中。
以下是使用 ADLv2 存储作为集群的附加存储所需的自定义属性:
fs.azure.account.auth.type.#yourADLv2storagename#.dfs.core.windows.net=OAuth
fs.azure.account.oauth.provider.type.#yourADLv2storagename#.dfs.core.windows.net=org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider
fs.azure.account.oauth2.client.endpoint.#yourADLv2storagename#.dfs.core.windows.net=https://login.microsoftonline.com/#yourtenantID#/oauth2/token
fs.azure.account.oauth2.client.id.#yourADLv2storagename#.dfs.core.windows.net=#yourApplicationRegistrationIDUsedForADLaccess#
fs.azure.account.oauth2.client.secret.#yourADLv2storagename#.dfs.core.windows.net=#clientSecretForAppRegistrationAbove#
然后,您可以将脚本存储在存储帐户中可公开访问的容器中,然后通过 GUI 或任何其他首选方式提交脚本。
【解决方案4】:
如果主存储帐户是 ADLS Gen2,您只能访问额外的 ADLS Gen2 存储。通常,您使用具有存储 Blob 数据所有者的用户管理标识来设置主存储。如果您随后转到另一个启用了 hns 的存储帐户并将“Storage Blob Data Contributor”的角色权限添加到相同的用户托管标识中,则集群将能够访问存储
hdfs dfs -ls abfs://<container>@<storageaccount>.dfs.core.windows.net