AzureStack是Azure的私有云解决方案。AzureStack可以帮助用户实现混合云的部署模式。

AzureStack混合云大数据解决方案

本文将介绍混合云的模式下,Azure作为计算资源,AzureStack作为存储资源。如下图:

AzureStack混合云大数据解决方案

在Azure上我们创建Hadoop的计算资源,在AzureStack上创建存储账户,把需要分析的数据存储在Azure Stack上。把Hadoop的存储采用wasb协议指向AzureStack的存储账号。

具体部署过程如下:

一 在AzureStack上创建存储账户

在AzureStack的portal页面上创建一个存储账户:hdisa

AzureStack混合云大数据解决方案

二 在Azure上创建Hadoop集群

1 选择HDInsight Clusters

AzureStack混合云大数据解决方案

2 选择Linux Hadoop集群

AzureStack混合云大数据解决方案

3 选择创建一个新的Storage Account,在创建完成后,这个账户会被替换掉

AzureStack混合云大数据解决方案

4 验证,并创建

AzureStack混合云大数据解决方案

三 更改hadoop的存储账户

1 登录Hadoop的头节点

Portal上获取登录信息:

AzureStack混合云大数据解决方案

AzureStack混合云大数据解决方案

2 下载更改hadoop存储账户的脚本

wget https://hdiconfigactions.blob.core.windows.net/linuxaddstorageaccountv01/add-storage-account-v01.sh

3 把global的存储的endpoint改成AzureStack的endpoint

打开add-storage-account-v01.sh文件,进行更改:

:%s/blob.windows.net/blob.shanghai.xxxx.com/gc

共有6个需要更改,另外还有一个是链接地址,不需要更改。

另外Storage Validate的部分注释掉,55行到59行:

AzureStack混合云大数据解决方案

108-115行的怪字符也删除掉:

AzureStack混合云大数据解决方案

运行这个脚本:

AzureStack混合云大数据解决方案

…………

存储账户就加好了。

4 把这个存储账户设置为默认账户

vim /etc/hadoop/conf/core-site.xml

AzureStack混合云大数据解决方案

5 重启服务

打开HDInsight的Ambari Views:

AzureStack混合云大数据解决方案

AzureStack混合云大数据解决方案

AzureStack混合云大数据解决方案

 

可以用命令行查看存储的情况:

AzureStack混合云大数据解决方案

可以看到container内的文件:

AzureStack混合云大数据解决方案

查看文件内容:

AzureStack混合云大数据解决方案

四 总结

通过在Azure上创建Hadoop的集群,挂载AzureStack上的存储账户,可以实现敏感数据不出数据中心的混合云部署模式。

相关文章:

  • 2022-01-22
  • 2021-10-17
  • 2021-11-23
  • 2021-12-14
  • 2021-11-17
猜你喜欢
  • 2021-07-13
  • 2021-05-07
  • 2021-11-21
  • 2021-04-26
  • 2021-03-31
  • 2021-07-07
  • 2021-11-14
相关资源
相似解决方案