HDFS、YARN、Zookeeper安装

选择自定义安装

2-HDFS、YARN、Zookeeper安装

选择安装服务

2-HDFS、YARN、Zookeeper安装

分配节点

2-HDFS、YARN、Zookeeper安装

集群设置全部选默认即可

2-HDFS、YARN、Zookeeper安装

自动启动进程

2-HDFS、YARN、Zookeeper安装

修改HDFS的权限检查配置

关闭HDFS中的权限检查:dfs.permissions。

2-HDFS、YARN、Zookeeper安装

配置Hadoop支持LZO

1)点击主机,在下拉菜单中点击Parcel

2-HDFS、YARN、Zookeeper安装

2)点击配置

2-HDFS、YARN、Zookeeper安装

3)找到远程Parcel存储库URL,点击最后一栏的加号,增加一栏,输入http://archive.cloudera.com/gplextras/parcels/latest/,之后点击保存更改

2-HDFS、YARN、Zookeeper安装

4)返回Parcel列表,可以看到多出了LZO,选择下载,下载完成后选择分配,分配完成后选择**

2-HDFS、YARN、Zookeeper安装

5)安装完LZO后,打开HDFS配置,找到“压缩编码解码器”一栏,点击加号,添加com.hadoop.compression.lzo.LzopCodec后保存更改

2-HDFS、YARN、Zookeeper安装

2-HDFS、YARN、Zookeeper安装

6)打开YARN配置,找到MR 应用程序 Classpath,添加/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/hadoop-lzo-cdh4-0.4.15-gplextras.jar

2-HDFS、YARN、Zookeeper安装

7)更新过期配置,重启进程

2-HDFS、YARN、Zookeeper安装2-HDFS、YARN、Zookeeper安装

 

 

相关文章:

  • 2021-07-26
  • 2022-12-23
  • 2022-01-12
  • 2021-05-01
  • 2021-08-13
  • 2022-12-23
  • 2022-01-07
  • 2021-12-07
猜你喜欢
  • 2021-10-18
  • 2022-12-23
  • 2022-02-23
  • 2022-12-23
  • 2022-01-07
  • 2022-12-23
相关资源
相似解决方案