官方提供的hadoop-2.x版本貌似都是32位的,在64位机子下使用可能会报错,最好使用官方提供的源码进行本地编译,编译成适合本地硬件环境的64位软件包。

关于native

   Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries)的概念,通过本地库,Hadoop可以更加高效地执行某一些操作。

   native位于hadoop-2.x.x/lib/native目录下,仅支持linux和unix操作系统。

   hadoop中的zlib和gzip模块会加载本地库,如果加载失败,会提示:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

   可以在core-site.xml中配置hadoop.native.lib值是否使用本地库,默认值为true。

   官方提供的hadoop-2.x版本中,native文件都是32位编译的,在实际使用64位环境中,建议本地编译后再使用。

   参考:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/NativeLibraries.html

编译步骤

   本次编译环境:CentOS 5.5 + jdk7 + hadoop-2.6.0-src.tar.gz。为了加快编译过程,尽量将CentOS的内存设置的大一些,还有,编译过程中CentOS必须保持连网状态

1、安装JDK、maven、findbugs(可选步骤)

   实验版本:jdk-7u75-linux-x64.tar.gzapache-maven-3.0.5-bin.tar.gzfindbugs-3.0.0.tar.gz,分别解压到/usr/local目录下,然后配置环境变量:vi /etc/profile,配置内容如下:

export JAVA_HOME=/usr/local/jdk1.7.0_75
export MAVEN_HOME=/usr/local/apache-maven-3.0.5/
export FINDBUGS_HOME=/usr/local/findbugs-3.0.0/
export PATH=.:$MAVEN_HOME/bin:$JAVA_HOME/bin:$FINDBUGS_HOME/bin:$PATH
View Code

相关文章:

  • 2021-06-09
  • 2022-12-23
  • 2021-10-26
  • 2022-12-23
  • 2021-09-28
  • 2022-01-22
  • 2022-12-23
猜你喜欢
  • 2021-07-09
  • 2021-07-27
  • 2021-04-13
  • 2021-08-08
  • 2021-09-12
  • 2021-10-30
  • 2021-12-10
相关资源
相似解决方案