intellij idea本地配置连接远程hadoop集群开发

自己研究大数据一年多了，虽然技术上有很多提高，但是有个问题就是一直没法使用本地联调集群，每次都是写完打包放到集群执行。最近发现可以本地直接连接远程联调，大大提高了开发效率，分享一下。

1、下载hadoop，配置到本地环境变量中，路径中最好不要有空格或下划线
环境变量：
intellij idea本地配置连接远程hadoop集群开发

2、修改项目的pom.xml

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>${hadoop.version}</version>
</dependency>

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>${hadoop.version}</version>
</dependency>

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-mapreduce-client-core</artifactId>
    <version>${hadoop.version}</version>
</dependency>

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
    <version>${hadoop.version}</version>
</dependency>
<dependency>
    <groupId>commons-cli</groupId>
    <artifactId>commons-cli</artifactId>
    <version>1.3.1</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>${hadoop.version}</version>
</dependency>

3、把集群中core-site.xml和hdfs-site.xml两个文件拿下来，放到项目中resources目录下

4、设置Intellij idea中运行变量：
intellij idea本地配置连接远程hadoop集群开发
这里的working directory设置为hadoop的安装地址。至于上面的Program arguments，这是设置运行时传递的参数，可以传值，直接编写到程序中也可以。
这个地方遇到了坑，网上都是设置的单机IP地址加端口，比如hdfs://192.168.xx.xx:9000/...这种样式的，我也一直测试但都是报不能连接9000端口。还一直以为自己哪里配错了。但是后来想明白了，既然是连接操作hdfs，那应该是8020端口，换了之后果然连通了。**如果这里用的是IP地址加端口，那resources中core-site.xml中也要使用同样的。**我这里使用的是集群名称的方式，resources中core-site.xml中也要使用同样的方式。如果两个不一样，会报错误。不建议使用IP的方式，假如配置使用的IP在启动的时候是standby角色的namenode，执行的时候会报不能写的错误，所以最好是使用hdfs://集群服务名这种方式。

5、这个时候执行会报错：Unable to load native-hadoop library for your platform… using builtin-Java classes where applicable，需要下载hadoop.dll，然后替换掉本地hadoop中bin目录下的文件。至于winutils.exe，我是没有替换也能正常执行，可换可不换。
下载地址：

https://download.csdn.net/download/a_bang/10769552

6、执行继续报错
org.apache.hadoop.security.AccessControlException: Permission denied: user=ZhOu, access=WRITE, inode="/app":root:supergroup:drwxr-xr-x，很明显是用户权限问题，网上找了一下，有很多解决方案，有兴趣的可以研究研究。这里提供一个简单的方案，就是不校验权限：修改hdfs-site.xml，本地和集群都要修改，然后集群还要重启namenode。

<property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>

7、做到这里，就可以正常执行了。不需要每次打包放到线上执行了。Spark项目也是一样的做法，只是把working directory设置为spark的安装路径即可。