Doris与Hadoop yarn混合部署遇到的坑

Doris默认端口

Yarn 默认端口：

Doris与Hadoop yarn混合部署遇到的坑

如图，端口冲突，在混合部署的情况下，会出现2个问题：

1. Yarn ResourceManager启动不起来

解决办法：修改yarn.resourcemanager.scheduler.address的端口，具体做法为：

vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

添加或修改（如果已经配置了yarn.resourcemanager.scheduler.address，并保留原始端口),默认没有这个配置项的情况下，默认值为8030

    <property>  
        <name>yarn.resourcemanager.scheduler.address</name>  
        <value>palo253:8035</value>  
    </property>

修改为系统中任意没有被占用的端口，目的是解决8030端口的冲突问题。

或者修改doris fe.conf配置，将http port修改为其他端口

2. 在解决了1之后，yarn可以正常启动，但是一旦运行mapreduce任务，会发现一直mr任务一直hung，没有任何进展，原因是modemanager启动失败

解决办法:

a) 修改yarn-site.xml,添加yarn.nodemanager.localizer.address配置，配置为与8040不同的端口

vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

    <property>  
        <name>yarn.nodemanager.localizer.address</name>  
        <value>0.0.0.0:8046</value>  
    </property>

b) 修改 doris be.conf,将webserver_port修改为其他端口

Doris与Hadoop yarn混合部署遇到的坑