【问题标题】:Spring Boot YARN how to deploy to HadoopSpring Boot YARN 如何部署到 Hadoop
【发布时间】:2017-05-30 11:21:10
【问题描述】:

我正在尝试运行 Spring Boot YARN 示例(Windows 上为https://spring.io/guides/gs/yarn-basic/)。但是示例使用本地 hadoop。在 application.yml 中,我将 fsUri 和 resourceManagerHost 更改为指向我的 VM 主机 192.168....

但它不起作用。 当我将 jar 移动到 VM 并运行时 - 它可以工作。但我想从我的主机上运行另一个节点(在我的情况下是 VM)。

还有一个问题:针对另一个真正的 Hadoop YARN 而不是本地运行我的应用程序的正确方法是什么?

我已经搜索、阅读、观看了很多信息,但没有关于部署的明确解释。

【问题讨论】:

    标签: java spring hadoop spring-boot hadoop-yarn


    【解决方案1】:

    问题中提供的教程链接适用于single node cluster,其中NamenodeResourcemanagerApplicationManagerdatanodeNodemanager 和所有其他YARN nodes 在同一本地计算机上运行。地址localhost:8020 在这种情况下有效。

    但正如您提到的目的是制作一个cluster,您必须确保只有一个namenoderesourcemanager

    如果您在configuration files 中定义localhost,则cluster 中的每个节点都将执行namenoderesourcemanagerhadoop 将会对报告和更新查询感到困惑。从而导致模棱两可的情况。

    解决方案是只定义一个namenoderesourcemanager,这可以通过在配置文件中指定namenode (master) 中的IPhostname 来完成。

    【讨论】:

      【解决方案2】:

      只需要正确的 Hadoop 配置,就我而言,它已在 this 帖子中修复。

      【讨论】:

      • 我也应该回答这个问题吗?)呵呵
      • 请回答这个问题:) @RameshMaharjan
      猜你喜欢
      • 2021-10-12
      • 1970-01-01
      • 2014-09-04
      • 2015-03-10
      • 2018-12-05
      • 2022-08-10
      • 1970-01-01
      • 2021-11-09
      • 2015-04-26
      相关资源
      最近更新 更多