使用 Yarn 集群设置 Apache Spark答案

【问题标题】：Set up Apache Spark with Yarn Cluster使用 Yarn 集群设置 Apache Spark
【发布时间】：2023-03-09 12:41:02
【问题描述】：

我想使用 apache spark 集成 Yarn。我已经在我的电脑上安装了 spark、jdk 和 scala。我的数据保存在 Cassandra 数据库中。我还为从服务器创建了另一台服务器。

Spark 版本 - 2.1.0 斯卡拉版本 - 2.9.2 主人（我的电脑）（IP :192...01）从服务器(IP :192...02)

Spark 和 scala 也安装在我的从属服务器上。我需要在主服务器或从服务器上安装更多东西吗？如果全部安装，那么我应该如何配置使用 spark 集成 YARN。

实际上我正在使用集群管理器（YARN）创建一个字数统计程序。我的目标是在我的应用程序中使用 YARN。你可以给我更多的建议。请帮忙..

【问题讨论】：

【解决方案1】：

您需要安装 Hadoop 2x 才能合并纱线。这里是 link。
接下来，在集群模式下使用 Yarn 启动 spark $ ./bin/spark-submit --class path.to.your.Class --master yarn --deploy-mode cluster [options] <app jar> [app options]。您可以参考here

【讨论】：