如何在代码中设置纱线客户端？

Question

我想在我的 hortonworks 数据平台上运行我的 spark 应用程序。在这个设置中，我没有独立的 spark master，我想作为 yarn 客户端运行。

我正在尝试像这样创建 SparkSession：

SparkSession
    .builder()
    .master("yarn-client")
    .appName("my-app")
    .getOrCreate())

我知道我缺少一些属性来让运行我的纱线服务器的 spark 客户端，但我似乎找不到这些属性。

当前应用只是挂起初始化，没有错误或异常。

任何想法我错过了什么？

Answer 1

您似乎正在尝试在本地运行您的应用程序，而您的 Hortonworks HDP 在其他地方。

与 Spark 独立模式和 Mesos 模式不同，其中 master 的地址 在 --master 参数中指定，在 YARN 模式下 ResourceManager 的地址是从 Hadoop 配置中获取的。

因此，您的应用应该从 Hortonworks 本身运行，它具有所有 Hadoop 配置。