Apache Spark：如何更改 Spark 驱动程序监听的端口

Question

我正在尝试以 Yarn 作为主服务器以客户端模式运行 Spark 作业，但我遇到了一个特殊问题。日志显示 Yarn ApplicationMaster 正在等待 Spark 驱动程序可访问，然后在一段时间后抛出异常，指出 Yarn ApplicationMaster 未能连接到 10.60.18.77:34332 的驱动程序。现在，我知道 IP 是可访问的，但端口不是因为防火墙阻止了它。试图让管理员打开一个端口是乏味的。那么有没有办法让 Yarn 应用程序监听另一个端口，比如 20002，我知道它是开放的，而不是 34332？

Answer 1

你可以通过设置spark.driver.port=20002来做到这一点

例如，在您的 spark-submit 中，您可以使用类似的东西：

$ spark-submit --master yarn-client --conf spark.driver.port=20002 ....