Spark 应用程序在接受状态很长时间后失败。日志说 Socket 超时异常

Question

我在具有 1 个名称节点、2 个数据节点和 1 个资源管理器节点的集群上运行 Hadoop 3.2.2。我尝试在集群模式下运行 sparkpi 示例。 spark-submit 是从我的本地机器完成的。 YARN 接受该工作，但应用程序 UI 显示 this。在我提交工作的终端中，它说 2021-06-05 13:10:03,881 INFO yarn.Client：application_1622897708349_0001 的应用报告（状态：已接受） 这将继续打印，直到失败。失败后打印

我尝试将 spark.executor.heartbeatInterval 增加到 3600 秒。仍然没有运气。我还尝试从 namenode 运行代码，认为我的本地机器一定有一些连接问题。我仍然无法运行它

Answer 1

找到了答案，尽管我不知道它为什么有效！将私有 IP 地址添加到 AWS 中的安全组就可以了。