火花端口可用性答案

【问题标题】：Spark port availaibility火花端口可用性
【发布时间】：2019-11-27 00:58:23
【问题描述】：

由于某些限制，我的 spark 代码需要在客户端模式下运行，并且集群被其他几个应用程序使用。我经常遇到以下问题：

ARN util.Utils：服务“SparkUI”无法绑定端口 4040。正在尝试端口 4041。

这发生了 16 次，maxRetries 的默认值。由于某些业务限制，我无法更改或将其与 spark.ui.port + maxRetries 一起使用。

现在，主要问题：

发生这种情况后，应用程序不会正常退出，它只是退出，因此很难为用户排除故障，因为标准输出日志中没有异常，它们只是停止。用户不检查火花日志。

有什么方法可以检查 Spark 是否成功绑定到某个部件，如果没有，则抛出异常？我到处搜索，但找不到解决方案。

谢谢！

【问题讨论】：

标签： java apache-spark

【解决方案1】：

例如，您可以编写一个 shell 脚本来执行此操作

seq=16
count=0
for i in $(seq 4040 $END); 
do
if lsof -Pi :$i -sTCP:LISTEN -t >/dev/null ; then
    count=`expr $count + 1`
else
    echo "not running"
fi;
done
if count == 0 <spark-submit>

【讨论】：