如何结束 Spark 提交和接受状态答案

【问题标题】：How to end Spark Submit and State Accepted如何结束 Spark 提交和接受状态
【发布时间】：2020-07-20 22:15:28
【问题描述】：

我正在使用 apache griffin 运行数据清理工作：https://griffin.apache.org/docs/quickstart.html

并在提交火花作业后

spark-submit --class org.apache.griffin.measure.Application --master yarn --deploy-mode client --queue default \ --driver-memory 1g --executor-memory 1g --num-executors 2 \ /home/bigdata/apache-hive-2.2.0-bin/measure-0.4.0.jar \ /home/bigdata/apache-hive-2.2.0-bin/env.json /home/bigdata/apache-hive-2.2.0-bin/dq.json

我的工作提交如下：

20/04/08 13:18:30 INFO yarn.Client：application_1586344612496_0247 的应用报告（状态：已接受） 20/04/08 13:18:31 INFO yarn.Client：application_1586344612496_0247 的应用报告（状态：已接受） 20/04/08 13:18:32 INFO yarn.Client：application_1586344612496_0247 的应用报告（状态：已接受） 20/04/08 13:18:33 INFO yarn.Client：application_1586344612496_0247 的应用报告（状态：已接受） 20/04/08 13:18:34 INFO yarn.Client：application_1586344612496_0247 的应用报告（状态：已接受） 20/04/08 13:18:35 INFO yarn.Client：application_1586344612496_0247 的应用报告（状态：已接受） 20/04/08 13:18:36 INFO yarn.Client：application_1586344612496_0247 的应用报告（状态：已接受） 20/04/08 13:18:37 INFO yarn.Client：application_1586344612496_0247 的应用报告（状态：已接受） 20/04/08 13:18:38 INFO yarn.Client：application_1586344612496_0247 的应用报告（状态：已接受） 20/04/08 13:18:39 INFO yarn.Client：application_1586344612496_0247 的应用报告（状态：已接受） 20/04/08 13:18:40 INFO yarn.Client：application_1586344612496_0247 的应用报告（状态：ACCEPTED）

永不停止：

当我检查纱线的状态时：

bigdata@dq2:~$ yarn application -status application_1586344612496_0231 20/04/08 13:16:31 INFO client.RMProxy: 在 /0.0.0.0:8032 连接到 ResourceManager 申请报告：应用程序 ID：application_1586344612496_0231 应用程序名称：batch_accu 应用类型：SPARK 用户：大数据队列：默认开始时间：1586348775760 完成时间：0 进度：0% 状态：接受最终状态：未定义跟踪网址：不适用 RPC 端口：-1 AM 主持人：不适用聚合资源分配：0 MB 秒，0 vcore 秒诊断：

工作没有变动，谁能帮帮忙....

【问题讨论】：

标签： apache-spark hadoop hadoop-yarn

【解决方案1】：

根据我的经验，导致此问题的原因可能有很多，但您应该首先进行以下检查：

您的防火墙可能会阻止 Hadoop 集群内节点之间的某些端口，因此计算永远不会启动。尝试暂时禁用专用接口的防火墙，然后再次尝试排除此问题（如果这是问题，请重新激活防火墙并确定您需要打开的端口！）
Spark 可能配置不正确（即资源需求）

【讨论】：