在 QDS 上运行命令时如何更改超时值答案

【问题标题】：How to change the timeout value when running commands on QDS在 QDS 上运行命令时如何更改超时值
【发布时间】：2020-10-06 20:12:50
【问题描述】：

我有一个调用我的 python 脚本的 spark-submit 命令。代码运行超过 36 小时，但是由于 36 小时的 QDS 超时限制，我的命令在 36 小时后被终止。

谁能帮我把这个参数值改成50小时？这就是我在 QDS 中调用脚本的方式

/usr/lib/spark/bin/spark-submit s3:///abc.py

【问题讨论】：

【解决方案1】：

我们无法将时间限制配置为超过 36 小时限制。但是我们可以取消对 spark 命令的这个限制。为了从 Analyze/Notebooks 运行 Spark 应用程序，您需要在集群启动之前执行以下操作：

在 Hadoop Configuration Overrides 中编辑集群配置并更新以下配置

yarn.resourcemanager.app.timeout.minutes=-1

在 Spark Configuration Overrides 中编辑集群配置并更新以下配置

spark.qubole.idle.timeout=-1

如果这有帮助，请告诉我。此外，如果您没有运行流式应用程序，并且您的 spark 应用程序正在处理/访问的数据并不庞大，那么您可能还希望通过一些性能调整来减少应用程序的运行时间（从而可能会减少运行时间不到 36 小时），在这种情况下不需要取消 36 小时限制。

【讨论】：

嗨，我尝试了这两种设置，现在我的工作在 32 小时后被终止了。我厌倦了 o 运行我的工作 2 次，并且两次都在 32 小时后因气流错误而被杀死，因为我正在使用气流诊断调用我的命令：从 qds.airflow.service@ni.com 收到的终止作业 job_1592584595666_0001 (auth:SIMPLE) 在 10.192.19.5 作业在 RUNNING 状态下收到 Kill。
@Trupti 您是否介意通过 Qubole 支持创建一张包含有关此问题的详细信息的票证。我们将进一步研究以进一步调试。另外，还有一个问题 - 您是否在 Airflow 集群或计划应用程序的集群中设置了上面建议的设置？
另外，还有一件事，我们需要从我们的后端启用一个功能标志，以便为您的帐户/集群启用它。因此，要求使用 Qubole 创建支持票。
我已经打开了 Qubole 支持票。要回答您的问题“您是否在 Airflow 集群或计划应用程序的集群中设置了上面建议的设置？”我已经在运行我的代码的集群中设置了上面建议的设置
知道了，谢谢@Trupti，因为它需要从后端启用功能标志以及您可以在上面执行的建议。我希望这会有所帮助。