在 Jupyter/Livy 中增加 Spark 应用程序超时

【问题标题】：Increasing Spark application timeout in Jupyter/Livy在 Jupyter/Livy 中增加 Spark 应用程序超时
【发布时间】：2019-08-27 02:26:01
【问题描述】：

我正在使用安装了 Jupyterhub 的共享 EMR 集群。如果我的集群负载过重，我会收到错误如何将 spark 应用程序的超时时间从 60 秒增加到 900 秒（15 分钟）？

【问题讨论】：

【解决方案1】：

将以下属性值设置为更大的数字

# How long the rsc client will wait when attempting to connect to the Livy server
# livy.rsc.server.connect.timeout = 60s

如果使用 YARN 作为资源管理器，当资源不可用时（应用程序尚未启动），应用程序会进入接受状态。
上面的值意味着 Livy 服务器可以等待资源可用的时间量。

【讨论】：

【解决方案2】：

我找到了调整超时的正确文件。

/etc/jupyter/conf/config.json

“livy_session_startup_timeout_seconds”：900

现在超时设置为 900 秒，而之前是 60 秒。

【讨论】：

这个答案需要更多细节。 /etc/jupyter/conf/config.json 默认不存在。 JSON 结构应该是什么样的？你应该把它放在对象的顶部吗？