在使用zeppelin 写 spark的代码的时候
会出现个问题,zeppelin创建的SparkContext对象会一直占用在集群中
如果spark集群没配置动态资源,这个对象就不会自动释放,一直占着资源,即使没有工作
在spark管理页面,手动kill后
如果再去zeppelin中执行spark操作,即会出现如下错误
感觉像是调不到SparkContext了
Cannot call methods on a stopped SparkContext.
若干小时后
这个问题有点刚了
现阶段想不到一个漂亮的套路,只能够重启zeppelin的方式去重建SparkContext
但是这样的话会让其他的用户无辜遭殃
所以搞个监控去自动重启,也不行。
天无绝人之路呀
后来看到官方的鸡爪
https://issues.apache.org/jira/browse/ZEPPELIN-1306
在0.7.*版本之后
可以实现对单独的note支持重启
程序开始运行
重新运行成功