正在测试的程序需要多次迭代(400+次),每次迭代有复杂的运算

迭代到100多次的时候报java.lang.stackoverflowerror的错误

解决方法:先checkpoint()再count(),切断rdd的lineage,防止因为DAG过深出现栈溢出

 

相关文章: