AWS EMR Python 进程异常退出错误答案

【问题标题】：AWS EMR Python process is abnormally exited errorAWS EMR Python 进程异常退出错误
【发布时间】：2021-11-07 18:03:58
【问题描述】：

当我尝试使用 Spark 在 AWS EMR Zeppelin 中运行以下代码时：

%spark.pyspark
knn_imputer = KNNImputer()
pre_stage_1.iloc[:, :] = knn_imputer.fit_transform(pre_stage_1.toPandas())

我收到以下错误：

Python process is abnormally exited, please check your code and log.

pre_stage_1 是一个包含大约 1000000 行的数据集。

我该如何解决？

【问题讨论】：

欢迎来到 SO。请添加导致进程退出的 stracktrace 或将日志上传到某处并将其链接到此处。这是在黑暗中盲目拍摄，但我会检查执行程序的内存大小以及分配给 Python 使用的内存大小。这可能是OOM。通常，yarn/调度程序会自动终止消耗所有内存的进程。

【解决方案1】：

我最近收到此错误，已通过重新启动 Spark Interpreter 得到修复。

（为了调试，我注释掉了我的原始代码并尝试print('hi')，它给出了同样的错误，所以我知道这不是我试图运行的代码的问题）

【讨论】：