Prediction.io - pio 火车因 OutOfMemoryError 而失败答案

【问题标题】：Prediction.io - pio train fails with OutOfMemoryErrorPrediction.io - pio 火车因 OutOfMemoryError 而失败
【发布时间】：2017-01-25 16:41:50
【问题描述】：

运行“pio train”后出现以下错误。它工作大约 20 分钟，在第 26 阶段失败。

[ERROR] [Executor] Exception in task 0.0 in stage 1.0 (TID 3)
[ERROR] [SparkUncaughtExceptionHandler] Uncaught exception in thread Thread[Executor task launch worker-0,5,main]
[ERROR] [SparkUncaughtExceptionHandler] Uncaught exception in thread Thread[Executor task launch worker-4,5,main]
[WARN] [TaskSetManager] Lost task 2.0 in stage 1.0 (TID 5, localhost): java.lang.OutOfMemoryError: Java heap space
  at com.esotericsoftware.kryo.io.Output.<init>(Output.java:35)
  at org.apache.spark.serializer.KryoSerializer.newKryoOutput(KryoSerializer.scala:80)
  at org.apache.spark.serializer.KryoSerializerInstance.output$lzycompute(KryoSerializer.scala:289)
  at org.apache.spark.serializer.KryoSerializerInstance.output(KryoSerializer.scala:289)
  at org.apache.spark.serializer.KryoSerializerInstance.serialize(KryoSerializer.scala:293)
  at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:239)
  at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
  at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
  at java.lang.Thread.run(Thread.java:745)

我们的服务器有大约30gb的内存，但是hbase+elasticsearch占用了大约10gb。

我们正在尝试处理由 Universal Recommender 创建的大约 2000 万条记录。

我尝试了以下命令来增加执行程序/驱动程序的内存，但没有帮助：

pio train -- --driver-memory 6g --executor-memory 8g

我们可以尝试哪些选项来解决此问题？是否可以在具有该内存量的服务器上处理该数量的事件？

【问题讨论】：

标签： apache-spark predictionio

【解决方案1】：

垂直扩展只能带您到此为止，但如果是 AWS，您可以尝试通过停止并使用更大的实例重新启动来增加可用内存。

CF 查看大量数据，由于 Spark 通过内存计算（默认情况下）获得速度，因此您需要足够的内存来保存分布在所有 Spark 工作人员中的所有数据，在您的情况下，您只有 1 个.

想到的另一件事是这是一个 Kryo 错误，因此您可以尝试稍微增加 Kryo 缓冲区大小，该大小在 engine.json 中配置

这里还有一个用于社区支持的 Google 群组：https://groups.google.com/forum/#!forum/actionml-user

【讨论】：