从 Cassandra 3.7 读取数据时，许多火花工作者退出答案

【问题标题】：Many spark worker exit when read data from Cassandra 3.7从 Cassandra 3.7 读取数据时，许多火花工作者退出
【发布时间】：2016-09-11 00:34:25
【问题描述】：

我的 Spark 在 Java1.7 上运行，但我的 cassandra 在 Java 1.8 上运行。当 Spark 从 Cassandra 读取数据时，一开始很多工作退出并出现以下错误消息：

OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00007f338d000000, 21474836480, 0) failed; error='Cannot allocate memory' (errno=12)
#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (malloc) failed to allocate 21474836480 bytes for committing reserved memory.
# An error report file with more information is saved as:
# /tmp/jvm-18047/hs_error.log

但是剩下的工人还是运转良好，终于可以顺利完成工作了。所以我想知道我是否应该为他们两个使用相同的JDK版本，但他们通过套接字通信，它不应该是JDK版本问题。

【问题讨论】：

标签： apache-spark cassandra

【解决方案1】：

这看起来更像是导致 Spark Executor JVM 过载。它试图获得 21 GB，但操作系统说没有那么多 RAM。您总是可以尝试减少执行程序的允许堆？

【讨论】：