H2O 使用大数据集大小

Question

允许我在 h2o 上使用的最大数据集大小是多少。

具体来说，数据集大小可以大于每个节点上的内存/磁盘空间。

我有大约 25 GB 磁盘空间和 40 GB 内存的节点，我想使用大约 70 GB 的数据集。

谢谢

得到错误：

Exception in thread "qtp1392425346-39505" java.lang.OutOfMemoryError: GC overhead limit exceeded

Answer 1

H2O 中没有最大数据集大小。要求由您创建的集群的大小定义。有更多关于如何告诉 H2O 你想要的最大堆大小的信息here。

如果您的数据集是 70G，而您的节点只有 40G RAM，那么您将不得不使用多节点集群。我们告诉人们的一般经验法则是，您的 H2O 集群应该是磁盘上数据大小的 3 倍。但是，它高度依赖于您使用的算法。

70G*3 = 210G，因此您可能想尝试 5 节点集群。或者，您可以从较少的节点开始，尝试运行您的代码并根据需要增加集群的大小。