使用 Weka 上传大（8GB）文件问题

Question

我正在尝试将 8GB 文件上传到 weka 以使用 Apriori 算法。服务器配置如下：- 它的 8 处理器服务器在每个物理地址空间 = 40 位和虚拟地址空间 = 48 位中有 4 个内核。它是一个 64 位处理器。

物理内存 =26GB 和 SWAP =27GB

JVM = 64 位。我们使用 XmX 选项为 JVM Heap 分配了 32GB。我们担心的是加载这么大的文件需要很长时间（大约 8 小时），java 正在使用 107% 的 CPU 和 91% 的内存，它没有显示内存不足异常，weka 显示从文件读取。

请帮助我如何处理大文件以及这里到底发生了什么？

问候， 阿尼克特

Answer 1

我无法与 Weka 交谈，我不知道您的数据集，也不知道其中有多少元素。元素的数量就像在 64b JVM 中一样重要，指针很大，而且它们加起来。

但不要创建大于物理 RAM 的 JVM。 Swap 根本不是 Java 的选项。交换 JVM 是死 JVM。 Swap 用于很少使用的空闲进程。

还要注意Xmx值和物理堆大小是不一样的，物理大小总是会大于Xmx大小。

您应该预先分配您的 JVM 堆 (Xms == Xmx) 并尝试各种值，直到您的大部分物理 RAM 被消耗。这将限制完整的 GC 和内存碎片。如果您要分配如此大的总内存空间，它也有助于（一点）在新系统上执行此操作。

但无论你做什么，都不要让 Java 交换。交换和垃圾收集器不能混用。