【发布时间】:2019-12-06 21:42:01
【问题描述】:
我必须对大约 200 万行数据进行数据分析,每行大约 250 字节长。所以总共大约有 500 兆字节的数据。我正在使用 4G 内存的 Virtualbox Linux 上运行最新的 Rakudo。
大约 8 小时后,由于内存不足,我遇到了 MoarVM 恐慌。如何为 MoarVM 提供更多内存?不幸的是,我无法将 200 万个数据块分成块并首先写入文件,因为部分数据分析需要整个 2 米行。
【问题讨论】:
-
可能值得跟踪内存使用情况,看看是否有部分代码过度使用内存。
-
@lisprogtor 我真的很想知道发生了什么...
-
您好,raiph,感谢您的帮助。我正在阅读有关探查器的信息,但还不精通它。为了有时间把事情做好,我最终做的是从所有 2M 行中分离出一个需要一些信息的数据数组并首先处理它;我将 2M 行写入磁盘并从文件中读取。到目前为止它正在工作。我仍在阅读分析器。谢谢!!!