【发布时间】:2015-09-24 01:16:41
【问题描述】:
我正在尝试使用 Mallet 在大约 1GB 的文本文件上运行主题建模,该文件有 11403956 行。从 mallet 目录中,我将cd 升级为bin 并将内存需求升级到 1024GB:
set MALLET_MEMORY=1024G
然后我尝试运行命令:
bin/mallet import-file --input combined_bios.txt --output dh_size.mallet --keep-sequence --remove-stopwords
但是,这会引发内存错误:
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at gnu.trove.TObjectIntHashMap.rehash(TObjectIntHashMap.java:170)
at gnu.trove.THash.postInsertHook(THash.java:359)
at gnu.trove.TObjectIntHashMap.put(TObjectIntHashMap.java:155)
at cc.mallet.types.Alphabet.lookupIndex(Alphabet.java:115)
at cc.mallet.types.Alphabet.lookupIndex(Alphabet.java:123)
at cc.mallet.types.FeatureSequence.add(FeatureSequence.java:131)
at cc.mallet.pipe.TokenSequence2FeatureSequence.pipe(TokenSequence2FeatureSequence.java:44)
at cc.mallet.pipe.Pipe$SimplePipeInstanceIterator.next(Pipe.java:294)
at cc.mallet.pipe.Pipe$SimplePipeInstanceIterator.next(Pipe.java:282)
at cc.mallet.types.InstanceList.addThruPipe(InstanceList.java:267)
at cc.mallet.classify.tui.Csv2Vectors.main(Csv2Vectors.java:290)
这种情况有解决方法吗?其他人可以提供的任何帮助将不胜感激!
【问题讨论】:
-
1024GB?!?!你说1G!不应该是 1024MB 吗?
-
是的@eduyayo,系统有 1TB 的内存,虽然我应该只需要几 GB,但我将内存调到 1024GB 看看这样做是否能解决问题,但没有运气。我也觉得不可思议……
-
进程限制将由系统修复。在 Windows 中可能不会高于 1.2 G...不知道你有什么系统,但应该检查进程大小限制
-
我不知道 Mallet,但你可以使用 Streams 或一些 map/reduce 来代替在内存中加载 1Tb 吗?