【问题标题】:Mallet: java.lang.OutOfMemoryError with 1024GB Memory allocationMallet:java.lang.OutOfMemoryError 与 1024GB 内存分配
【发布时间】:2015-09-24 01:16:41
【问题描述】:

我正在尝试使用 Mallet 在大约 1GB 的文本文件上运行主题建模,该文件有 11403956 行。从 mallet 目录中,我将cd 升级为bin 并将内存需求升级到 1024GB:

set MALLET_MEMORY=1024G

然后我尝试运行命令:

bin/mallet import-file --input combined_bios.txt --output dh_size.mallet --keep-sequence --remove-stopwords

但是,这会引发内存错误:

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
        at gnu.trove.TObjectIntHashMap.rehash(TObjectIntHashMap.java:170)
        at gnu.trove.THash.postInsertHook(THash.java:359)
        at gnu.trove.TObjectIntHashMap.put(TObjectIntHashMap.java:155)
        at cc.mallet.types.Alphabet.lookupIndex(Alphabet.java:115)
        at cc.mallet.types.Alphabet.lookupIndex(Alphabet.java:123)
        at cc.mallet.types.FeatureSequence.add(FeatureSequence.java:131)
        at cc.mallet.pipe.TokenSequence2FeatureSequence.pipe(TokenSequence2FeatureSequence.java:44)
        at cc.mallet.pipe.Pipe$SimplePipeInstanceIterator.next(Pipe.java:294)
        at cc.mallet.pipe.Pipe$SimplePipeInstanceIterator.next(Pipe.java:282)
        at cc.mallet.types.InstanceList.addThruPipe(InstanceList.java:267)
        at cc.mallet.classify.tui.Csv2Vectors.main(Csv2Vectors.java:290)

这种情况有解决方法吗?其他人可以提供的任何帮助将不胜感激!

【问题讨论】:

  • 1024GB?!?!你说1G!不应该是 1024MB 吗?
  • 是的@eduyayo,系统有 1TB 的内存,虽然我应该只需要几 GB,但我将内存调到 1024GB 看看这样做是否能解决问题,但没有运气。我也觉得不可思议……
  • 进程限制将由系统修复。在 Windows 中可能不会高于 1.2 G...不知道你有什么系统,但应该检查进程大小限制
  • 我不知道 Mallet,但你可以使用 Streams 或一些 map/reduce 来代替在内存中加载 1Tb 吗?

标签: java lda mallet


【解决方案1】:

如果您使用的是 Linux 或 OS X,我认为您可能更改了错误的变量。您正在更改的那个在 bin/mallet.bat 中,但您想在 bin/mallet 的可执行文件中更改那个(即没有 .bat 文件扩展名):

MEMORY=1g

这也在本 Mallet 教程的“大数据问题”下进行了描述:

http://programminghistorian.org/lessons/topic-modeling-and-mallet

【讨论】:

  • sed -i.bak 's/MEMORY=1g/MEMORY=4g/' /bin/mallet 如果您使用脚本来执行此操作,则可用于就地更改此设置
猜你喜欢
  • 2013-09-03
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2011-04-28
  • 2011-05-28
  • 1970-01-01
  • 2015-07-23
相关资源
最近更新 更多