减少 Java 堆大小

Question

我正在使用带有Apache OpenNLP 的Java8。我有一项服务可以从一段中提取所有名词。这在我的本地主机服务器上按预期工作。我也在OpenShift 服务器上运行，没有任何问题。但是，它确实会占用大量内存。我需要将我的应用程序部署到AWS Elastic Beanstalk Tomcat Server。

一个解决方案是我可以从 AWS Elastic Beanstalk Tomcat Server t1.micro 升级到另一种实例类型。但我的预算很少，如果可能的话，我想避免使用extra fees。

当我运行应用程序并尝试执行单词分块时，它收到以下错误：

dispatch failed; nested exception is java.lang.OutOfMemoryError: Java heap space] with root cause
 java.lang.OutOfMemoryError: Java heap space
  at opennlp.tools.ml.model.AbstractModelReader.getParameters(AbstractModelReader.java:148)
  at opennlp.tools.ml.maxent.io.GISModelReader.constructModel(GISModelReader.java:75)
  at opennlp.tools.ml.model.GenericModelReader.constructModel(GenericModelReader.java:59)
  at opennlp.tools.ml.model.AbstractModelReader.getModel(AbstractModelReader.java:87)
  at opennlp.tools.util.model.GenericModelSerializer.create(GenericModelSerializer.java:35)
  at opennlp.tools.util.model.GenericModelSerializer.create(GenericModelSerializer.java:31)
  at opennlp.tools.util.model.BaseModel.finishLoadingArtifacts(BaseModel.java:328)
  at opennlp.tools.util.model.BaseModel.loadModel(BaseModel.java:256)
  at opennlp.tools.util.model.BaseModel.<init>(BaseModel.java:179)
  at opennlp.tools.parser.ParserModel.<init>(ParserModel.java:180)
  at com.jobs.spring.service.lang.LanguageChunkerServiceImpl.init(LanguageChunkerServiceImpl.java:35)
  at com.jobs.spring.service.lang.LanguageChunkerServiceImpl.getNouns(LanguageChunkerServiceImpl.java:46)

问题

有没有办法：

1. 减少从段落中提取名词时使用的内存量。

2. 使用除 Apache OpenNLP 之外的其他 api，它不会占用太多内存。

3. 一种配置AWS Elastic Beanstalk Tomcat Server 以满足需求的方法。

代码示例：

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.util.HashSet;
import java.util.Set;

import org.springframework.stereotype.Component;
import org.springframework.transaction.annotation.Transactional;

import opennlp.tools.cmdline.parser.ParserTool;
import opennlp.tools.parser.Parse;
import opennlp.tools.parser.Parser;
import opennlp.tools.parser.ParserFactory;
import opennlp.tools.parser.ParserModel;
import opennlp.tools.util.InvalidFormatException;

@Component("languageChunkerService")
@Transactional
public class LanguageChunkerServiceImpl implements LanguageChunkerService {

    private Set<String> nouns = null;
    private InputStream modelInParse = null;
    private ParserModel model = null;
    private Parser parser = null;

    public void init() throws InvalidFormatException, IOException {
        ClassLoader classLoader = getClass().getClassLoader();
        File file = new File(classLoader.getResource("en-parser-chunking.bin").getFile());
        modelInParse = new FileInputStream(file.getAbsolutePath());

        // load chunking model
        model = new ParserModel(modelInParse); // line 35
        // create parse tree
        parser = ParserFactory.create(model);
    }

    @Override
    public Set<String> getNouns(String sentenceToExtract) {
        Set<String> extractedNouns = new HashSet<String>();
        nouns = new HashSet<>();
        try {
            if (parser == null) {
                init();
            }

            Parse topParses[] = ParserTool.parseLine(sentenceToExtract, parser, 1);

            // call subroutine to extract noun phrases
            for (Parse p : topParses) {
                getNounPhrases(p);
            }

            // print noun phrases
            for (String s : nouns) {
                String word = s.replaceAll("[^a-zA-Z ]", "").toLowerCase();// .split("\\s+");
                //System.out.println(word);
                extractedNouns.add(word);
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (modelInParse != null) {
                try {
                    modelInParse.close();
                } catch (IOException e) {
                }
            }
        }
        return extractedNouns;
    }

    // recursively loop through tree, extracting noun phrases
    private void getNounPhrases(Parse p) {
        if (p.getType().equals("NN")) { // NP=noun phrase
            // System.out.println(p.getCoveredText()+" "+p.getType());
            nouns.add(p.getCoveredText());
        }
        for (Parse child : p.getChildren())
            getNounPhrases(child);
    }
}

更新

Tomcat8 配置：

Answer 1

首先，您应该尝试优化您的代码。首先在使用 replaceAll 之前使用正则表达式和预编译语句，因为 replaceAll 替换了内存中的内容。 (https://eyalsch.wordpress.com/2009/05/21/regex/)

其次，您不应该将解析后的句子存储在数组中。第三个提示：您应该尝试使用 bytebuffer 将内存分配给您的数组。另一个最多可能影响您的提示，您应该使用 BufferedReader 来读取分块文件。 (out of memory error, java heap space)

在此之后，您应该已经看到内存使用量减少了。如果这些提示对您没有帮助，请提供内存转储/分配图。

另一个提示：HashSet 占用的内存是无序列表的 5.5 倍。 (Performance and Memory allocation comparision between List and Set)