运行 coreNlp 工具时出现 OutOfMemoryError

Question

我知道在 SO 上已经有很多关于这个问题的讨论，但没有一个能解决我的问题。我有一个文件test.txt，我想对其进行一些情绪分析。输入文件的格式，每行一个句子。我使用以下命令运行该工具：

java  -cp "../*" -mx1g edu.stanford.nlp.sentiment.SentimentPipeline -file test.txt 

它开始以一种奇怪的方式运行并打印我的文件内容。过了一会儿，它抛出了这个错误：

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space

我也试过了：

java -Xms1024m -Xmx2048m -cp "../*" -mx1g edu.stanford.nlp.sentiment.SentimentPipeline -file test.txt

但是还是不行。 顺便说一句，我在命令行而不是 eclipse 中运行该工具。所以我认为这与日食无关。 你能帮我解决这个问题吗？提前致谢！

Answer 1

这意味着没有足够的空间来分配新的对象。就像在这种情况下，垃圾收集器无法腾出空间来容纳新对象。

Answer 2

您可以在命令中将-mx1g 更改为-mx4g

尝试使用以下命令：

java -Xms1024m -Xmx2048m -cp "../*" -mx4g edu.stanford.nlp.sentiment.SentimentPipeline -file test.txt

建议#1：

您可以永久增加 -Xms 和 -Xmx 大小

Windows：

SET _JAVA_OPTIONS = -Xms1024m -Xmx2048m

Linux：

export _JAVA_OPTIONS="-Xms1024m -Xmx2048m"

之后你可以简单地运行命令

java -cp "../*" -mx4g edu.stanford.nlp.sentiment.SentimentPipeline -file test.txt

希望它能解决您的问题。如果它不能解决您的问题，则将 -Xmx 大小增加到 -Xmx6g

建议#2：

您可以使用 Java8。他们将元空间用于堆。因此，不会出现堆空间错误。

资源链接：

how to increase java heap memory permanently?

更新：

请用以下命令检查

java -cp "../*" -Xmx4g edu.stanford.nlp.pipeline.StanfordCoreNLPClient -annotators tokenize,ssplit,pos,lemma,ner,parse,dcoref -file test.txt

或者您可以在命令中使用-threads 1 使其成为单线程。

资源链接：

1. Stanford NLP - OpenIE out of memory when processing list of files
2. CoreNLP Server Conf