斯坦福解析器无法读取德语变音符号

Question

stanford 解析器 (http://nlp.stanford.edu/software/lex-parser.html) 版本 3.6.0 附带经过训练的英语、德语和其他语言语法。为了解析德语文本，斯坦福解析器提供了工具 lexparser-lang.sh

./lexparser-lang.sh
Usage: lexparser-lang.sh lang len grammar out_file FILE...

  lang       : Language to parse (Arabic, English, Chinese, German, French)
  len        : Maximum length of the sentences to parse
  grammar    : Serialized grammar file (look in the models jar)
  out_file   : Prefix for the output filename
  FILE       : List of files to parse

所以我用这些选项来称呼它：

sadik@sadix:stanford-parser-full-2015-12-09$ ./lexparser-lang.sh German 500 edu/stanford/nlp/models/lexparser/germanFactored.ser.gz factored german_test.txt

输入文件 German_test.txt 包含一个德语句子：

Fußball findet um 8 Uhr in der Halle statt.

但是“ß”会导致警告和错误结果。与“ä”、“ö”和“ü”相同。现在，lexparser-lang.sh 应该被设计为处理德语文本作为输入。有没有我遗漏的选项？

如何：

[main] INFO edu.stanford.nlp.parser.lexparser.LexicalizedParser - Loading parser from serialized file edu/stanford/nlp/models/lexparser/germanFactored.ser.gz ... 
 done [3.8 sec].
Parsing file: german_test.txt
Apr 01, 2016 12:48:45 AM edu.stanford.nlp.process.PTBLexer next
WARNING: Untokenizable:  (U+9F, decimal: 159)
Parsing [sent. 1 len. 11]: Fuà ball findet um 8 Uhr in der Halle statt .
Parsed file: german_test.txt [1 sentences].
Parsed 11 words in 1 sentences (32.07 wds/sec; 2.92 sents/sec).

使用看起来像垃圾的解析树：

(S (ADV FuÃ) (ADV ball) (VVFIN findet)
  (PP (APPR um) (CARD 8) (NN Uhr))
  (PP (APPR in) (ART der) (NN Halle))
  (PTKVZ statt) ($. .))

应该如何

写“Fussball”时没有问题（拼写错误除外）

[main] INFO edu.stanford.nlp.parser.lexparser.LexicalizedParser - Loading parser from serialized file edu/stanford/nlp/models/lexparser/germanFactored.ser.gz ... 
     done [3.5 sec].
    Parsing file: german_test.txt
    Parsing [sent. 1 len. 10]: Fussball findet um 8 Uhr in der Halle statt .
    Parsed file: german_test.txt [1 sentences].
    Parsed 10 words in 1 sentences (40.98 wds/sec; 4.10 sents/sec).

正确的树：

(S (NN Fussball) (VVFIN findet)
  (PP (APPR um) (CARD 8) (NN Uhr))
  (PP (APPR in) (ART der) (NN Halle))
  (PTKVZ statt) ($. .))

Answer 1

演示脚本未使用正确的字符集运行分词器。因此，如果您的文本是预先标记的，您可以添加选项“-tokenized”，它只会使用空格作为标记分隔符。

您还想告诉解析器对德语使用“-encoding ISO-8859-1”。

这是完整的 java 命令（更改 .sh 脚本中的命令）：

java -Xmx2g -cp "./*" edu.stanford.nlp.parser.lexparser.LexicalizedParser -maxLength 500 -tLPP edu.stanford.nlp.parser.lexparser.NegraPennTreebankParserParams -hMarkov 1 -vMarkov 2 -vSelSplitCutOff 300 -uwm 1 -unknownSuffixSize 2 -nodeCleanup 2 -writeOutputFiles -outputFilesExtension output.500.stp -outputFormat "penn" -outputFormatOptions "removeTopBracket,includePunctuationDependencies" -encoding ISO_8859-1 -tokenized -loadFromSerializedFile edu/stanford/nlp/models/lexparser/germanFactored.ser.gz german_example.txt

我得到这个输出：

(NUR
  (S (NN Fußball) (VVFIN findet)
    (PP (APPR um) (CARD 8) (NN Uhr))
    (PP (APPR in) (ART der) (NN Halle) (ADJA statt.))))

再次更新：

确保将“statt”分开。进入“statt”。因为我们现在说令牌是空格分隔的。如果我们应用这个修复，我们会得到这个解析：

(S (NN Fußball) (VVFIN findet)
  (PP (APPR um) (CARD 8) (NN Uhr))
  (PP (APPR in) (ART der) (NN Halle))
  (PTKVZ statt) ($. .))

所以总结一下，基本上问题是我们需要告诉 PTBTokenizer 使用 ISO_8859-1 和 LexicalizedParser 使用 ISO_8859-1。

我建议只使用完整的管道来完成此操作。

1. 从这里下载 Stanford CoreNLP 3.6.0：

   http://stanfordnlp.github.io/CoreNLP/

2. 从这里下载德国模型罐：

   http://stanfordnlp.github.io/CoreNLP/download.html

3. 运行这个命令：

   java -Xmx3g -cp "stanford-corenlp-full-2015-12-09/*:stanford-corenlp-3.6.0-models-german.jar" edu.stanford.nlp.pipeline.StanfordCoreNLP -annotators tokenize,ssplit,pos,lemma,parse -props StanfordCoreNLP-german.properties -file german_example_file.txt -outputFormat text
   

这将标记和解析文本并使用正确的字符编码。