在 R 包 quanteda 中使用半空间

Question

我正在使用 R 中 quanteda 包中的 KWIC 函数来查找库尔德语中的一些短语。在库尔德语中，一些复合词和短语用半空格隔开。当我使用包含半空格的短语时，R 将其视为拼写错误（红点）并且不允许我运行命令。有没有办法解决这个问题？

在某些语言中使用半空格或零宽度非连接符来避免在规范化文本时出现连字。它的 Unicode 字符是 '\u200c'，在某些文本编辑器中，它可以通过 SHIFT+SPACE 显示在屏幕上。

kwic(cleantest, phrase("له‌لایه‌نی"), window = 1)

Here is the image of the error

另外，你知道 Sorani Kurdish 词性标注器和 Stemmer 吗？

Answer 1

有趣的问题。我们最近一直在考虑这个here 和here。

显然，问题出现在短语转换为列表时，它依赖于空格拆分。这是确保将半空格转换为全空格的解决方法：

txt <- "رۆژنامه‌كانى به‌ریتانیا، ئاماژه‌ بۆ ئه‌وه‌ ده‌كه‌ن كه‌ سه‌ره‌ڕای ئه‌وه‌ی ڤینگه‌ر ده‌زانێت له‌ وه‌رزی داهاتوودا گه‌وره‌ترین كێشه‌ی له‌لایه‌نی گۆڵپارێزی ده‌بێت، به‌ڵام له‌گه‌ڵ ئه‌وه‌شدا ئاماده‌ نییه‌ به‌هیچ .شێوه‌یه‌ك پیته‌ر چیك له‌سه‌ر كورسی یه‌ده‌گ دابنێت "

phrase2 <- function(x) phrase(gsub("\\s", " ", x))

kwic(txt, phrase2("له‌لایه‌نی"), window = 1)

# [text1, 33:35] ی | له لایه نی | گۆڵپارێزی

不，我不知道 Sorani Kurdish POS Tagger 和 Stemmer，尽管 stopwords package 确实包含库尔德语停用词。

stopwords("ku", source = "stopwords-iso")
#  [1] "ئێمە"     "ئێوە"     "ئەم"      "ئەو"      "ئەوان"    "ئەوەی"   
#  [7] "بۆ"       "بێ"       "بێجگە"    "بە"       "بەبێ"     "بەدەم"   
# [13] "بەردەم"   "بەرلە"    "بەرەوی"   "بەرەوە"   "بەلای"    "بەپێی"   
# [19] "تۆ"       "تێ"       "جگە"      "دوای"     "دوو"      "دە"      
# [25] "دەکات"    "دەگەڵ"    "سەر"      "لێ"       "لە"       "لەبابەت" 
# [31] "لەباتی"   "لەبارەی"  "لەبرێتی"  "لەبن"     "لەبەر"    "لەبەینی" 
# [37] "لەدەم"    "لەرێ"     "لەرێگا"   "لەرەوی"   "لەسەر"    "لەلایەن" 
# [43] "لەناو"    "لەنێو"    "لەو"      "لەپێناوی" "لەژێر"    "لەگەڵ"   
# [49] "من"       "ناو"      "نێوان"    "هەر"      "هەروەها"  "و"       
# [55] "وەک"      "پاش"      "پێ"       "پێش"      "چەند"     "کرد"     
# [61] "کە"       "ی"