使用 awk 从文件中创建单词索引答案

【问题标题】：Use awk to create index of words from file使用 awk 从文件中创建单词索引
【发布时间】：2018-02-08 19:46:30
【问题描述】：

我正在为学校学习 UNIX，我应该创建一个命令行，该命令行接受一个文本文件并生成一个字典索引，显示单词（不包括冠词和介词）以及它在文件中出现的行。

我在：https://unix.stackexchange.com/questions/169159/how-do-i-use-awk-to-create-an-index-of-words-in-file?newreg=a75eebee28fb4a3eadeef5a53c74b9a8 中发现了与我类似的问题，问题是当我运行解决方案时

$ awk '
{
  gsub(/[^[:alpha:] ]/,"");
  for(i=1;i<=NF;i++) {
      a[$i] = a[$i] ? a[$i]", "FNR : FNR;
  }
}
END {
      for (i in a) {
          print i": "a[i];
      }
}' file | sort

输出包含特殊字符（我不想要），例如：

-Quiero: 21
Sancho,: 2, 4, 8

如何删除所有特殊字符并排除冠词和介词？

【问题讨论】：

您正在测试的示例文件是什么？您的预期输出是什么？

标签： shell unix awk gsub

【解决方案1】：

$ echo This is this test. |                    # some test text
awk '
BEGIN{
    x["a"];x["an"];x["the"];x["on"]            # the stop words
    OFS=", "                                   # list separator to a
}
{
    for(i=1;i<=NF;i++)                         # list words in a line
        if($i in x==0) {                       # if word is not a stop word
            $i=tolower($i)                     # lowercase it
            gsub(/^[^a-z]|[^a-z]$/,"",$i)      # remove leading and trailing non-alphabets
            a[$i]=a[$i] (a[$i]==""?"":OFS) NR  # add record number to list
        }
    }
END {                                          # after file is processed
    for(i in a)                                # in no particular order
        print i ": " a[i]                      # ... print elements in a
}'
this: 1, 1
test: 1
is: 1

【讨论】：