Python：规范化文本文件

Question

我有一个文本文件，其中包含许多单词的几种拼写变体：

例如

identification ... ID .. identity...contract.... contr.... contractor...medicine...pills..tables

所以我想要一个包含单词同义词的同义词文本文件，并希望用主要单词替换所有变体。本质上我想要规范化输入文件。

例如，我的同义词列表文件看起来像

identification = ID identify
contracting = contract contractor contractors contra...... 
word3 = word3_1 word3_2 word3_3 ..... word3_n
.
.
.
.
medicine = pills tables drugs...

我希望最终输出文件看起来像

identification ... identification .. identification...contractor.... contractor.... contractor...medicine...medicine..medicine

我如何开始使用 python 编程？

非常感谢您的帮助！！！

Answer 1

您可以读取同义词文件并将其转换为字典，table：

import re

table={}
with open('synonyms','r') as syn:
    for line in syn:
        match=re.match(r'(\w+)\s+=\s+(.+)',line)
        if match:
            primary,synonyms=match.groups()
            synonyms=[synonym.lower() for synonym in synonyms.split()]
            for synonym in synonyms:
                table[synonym]=primary.lower()

print(table)

产量

{'word3_1': 'word3', 'word3_3': 'word3', 'word3_2': 'word3', 'contr': 'contracting', 'contract': 'contracting', 'contractor': 'contracting', 'contra': 'contracting', 'identify': 'identification', 'contractors': 'contracting', 'word3_n': 'word3', 'ID': 'identification'}

接下来，您可以读取文本文件，并将每个单词替换为来自table 的主要同义词：

with open('textfile','r') as f:
    for line in f:
        print(''.join(table.get(word.lower(),word) 
                      for word in re.findall(r'(\W+|\w+)',line)))

产量

identification     identification    identity   contracting     contracting     contracting   medicine   medicine  medicine

---

1. re.findall(r'(\w+|\W+)',line) 用于拆分每个 line 而 保留空白。如果空白不感兴趣，您可以 也可以使用更简单的line.split()。
2. 如果单词在table 中，table.get(word,word) 返回table[word]， 如果word 不在同义词table 中，则返回word。

Answer 2

只是一个想法：不要有一个单词的所有变体列表，而是看看difflib

>>> get_close_matches('appel', ['ape', 'apple', 'peach', 'puppy'])
['apple', 'ape']
>>> import keyword
>>> get_close_matches('wheel', keyword.kwlist)
['while']
>>> get_close_matches('apple', keyword.kwlist)
[]
>>> get_close_matches('accept', keyword.kwlist)
['except']