希腊词的 Python 正则表达式

Question

我想制作一个 python 脚本，它使用正则表达式从我提供的源文本中过滤出包含某些希腊单词的行，然后根据遇到的单词将这些行写入 3 个不同的文件。

到目前为止，这是我的代码：

import regex

source=open('source.txt', 'r')
oti=open('results_oti.txt', 'w')
tis=open('results_tis.txt', 'w')
ton=open('results_ton.txt', 'w')

regex_oti='^.*\b(ότι|ό,τι)\b.*$'
regex_tis='^.*\b(της|τις)\b.*$'
regex_ton='^.*\b(τον|των)\b.*$'

for line in source.readlines():
    if regex.match(regex_oti, line):
        oti.write(line)
    if regex.match(regex_tis, line):
        tis.write(line)
    if regex.match(regex_ton, line):
        ton.write(line)
source.close()
oti.close()
tis.close()
ton.close()
quit()

我检查的词是ότι | ό,τι | της | τις | τον | των。

问题是这 3 个正则表达式（regex_oti、regex_tis、regex_ton）不匹配任何内容，因此我创建的 3 个文本文件不包含任何内容。

可能是编码问题（Unicode）？

Answer 1

您正在尝试将编码值（作为字节）与一个 很可能 不匹配的正则表达式匹配，除非您的 Python 源编码与输入文件的编码完全匹配，然后只有当您未使用多字节编码，例如 UTF-8。

您需要将输入文件解码为 Unicode 值，并使用 Unicode 正则表达式。这意味着您需要知道用于输入文件的编解码器。使用io.open()处理解码和编码是最简单的：

import io
import re

regex_oti = re.compile(ur'^.*\b(ότι|ό,τι)\b.*$')
regex_tis = re.compile(ur'^.*\b(της|τις)\b.*$')
regex_ton = re.compile(ur'^.*\b(τον|των)\b.*$')

with io.open('source.txt', 'r', encoding='utf8') as source, \
     io.open('results_oti.txt', 'w', encoding='utf8') as oti, \
     io.open('results_tis.txt', 'w', encoding='utf8') as tis, \
     io.open('results_ton.txt', 'w', encoding='utf8') as ton:

    for line in source:
        if regex_oti.match(line):
            oti.write(line)
        if regex_tis.match(line):
            tis.write(line)
        if regex_ton.match(line):
            ton.write(line)

注意ur'...' 原始unicode 字符串来定义正则表达式模式；现在这些是 Unicode 模式并且匹配 codepoints，而不是字节。

io.open() 调用确保您读取unicode，并且当您将unicode 值写入输出文件时，数据会自动编码为 UTF-8。我也为输入文件选择了 UTF-8，但您需要检查该文件的正确编解码器并坚持使用。

我在这里使用了with 语句来自动关闭文件，使用source 作为可迭代对象（无需一次性将所有行读入内存），并预编译了正则表达式。