以 ASCII 215 作为分隔符读取输入文件

Question

我正在尝试从包含由 ASCII 值 215 分隔的单词对的文件中读取。当我运行以下代码时：

f = open('file.i', 'r')
for line in f.read().split('×'):
    print line

我得到一个看起来像垃圾的字符串。这是我的输入示例：

abashedness×N
abashment×N
abash×t
abasia×N
abasic×A
abasing×t
Abas×N
abatable×A
abatage×N
abated×V
abatement×N
abater×N
Abate×N
abate×Vti
abating×V
abatis×N
abatjours×p
abatjour×N
abator×N
abattage×N
abattoir×N
abaxial×A

这是上面代码运行后的输出：

z?Nlner?N?NANus?A?hion?hk?hhn?he?hanoconiosis?N

我的目标是最终将其读入元组列表或类似性质的内容中，但我无法将数据打印出来。

感谢大家的帮助。

Answer 1

嗯，有两件事：

• 您的来源可能是 Unicode！使用逃生通道并确保安全。
• 以二进制模式读取。

with open("file.i", "rb") as f:
    for line in f.read().split(b"\xd7"):
        print(line)

Answer 2

字符是分隔单词和词性的，但每个单词仍然在自己的行中：

with open('file.i', 'rb') as handle:
    for line in handle:
        word, pos = line.strip().split('×')

        print word, pos

您的代码拆分了整个 文件，因此您最终得到了N\nabatable、N\nAbate、Vti\nabating 之类的词。

Answer 3

要将文件中的字节解释为文本，您需要知道其字符编码。 There Ain't No Such Thing As Plain Text。您可以使用codecs 模块阅读文本：

import codecs

with codecs.open('file.i', 'r', encoding='utf-8') as file: 
     for line in file:
         word, sep, suffix = line.partition(u'\u00d7')
         if sep:
            print word

使用文件的实际字符编码代替 utf-8 占位符，例如 cp1252。

字符串文字中的非 ascii 字符需要在脚本顶部声明源字符编码，因此我使用了 unicode 转义：u'\u00d7'。

Answer 4

感谢您的帮助，我能够将这段代码组合在一起，该代码返回包含我正在寻找的列表的列表。

with open("mobyposi.i", "rb") as f:
    content = f.readlines()
    f.close()
    content = content[0].split()
    for item in content:
        item.split("\xd7")

确实是 unicode 格式！但是，上面描述的实现丢弃了 unicode 值之后和换行符之前的文本。

编辑：能够减少到：

with open("mobyposi.i", "rb") as f:
    for item in f.read().split():
        item.split("\xd7")