Python Encoding\Decoding 用于写入文本文件

Question

老实说，我在这方面花了很多时间，而且它正在慢慢杀死我。我已经从 PDF 中剥离了内容并将其存储在一个数组中。现在我试图将它从数组中拉出来并将其写入一个 txt 文件。但是，由于编码问题，我似乎无法实现。

allTheNTMs.append(contentRaw[s1:].encode("utf-8"))
for a in range(len(allTheNTMs)):
        kmlDescription = allTheNTMs[a]
        print kmlDescription #this prints out fine
        outputFile.write(kmlDescription)

我得到的错误是“unicodedecodeerror: ascii codec can't decode byte 0xc2 in position 213:ordinal not in range (128).

我现在只是在胡闹，但我已经尝试了各种方法来把这些东西写出来。

outputFile.write(kmlDescription).decode('utf-8')          

如果这是基本的，请原谅我，我还在学习 Python (2.7)。

干杯！

EDIT1：示例数据如下所示：

Chart 3686 (plan, Morehead City) [ previous update 4997/11 ] NAD83 DATUM
Insert the accompanying block, showing amendments to coastline,
depths and dolphins, centred on: 34° 41´·19N., 76° 40´·43W.
Delete R 34° 43´·16N., 76° 41´·64W.

当我添加打印类型（原始）时，我得到了

编辑 2：当我尝试写入数据时，收到原始错误消息（ascii codec can't decode byte...）

我会查看建议的线程和视频。谢谢各位！

编辑 3：我使用的是 Python 2.7

编辑 4：当他注意到我是双重编码时，agf 在下面的 cmets 中一针见血。我尝试故意对以前工作的字符串进行双重编码，并产生与最初抛出的相同错误消息。比如：

text = "Here's a string, but imagine it has some weird symbols and whatnot in it - apparently latin-1"
textEncoded = text.encode('utf-8')
textEncodedX2 = textEncoded.encode('utf-8')
outputfile.write(textEncoded) #Works!
outputfile.write(textEncodedX2) #failed

一旦我发现我正在尝试双重编码，解决方案如下：

allTheNTMs.append(contentRaw[s1:].encode("utf-8"))
for a in range(len(allTheNTMs)):
    kmlDescription = allTheNTMs[a]
    kmlDescriptionDecode = kmlDescription.decode("latin-1")
    outputFile.write(kmlDescriptionDecode)

它现在正在运行，我非常感谢您的所有帮助！

Answer 1

我的猜测是您打开的输出文件已使用latin1 甚至utf-8 编解码器打开，因此您无法将utf-8 编码数据写入其中，因为它试图重新转换它，否则正常打开的文件你可以写任意数据字符串，这里是一个重新创建类似错误的例子

u = u'सच्चिदानन्द हीरानन्द वात्स्यायन '
s = u.encode('utf-8')
f = codecs.open('del.text', 'wb',encoding='latin1')
f.write(s)

输出：

Traceback (most recent call last):
  File "/usr/lib/wingide4.1/src/debug/tserver/_sandbox.py", line 1, in <module>
    # Used internally for debug sandbox under external interpreter
  File "/usr/lib/python2.7/codecs.py", line 691, in write
    return self.writer.write(data)
  File "/usr/lib/python2.7/codecs.py", line 351, in write
    data, consumed = self.encode(object, self.errors)
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe0 in position 0: ordinal not in range(128)

解决方案：

如果您不设置任何编解码器，这将起作用

f = open('del.txt', 'wb') 
f.write(s)

其他选项是直接写入文件而不编码 unicode 字符串，如果 outputFile 已使用正确的编解码器打开，例如

f = codecs.open('del.text', 'wb',encoding='utf-8')
f.write(u)

Answer 2

您的错误消息似乎与您的任何 Python 语法无关，但实际上您正在尝试解码在 UTF-8 中没有等效的十六进制值。

HEX 0xc2 似乎代表一个拉丁字符 - 一个大写的 A，顶部有一个重音符号。因此，不要使用 "allTheNTMs.append(contentRaw[s1:].encode("utf-8"))"，试试：-

allTheNTMs.append(contentRaw[s1:].encode("latin-1"))

我不是 Python 方面的专家，所以这可能行不通，但看起来您正在尝试对拉丁字符进行编码。鉴于您也收到了错误消息，似乎在尝试以 UTF-8 编码时，Python 仅查看前 128 个条目，因为您的错误似乎表明条目“0Xc2”超出范围，确实是在 UTF-8 的前 128 个条目中。