列表上的循环操作仅在第一项上无法正确执行

Question

我只是想从导入的文本文件的每一行中删除前 45 个字符，然后将结果写入新的文本文件。由于某种原因，只有列表/行中的第一项被弄乱了，并且只有前 42 个字符被删除。

我之前曾多次遇到此问题，但从未弄清楚为什么会发生这种情况，可以使用一些外部智慧！谢谢！

这是我的代码：

list1 = []
list2 = []
with codecs.open('FILE.txt', "r", encoding="utf-8") as inputfile:
        list1 = [line.strip() for line in inputfile]
        list1 = [x.encode('utf-8') for x in list1]
        for item in list1:
            list2.append(item[45:])
z = open('NEWFILE.txt', 'w');
z.write("\n".join(list2))
z.close()

Answer 1

UTF-8 内容以及第一行中的 3 个字节移位看起来非常像额外的 BOM 标头。

>>> from codecs import BOM_UTF8
>>> len(BOM_UTF8)
3

BOM 标头被大多数文本编辑器检测到，并且不直接可见（除非您使用文本编辑器）。

我建议你像这样改变你的内部循环：

for item in list1:
    list2.append(item[45+len(codecs.BOM_UTF8) if item.startswith(codecs.BOM_UTF8) else 45:])

所以如果行（第一行）以 BOM 标头开头，则添加 3 个额外字节

或者可以直接在您对完整字符串进行编码之前：

list1 = [(x[len(codecs.BOM_UTF8):] if x.startswith(codecs.BOM_UTF8) else x).encode('utf-8') for x in list1]

来自此 Q/A 的 BOM 条代码：Python load json file with UTF-8 BOM header