python 3.0 open() 默认编码

Question

我正在尝试计算 JSON 文件中的行数。 Click HERE to access my JSON file .

我尝试使用下面的代码来计算行数。

input = open("json/world_bank.json")
i=0
for l in input:
    i+=1
print(i)

但是上面的代码抛出了一个 UniCodeDecode 错误，如下所示。

---------------------------------------------------------------------------
UnicodeDecodeError                        Traceback (most recent call last)
<ipython-input-17-edc88ade7225> in <module>()
      2 
      3 i=0
----> 4 for l in input:
      5     i+=1
      6 

C:\Users\Subbi Reddy\AppData\Local\Continuum\Anaconda3\lib\encodings\cp1252.py in decode(self, input, final)
     21 class IncrementalDecoder(codecs.IncrementalDecoder):
     22     def decode(self, input, final=False):
---> 23         return codecs.charmap_decode(input,self.errors,decoding_table)[0]
     24 
     25 class StreamWriter(Codec,codecs.StreamWriter):

UnicodeDecodeError: 'charmap' codec can't decode byte 0x81 in position 3979: character maps to <undefined>

然后我在open函数中包含编码参数，如下所示。

input = open("json/world_bank.json",encoding="utf8")

然后它开始工作并输出为 500。

据我所知，python open 应该将“utf8”视为默认编码。

这里哪里出错了。

Answer 1

Python 3 的默认 UTF-8 编码仅扩展到 byte->str 转换。 open() 而是使用您的环境来选择合适的编码：

从 Python 3 docs 到 open()：

encoding 是用于对文件进行解码或编码的编码名称。这应该只在文本模式下使用。默认编码取决于平台（无论 locale.getpreferredencoding() 返回什么），但可以使用 Python 支持的任何文本编码。请参阅编解码器模块以获取支持的编码列表。

就您而言，由于您使用的是西欧/北美的 Windows，因此您将获得 8 位 Windows-1252 字符集。将 encoding 设置为 utf-8 会覆盖此内容。