如何从文件中读取文件内容？

Question

使用Python3，希望os.walk一个文件目录，将它们读入二进制对象（字符串？）并对它们做一些进一步的处理。第一步：如何读取os.walk 的文件结果？

# NOTE: Execute with python3.2.2

import os
import sys

path = "/home/user/my-files"

count = 0
successcount = 0
errorcount = 0
i = 0

#for directory in dirs
for (root, dirs, files) in os.walk(path):
 # print (path)
 print (dirs)
 #print (files)

 for file in files:

   base, ext = os.path.splitext(file)
   fullpath = os.path.join(root, file)

   # Read the file into binary? --------
   input = open(fullpath, "r")
   content = input.read()
   length = len(content)
   count += 1
   print ("    file: ---->",base," / ",ext," [count:",count,"]",  "[length:",length,"]")
   print ("fullpath: ---->",fullpath)

错误：

Traceback (most recent call last):
  File "myFileReader.py", line 41, in <module>
    content = input.read()
  File "/usr/lib/python3.2/codecs.py", line 300, in decode
    (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf8' codec can't decode byte 0xe2 in position 11: invalid continuation byte

Answer 1

要读取二进制文件，您必须以二进制模式打开文件。改变

input = open(fullpath, "r")

到

input = open(fullpath, "rb")

read() 的结果将是一个 bytes() 对象。

Answer 2

由于您的某些文件是二进制文件，它们无法成功解码为 Python 3 用来在解释器中存储所有字符串的 unicode 字符。请注意，Python 2 和 Python 3 之间的重大变化涉及将字符串的表示从 ASCII 迁移到 unicode 字符，这意味着不能简单地将每个字符视为一个字节（是的，Python 3 中的文本字符串需要 2x 或 4 倍于 Python 2 存储的内存，因为 UTF-8 每个字符最多使用 4 个字节）。

因此，您有许多取决于您的项目的选项：

• 忽略二进制文件，按文件扩展名过滤，
• 读取二进制文件并在解码异常发生时捕获它，然后跳过该文件，或者使用此线程How can I detect if a file is binary (non-text) in python? 中描述的方法之一

在这种情况下，您可以编辑您的解决方案以简单地捕获 UnicodeDecode 错误并跳过该文件。

无论您的决定如何，重要的是要注意，如果系统上的文件中存在多种不同的字符编码，则需要指定编码，因为 Python 3.0 将假定字符以 UTF- 8.

作为参考，关于 Python 3 I/O 的精彩演示：http://www.dabeaz.com/python3io/MasteringIO.pdf