Python os.path 窒息希伯来文文件名

Question

我正在编写一个必须移动一些文件的脚本，但不幸的是，os.path 似乎不太适合国际化。当我有以希伯来语命名的文件时，就会出现问题。这是目录内容的屏幕截图：

_{（来源：thegreenplace.net）}

现在考虑遍历此目录中文件的这段代码：

files = os.listdir('test_source')

for f in files:
    pf = os.path.join('test_source', f)
    print pf, os.path.exists(pf)

输出是：

test_source\ex True
test_source\joe True
test_source\mie.txt True
test_source\__()'''.txt True
test_source\????.txt False

注意os.path.exists 是如何认为希伯来文命名的文件甚至不存在的？ 我该如何解决这个问题？

Windows XP Home SP2 上的 ActivePython 2.5.2

Answer 1

这看起来像是一个 Unicode 与 ASCII 问题 - os.listdir 正在返回一个 ASCII 字符串列表。

编辑：我在 Python 3.0 和 XP SP2 上都试过了，os.listdir 只是省略了希伯来文文件名，根本没有列出它们。

根据文档，这意味着它无法解码：

注意当 os.listdir() 返回一个 字符串列表，不能的文件名 被正确解码而被省略 而不是引发 UnicodeError。

Answer 2

在 OS X 上使用 Python 2.5.1 就像一个魅力：

subdir/bar.txt True
subdir/foo.txt True
subdir/עִבְרִית.txt True

也许这意味着这与 Windows XP 有某种关系？

编辑：我还尝试使用 unicode 字符串来更好地模仿 Windows 行为：

for f in os.listdir(u'subdir'):
  pf = os.path.join(u'subdir', f)
  print pf, os.path.exists(pf)

subdir/bar.txt True
subdir/foo.txt True
subdir/עִבְרִית.txt True

在终端（os x stock command prompt app）中。使用 IDLE 它仍然有效，但没有正确打印文件名。为了确保它确实是 unicode，我检查了：

>>>os.listdir(u'listdir')[2]
u'\u05e2\u05b4\u05d1\u05b0\u05e8\u05b4\u05d9\u05ea.txt'

Answer 3

嗯，在some digging 之后，似乎在提供 os.listdir 一个 unicode 字符串时，这有点工作：

files = os.listdir(u'test_source')

for f in files:

    pf = os.path.join(u'test_source', f)
    print pf.encode('ascii', 'replace'), os.path.exists(pf)

===>

test_source\ex True
test_source\joe True
test_source\mie.txt True
test_source\__()'''.txt True
test_source\????.txt True

这里有一些重要的观察：

• Windows XP（与所有 NT 衍生产品一样）以 unicode 存储所有文件名
• os.listdir（和类似的函数，如 os.walk）应该传递一个 unicode 字符串，以便正确使用 unicode 路径。以下是上述链接的引述：

os.listdir()，返回文件名， 提出了一个问题：它是否应该返回 文件名的 Unicode 版本，或 它应该返回 8 位字符串吗 包含编码版本？ os.listdir() 将两者都做，具体取决于 关于您是否提供了目录 路径为 8 位字符串或 Unicode 细绳。如果你传递一个 Unicode 字符串 作为路径，文件名将被解码 使用文件系统的编码和 Unicode 字符串列表将是 返回，同时传递一个 8 位路径 将返回 8 位版本的 文件名。

• 最后，print 需要一个 ascii 字符串，而不是 unicode，因此必须将路径编码为 ascii。

Answer 4

问号是在无法以特定编码表示 unicode 字符时显示的或多或少的通用符号。您在 Windows 下的终端或交互式会话可能正在使用 ASCII 或 ISO-8859-1 或其他东西。所以实际的字符串是 unicode，但它被翻译成 ????打印到终端时。这就是为什么它适用于 PEZ，使用 OSX。