在 Python 中创建竞争条件文件夹

Question

我有一个 urllib2 缓存模块，由于以下代码偶尔会崩溃：

if not os.path.exists(self.cache_location):
    os.mkdir(self.cache_location)

问题是，在执行第二行的时候，文件夹可能已经存在，会报错：

 文件“.../cache.py”，第 103 行，在 __init__ 中
    os.mkdir(self.cache_location)
OSError: [Errno 17] 文件存在：'/tmp/examplecachedir/'

这是因为脚本多次同时启动，第三方代码我无法控制。

代码（在我尝试修复错误之前）可以找到here, on github

我不能使用 tempfile.mkstemp，因为它通过使用随机命名的目录 (tempfile.py source here) 来解决竞争条件，这会破坏缓存的用途。

我不想简单地丢弃错误，因为如果文件夹名称作为文件存在（不同的错误），则会引发相同的错误 Errno 17 错误，例如：

$ 触摸等等
$蟒蛇
>>> 导入操作系统
>>> os.mkdir("废话")
回溯（最近一次通话最后）：
  文件“”，第 1 行，在
OSError：[Errno 17] 文件存在：'blah'
>>>

我不能使用threading.RLock，因为代码是从多个进程调用的。

所以，我尝试编写一个简单的基于文件的锁 (that version can be found here)，但这有一个问题：它会在上一级创建锁文件，因此 /tmp/example.lock 用于 /tmp/example/，如果使用 @987654329，则会中断@ 作为缓存目录（因为它试图使/tmp.lock）..

简而言之，我需要将urllib2 响应缓存到磁盘。为此，我需要以多进程安全的方式访问一个已知目录（如果需要，创建它）。它需要在 OS X、Linux 和 Windows 上运行。

想法？我能想到的唯一替代解决方案是使用 SQLite3 存储而不是文件来重写缓存模块。

Answer 1

代替

if not os.path.exists(self.cache_location):
    os.mkdir(self.cache_location)

你可以的

try:
    os.makedirs(self.cache_location)
except OSError:
    pass

正如你最终会得到相同的功能。

_{免责声明：我不知道这可能是 Pythonic。}

---

使用SQLite3，可能有点矫枉过正，但会为您的用例增加很多功能和灵活性。

如果您必须进行大量“选择”、并发插入和过滤，最好使用SQLite3，因为它不会比简单文件增加太多复杂性（可以说它消除了复杂性） .

---

重读您的问题（和 cmets）我可以更好地理解您的问题。

文件可能产生相同的竞争条件的可能性有多大？

如果它足够小，那么我会这样做：

if not os.path.isfile(self.cache_location):
    try:
        os.makedirs(self.cache_location)
    except OSError:
        pass

另外，阅读你的代码，我会改变

else:
    # Our target dir is already a file, or different error,
    # relay the error!
    raise OSError(e)

到

else:
    # Our target dir is already a file, or different error,
    # relay the error!
    raise

因为它真的是你想要的，Python 重新引发完全相同的异常_{（只是挑剔）}。

---

还有一点，this 可能对你有用（仅限类 Unix）。

Answer 2

我最终得到的代码是：

import os
import errno

folder_location = "/tmp/example_dir"

try:
    os.mkdir(folder_location)
except OSError as e:
    if e.errno == errno.EEXIST and os.path.isdir(folder_location):
        # File exists, and it's a directory,
        # another process beat us to creating this dir, that's OK.
        pass
    else:
        # Our target dir exists as a file, or different error,
        # reraise the error!
        raise

Answer 3

在 Python 3.x 中，您可以使用os.makedirs(path, exist_ok=True)，如果存在此类目录，则不会引发任何异常。如果存在与请求目录 (path) 同名的文件，它将引发 FileExistsError: [Errno 17]。

验证它：

import os

parent = os.path.dirname(__file__)

target = os.path.join(parent, 'target')

os.makedirs(target, exist_ok=True)
os.makedirs(target, exist_ok=True)

os.rmdir(target)

with open(target, 'w'):
    pass

os.makedirs(target, exist_ok=True)

Answer 4

能否捕捉到异常，然后测试文件是否作为目录存在？

Answer 5

当你有比赛条件时，EAFP（请求宽恕比许可更容易）比 LBYL（跳前看）效果更好

Error checking strategies