Python：并发文件搜索

Question

我正在寻找一种允许并发文件对象查找的方法。

作为文件搜索谨慎的测试用例：

#!/usr/bin/env python2
import time, random, os
s = 'The quick brown fox jumps over the lazy dog'

# create some file, just for testing
f = open('file.txt', 'w')
f.write(s)
f.close()

# the actual code...
f = open('file.txt', 'rb')
def fn():
    out = ''
    for i in xrange(10):
        k = random.randint(0, len(s)-1)
        f.seek(k)
        time.sleep(random.randint(1, 4)/10.)
        out += s[k] + ' ' + f.read(1) + '\n'
    return out

import multiprocessing
p = multiprocessing.Pool()
n = 3
res = [p.apply_async(fn) for _ in xrange(n)]
for r in res:
    print r.get()
f.close()

我有工作进程，它们在文件中进行随机搜索，然后是 sleep，然后是 read。我将read 与实际的字符串字符进行比较。我不会立即打印以避免打印的并发问题。

可以看到n=1时一切顺利，但n>1时由于文件描述符中的并发性，一切都误入歧途。

我试图在fn() 中复制文件描述符：

def fn():
    fd = os.dup(f)
    f2 = os.fdopen(fd)

然后我使用f2。但这似乎没有帮助。

如何同时进行搜索，即从多个进程中进行搜索？ （在这种情况下，我可以只 open fn() 中的文件，但这是一个 MWE。在我的实际情况下，这样做更难。）

Answer 1

你不能 - Python I/O 建立在 C 的 I/O 之上，并且 C 中每个打开的文件只有一个“当前文件位置”。这是固有共享的。

你可以做的是在进程间锁的保护下执行你的查找+读取。

喜欢定义：

def process_init(lock):
    global seek_lock
    seek_lock = lock

并在主进程中将其添加到Pool 构造函数中：

initializer=process_init, initargs=(multiprocessing.Lock(),)

那么无论何时你想寻找和阅读，都在那个锁的保护下进行：

with seek_lock:
     f.seek(k)
     char = f.read(1)

与任何锁一样，您希望在持有它的同时尽可能少地执行逻辑上的必要操作。它不允许并发查找，但会防止一个进程中的查找干扰其他进程中的查找。

当然，最好在每个进程中打开文件，这样每个进程都有自己的文件位置概念——但你已经说过你不能。重新考虑;-)