使用 HDFStore 文件的线程和异常安全方式

Question

以下代码sn-p：

    HDFStore = pandas.io.pytables.HDFStore
    lock = threading.RLock()
    with lock:
        store = HDFStore('my_datafile.hdf','r')
        data_frame = store['my_series']
        store.close()
    return data_frame['my_column']

是为了响应web请求而执行的，所以它可能同时在多个线程上执行。也有可能在调用 store.close 之前就中断了执行。

我遇到了一些无法重现的问题（HDFStore 库中的异常或返回的空数据）。

使此代码线程安全并确保文件在异常时正确关闭的正确方法是什么？

通过一些调查，我发现 HDFStore 具有用于打开文件的缓存机制......也许这可能是问题所在？

Answer 1

参考pandasdocs

然后发布 PyTables 3.1 release notes

这应该在 PyTables 3.0.0 上工作。只要您不在其他任何地方写入文件（因为它已经存在）。

您也可以尝试这样做：

with get_store('my_datafile.hdf',mode='r') as store:
    return store['my_series']

它会自动为你关闭它（我不认为这是线程安全的，但也许如果你把它放在你的 with lock: 中它会是线程安全的。

如果您只是阅读，那么您根本不关心线程安全。 在任何情况下都不要尝试在多个线程（甚至进程）中写入。这会炸毁你的文件。

PyTables 3.1 刚刚发布，至少在较低的 HDF5 版本上更改了文件缓存机制，请查看您的版本：

import tables
tables.get_hdf_version()

我不知道这会对线程安全性产生什么影响。