为什么 sqlite3 不能与 NFS 一起使用？

Question

我改用 sqlite3 而不是 MySQL，因为我必须在没有 mysql 的 PBS 系统上运行许多作业。当然，在我的机器上我没有 NFS，而 PBS 上存在 NFS。在花费大量时间切换到 sqlite3 之后，我去运行许多工作并且我损坏了我的数据库。 当然在 sqlite3 FAQ 中提到了 NFS，但我刚开始时甚至没有考虑过。

我可以在工作开始时复制数据库，但它会变成合并的噩梦！

我永远不会向我的任何同事推荐 sqlite，原因很简单：“sqlite 不起作用（在重要的机器上）”

我读过关于 NFS 没有达到标准的咆哮，这是他们的错。 我尝试了一些解决方法，但正如this post 建议的那样，这是不可能的。

难道没有牺牲性能的解决方法吗？

那我该怎么办？试试其他的数据库软件？哪一个？

Answer 1

您使用了错误的工具。根据这个经验说“我永远不会推荐 sqlite ...”有点像在你用它们敲钉子时说“我永远不会推荐玻璃瓶”。

您需要更准确地说明您的问题。我试图在你问题的字里行间阅读给了我这样的东西：

您有许多节点通过一些未指定的路径工作，并产生输出。作业不交互，因为您说您可以复制数据库。所有作业的输出可以在完成后合并。你如何有效地产生合并的输出？

鉴于这个问题，这是我的建议：

让每个作业在一个结构化文件中生成其输出，每个作业都是独一无二的。作业完成后，编写一个程序来解析每个文件并将其插入到 sqlite3 数据库中。这以它可以处理的方式使用 NFS（单进程按顺序写入文件）并以同样合理的方式使用 sqlite3（单进程写入本地文件系统上的数据库）。这可以避免在运行作业时出现 NFS 锁定问题，并且应该会提高吞吐量，因为您不会在 sqlite3 数据库上发生争用。