如何有效地在 Python 中的多个线程和进程之间共享数据？

Question

我有一个从cmd2 运行的主线程Cmd。这使我可以使用threading.Thread()“实时”执行模拟以交互方式启动新线程。每个时间步的模拟结果都是put() 中的multiprocessing.Queue()。此外，我可以使用matplotlib.animate 开始实时绘图。我读到matplotlib 不是线程安全的，所以这些图以multiprocessing.Process() 和get() 的模拟结果从队列运行。

不幸的是，一旦收集了队列中的项目，它们就会从队列中删除，并且不能用于其他线程或进程。这意味着我可以将数据从模拟线程发送到绘图进程，但不能在我的主线程中同时使用模拟结果。

一种解决方案可能是在每个模拟线程中有两个队列：一个队列到主线程，一个队列到绘图进程。这似乎不是最佳解决方案，而是一个相当复杂的解决方案。

有没有人知道如何实现某种线程安全的共享变量，每个线程和进程都可以读取和写入？

Answer 1

一般来说，线程和内存之间共享数据主要有两种方式：

• 消息传递
• 共享内存

Python 鼓励您避免编写使用共享内存的代码，如果您需要在线程和进程之间共享数据，您应该只复制数据并通过队列发送。

如果您需要实际的共享内存，这会带来很多危险，因为您必须处理锁以避免问题。此外，这对于许多 python 对象来说可能是不可能的，因为一个进程中的所有 python 对象都共享一个 GIL。

我读到 matplotlib 不是线程安全的

不是多线程安全的代码通常也不是多进程安全的。

有没有人知道如何实现某种线程安全的共享变量，每个线程和进程都可以读取和写入？

你不想，或者如果你真的必须，使用数据库。