分叉和IPC机制

Question

我正在编写一个单线程内存重的概念证明应用程序。 该应用程序本身并不会处理太多数据，主要会加载 GB 的数据，然后对其进行一些数据分析。

我不想通过 MT 实现来管理并发，不想实现锁（即互斥锁、自旋锁……）所以我决定这次使用亲爱的旧 fork()。
在内存为 CoW 的 Linux 上，我应该能够有效地分析相同的数据集，而无需显式复制它们并使用简单的并行单线程逻辑（同样，这是一个概念证明）。

现在我生成了子进程，使用 fork() 很容易为 子任务 设置输入参数（子进程 在这种情况下），但是我必须将结果返回到主进程。有时这些结果是10 GB 大。我想到的所有 IPC 机制是：

• PIPEs/Sockets（然后 epoll 相当于以单线程方式等待结果）
• Hybrid PIPEs/Shared Memory（epoll相当于参照Shared Memory等待结果，然后将数据从Shared Memory复制到父进程，销毁Shared Memory）

我还能用什么？除了明显的“多线程”之外，我真的想利用 CoW 和单线程多进程架构来实现这个概念验证时间>。有什么想法吗？

谢谢

Answer 1

经过一些实验，我得到的结论如下：

1. 当子进程必须与父进程通信时，在生成此类子进程之前，我会创建一段共享内存（即 16 MB）
2. 如果需要协调，则会在 sh mem 段中创建信号量
3. 然后在分叉时，我 pipe2 使用 nonblocking 套接字，以便孩子可以在某些数据可用时通知父母
4. 管道fd 然后用于epoll
5. epoll 用作Level Triggered，因此如果子进程真的发送数据速度很快，我可以交错请求
6. 如果结构为pod，则共享内存段用于直接通信数据，如果不是，则使用简单的template<...> 二进制读/写函数

我相信这是一个很好的解决方案。
干杯

Answer 2

您也可以使用常规文件。

父进程可以等待子进程（分析内存中的数据，然后将其结果写入文件）退出，一旦它退出，您必须能够从文件中读取数据。正如您所提到的，输入参数不是问题，您可以在其中一个输入参数中指定要写入的文件名。这样，不需要锁定，或者除了子进程退出状态的 wait() 之外。

我想知道您的每个子进程是否返回 10s 的大数据，这样使用常规文件会更好，因为您将有足够的时间来处理每个子进程的结果。但是这 10GB 的数据是跨子进程共享的吗？如果是这样的话，你会更喜欢使用锁，所以我认为不是。