当我的程序只能以 1 Mbps 速率处理数据时如何处理 100 Mbps 输入流

Question

我正在开展一个项目，我们可以在其中输入 100 Mbps 的数据流。

我的程序可以在一夜之间用于捕获这些数据，因此会生成巨大的数据文件。我解释这些数据的程序逻辑很复杂，每秒只能处理 1 Mb 数据。

我们还会在处理后将字节转储到某个日志文件中。我们不想丢失任何传入的数据，同时希望我的程序能够实时运行。所以；我们正在维护一个类似于缓存的循环缓冲区。

目前唯一避免传入数据丢失的方法是增加此缓冲区的大小。

请建议更好的方法，以及我可以尝试的替代缓存方式是什么？

Answer 1

将输入流式传输到文件。真的，别无选择。它进来的速度比你处理它的速度要快。

您可以每秒创建一个文件的输入数据。这样您就可以在磁盘上流式传输新文件时直接开始处理旧文件。