如何最小化 Protobuf.NET 内存消耗

Question

我正在使用 Protobuf.NET 序列化大量类，其中大部分作为引用（因为我的数据结构中有多个对相同类的引用）。

所有序列化的类都通过使用 ImplicitFirends.AllFields 进行序列化，以确保 一切都被倾倒了。

在我当前的测试用例中，我有 53 个文件，总和为 500MB。

当我使用 Protobuf.NET 反序列化器读取此数据时，我的私有字节/常驻内存会飙升至 9GB 并停留在那里（即，这不是在反序列化后释放/GC 的临时内存）。

另一个奇怪的事情是，如果我重写（重新序列化）所有数据，它仍然保持相同的大小。

这个 x20 在内存中爆炸有意义吗？

Answer 1

我将运行一些测试，但它听起来就像是它为避免分配而保留的缓冲池。除了测试之外，我将在下一个版本中添加一个“转储池”方法（并禁用？）。其实想一想：我会把这些改成WeakReference，这样它们就可以在它们存在的时候被重新使用，但仍然被收集起来。

您可能还会发现（作为合同的一个选项）对子对象和列表使用“组”编码可以大大减少这里的内容； length-prefixed 是默认值（也是 Google 的首选选项），但组的写入效率更高，因为它们可以直接写入而无需任何缓冲。让我知道你是否想要一个这样的例子。 Protobuf-net 的设计使得它们之间的切换不是一个重大变化，但 other protobuf 客户端不会那么宽容，如果您使用 protobuf 与其他系统进行互操作，那就更棘手了。