用 protobuf 替换 binaryformatter

Question

我需要替换将数据存储在文件中的库（序列化/反序列化） 这个库目前使用 BinaryFormatter，但对于大型列表来说速度很慢。 stackoverflow 上的许多帖子都表明 protobuf 非常高效，所以我正在尝试使用它。

为了在不重写大量代码的情况下进行替换，我的要求是：

• 必须序列化通用数据，因为我必须与 Store<T>(T data) 交互（大部分时间 T 标记有 DataContract 和/或 Serializable 属性）
• 我无法修改所有不同的对象类来添加 protobuf 属性，所以我需要一个不使用这些属性的通用方法
• 我不需要向后兼容：如果 T 对象架构更改（即新属性），所有生成的文件都已过时，将被删除/重新创建

我的第一个幼稚的实现如下所示：

public bool Store<T>(string key, T data)
{
    var formatter = Serializer.CreateFormatter<T>();
    using (var fileStream = new FileStream(this.GetFilePath(key), FileMode.Create))
    {
        formatter.Serialize(fileStream, data);
        return true;
    }
}

但后来我得到了这个例外：

类型不是预期的，也不能推断出任何契约： My.Application.Namespace.ShortcutData

目前我有点卡住了，我没有找到关于如何使用 protobuf-net 的好教程。

是否可以使用 protobuf 达到这些要求？你有关于如何做到这一点的好教程吗？

编辑：

问题确实是我需要告诉 protobuf 如何（反）序列化数据。 这是我现在拥有的：

public bool Store<T>(string key, T data)
{
    this.Register<T>();
    var formatter = Serializer.CreateFormatter<T>();
    using (var fileStream = new FileStream(this.GetFilePath(key), FileMode.Create))
    {
        formatter.Serialize(fileStream, data);
        fileStream.Close();
        return true;
    }
}

主要代码在Register方法中：

protected void Register(Type type)
{
    if (type.IsGenericType)
    {
        var arguments = type.GetGenericArguments();
        foreach (var argument in arguments)
            this.Register(argument);
    }

    if (!this._registeredTypes.Contains(type) && !type.IsValueType)
    {
        this._registeredTypes.Add(type);
        var properties = type.GetProperties();
        foreach (var property in properties)
        {
            this.Register(property.PropertyType);
        }

        try
        {
            ProtoBuf.Meta.RuntimeTypeModel.Default
                .Add(type, false)
                .Add(properties
                    .Where( p => p.CanWrite)
                    .OrderBy(x => x.Name)
                    .Select(x => x.Name)
                    .ToArray());
        }
        catch
        {
            // I've a problem here: I sometime have an error for an already registered type (??)
        }
    }
}

我知道这不是一个干净的代码，但这只是对现有代码的替代，并且将在第二步中考虑到 protobuf 的完全重写。

Answer 1

我才刚刚开始使用 Protobuf-net.. 所以请不要以为我的回答是“正确”的做事方式。毫无疑问，Marc Gravell 会在某些时候为您提供答案，您一定要注意。

..但是，我前几天写的概念证明要求我快速获得大量序列化的类。为此..我想出了这个：

var assembly = Assembly.Load("Assembly.Name.Here");

foreach (var type in assembly.GetTypes().Where(x => typeof (IInterfaceEachClassImplements).IsAssignableFrom(x))) {
    RuntimeTypeModel
        .Default
        .Add(type, false)
        .Add(type.GetProperties()
            .Select(x => x.Name)
            .ToArray());
}

基本上，它基于每个类都实现的接口将每个类加载到 protobuf-net 类型模型中......而不是应用于它们的属性。

希望这无论如何都能为您指明正确的方向。

Answer 2

ShortcutData 是什么？ protobuf 格式不包含任何类型元数据，因此引擎有必要了解如何映射数据。这可以通过多种方式完成，包括通过各种属性。该映射也可以在运行时通过涉及RuntimeTypeModel 的代码指定。例如，如果我们的ShortcutData 看起来像：

public class ShortcutData {
    public int Key {get;set;}
    public string Link {get;set;}
}

那么我们可以简单地这样做：

[ProtoContract]
public class ShortcutData {
    [ProtoMember(1)]
    public int Key {get;set;}
    [ProtoMember(2)]
    public string Link {get;set;}
}

其中1 和2 将成为protobuf 字段标识符。要序列化，您不需要使用格式化程序 API。简单地说：

public bool Store<T>(string key, T data)
{
    using (var fileStream = File.Create(GetFilePath(key)))
    {
        Serializer.Serialize<T>(fileStream, data);
        return true;
    }
}