【问题标题】:Is there a way to specify a simpler JSON (de-)serialization for std::map using Cereal / C++?有没有办法使用 Cereal / C++ 为 std::map 指定更简单的 JSON(反)序列化?
【发布时间】:2014-04-29 11:22:31
【问题描述】:

我正在处理的项目是一个管理大量自定义硬件设备的 C++ 应用程序。该应用程序具有客户端的套接字/端口接口(如 GUI)。每种设备类型都有自己明确定义的 JSON 模式,我们可以使用 Cereal 对它们进行序列化。

但应用还需要解析来自客户端的入站 JSON 请求。请求的一部分指定设备过滤器参数,大致类似于 SQL 的“WHERE”子句,其中所有表达式都被“与”在一起。例如:

"filter": { "type": "sensor", "status": "critical" }

这表明客户端希望对每个处于“关键”状态的“传感器”设备执行操作。从表面上看,过滤器参数的 C++ 实现似乎是一个 std::map。但是当我们尝试使用 Cereal 反序列化对象时,它失败了。当我们序列化一个硬编码的过滤器映射时,它看起来像这样:

"filter": [
   { "key": "type", "value": "sensor" },
   { "key": "status", "value": "critical" }
]

现在我可以理解为什么 Cereal 支持这种 map 的详细序列化了。毕竟,映射的键可以是非字符串类型。但在这种情况下,键 一个字符串。

我并不完全热衷于重写我们的接口规范并让我们的客户生成明显非惯用的 JSON 来满足 Cereal。我是 Cereal 的新手,我们被困在这一点上。有没有办法告诉 Cereal 将此过滤器解析为 std::map?或者,也许我问错了。我们应该反序列化到其他一些 stl 容器吗?

【问题讨论】:

  • 两个小问题 - 您是否希望您的输入始终存储在 JSON 对象中?您可能已经注意到,谷物使用 JSON 数组来存储可变大小的容器。其次,如果您无法控制这一点,您是否有办法知道您的查询将在 JSON 对象中返回的名称-值对的数量?
  • @Azoth,是的,协议定义为 JSON。不,没有预先定义的配对数量——这就是重点。我现在怀疑 Cereal 不起作用,我们将选择其他反序列化过滤器的方法。

标签: c++ json serialization stl cereal


【解决方案1】:

让我首先说明为什么谷物输出的样式比您可能想要的更冗长。谷物是为与任意序列化档案一起工作而编写的,并采取了一种满足所有这些档案的中间方法。想象一下,键类型比字符串或算术类型更复杂——我们如何以简单的"key" : "value" 方式对其进行序列化?

另请注意,谷物预计会成为它读取的任何数据的祖先。


话虽如此,谷物完全可以满足您的需求,但存在一些障碍:

要克服的最大障碍是,您所需的输入序列化了 JSON 对象而不是 JSON 数组中一些未知数量的名称-值对。谷物被设计为在处理可以容纳可变数量元素的容器时使用 JSON 数组,因为考虑到它使用的底层 rapidjson 解析器,这是最有意义的。

其次,谷物目前不希望名称-值-对中的名称实际加载到内存中 - 它只是将它们用作组织工具。


如此漫无边际,这里有一个完全可行的解决方案(可以变得更优雅),只需对谷物进行极少的更改(这实际上使用了 slated for cereal 1.1 的更改,当前版本是 1.0):

将此函数添加到JSONInputArchive:

//! Retrieves the current node name
/*! @return nullptr if no name exists */
const char * getNodeName() const
{
  return itsIteratorStack.back().name();
}

然后,您可以为一对字符串编写std::map(或无序,随您喜欢)的序列化的特化。确保将其放在 cereal 命名空间中,以便编译器可以找到它。这段代码应该存在于您自己的文件中:

namespace cereal
{
  //! Saving for std::map<std::string, std::string>
  template <class Archive, class C, class A> inline
  void save( Archive & ar, std::map<std::string, std::string, C, A> const & map )
  {
    for( const auto & i : map )
      ar( cereal::make_nvp( i.first, i.second ) );
  }

  //! Loading for std::map<std::string, std::string>
  template <class Archive, class C, class A> inline
  void load( Archive & ar, std::map<std::string, std::string, C, A> & map )
  {
    map.clear();

    auto hint = map.begin();
    while( true )
    {
      const auto namePtr = ar.getNodeName();

      if( !namePtr )
        break;

      std::string key = namePtr;
      std::string value; ar( value );
      hint = map.emplace_hint( hint, std::move( key ), std::move( value ) );
    }
  }
} // namespace cereal

这不是最优雅的解决方案,但效果很好。我将所有内容都保留为通用模板,但鉴于所做的更改,我上面写的内容仅适用于 JSON 档案。在 XML 存档中添加一个类似的 getNodeName() 可能也会让它在那里工作,但显然这对二进制存档没有意义。

为了使这个干净,你想把enable_if 放在它周围的档案中。您还需要修改谷物中的 JSON 档案以使用可变大小的 JSON 对象。要了解如何执行此操作,请查看当谷物获得 SizeTag 进行序列化时如何在存档中设置状态。基本上,您必须使存档不打开数组而是打开一个对象,然后创建您自己的loadSize() 版本,以查看该对象有多大(这将是一个Member 在rapidjson 用语中)。


要查看上述内容,请运行以下代码:

int main()
{
  std::stringstream ss;
  {
    cereal::JSONOutputArchive ar(ss);
    std::map<std::string, std::string> filter = {{"type", "sensor"}, {"status", "critical"}};

    ar( CEREAL_NVP(filter) );
  }

  std::cout << ss.str() << std::endl;

  {
    cereal::JSONInputArchive ar(ss);
    cereal::JSONOutputArchive ar2(std::cout);

    std::map<std::string, std::string> filter;

    ar( CEREAL_NVP(filter) );
    ar2( CEREAL_NVP(filter) );
  }

  std::cout << std::endl;
  return 0;
}

你会得到:

{
    "filter": {
        "status": "critical",
        "type": "sensor"
    }
}
{
    "filter": {
        "status": "critical",
        "type": "sensor"
    }
}

【讨论】:

  • 我正在尝试对此进行测试,但遇到了一些障碍。第一个问题是在我们的标题中JSONInputArchive 没有成员itsIteratorStack。数据成员列表如下所示: private: ReadStream itsReadStream; //! itsValueStack; //!itsValueStack 替换itsIteratorStack,但随后编译器抱怨name
  • 呃,不习惯 StackOverflow 的评论限制。我替换后的编译器错误:/usr/local/include/cereal/archives/json.hpp:327:39:错误:'const value_type'没有名为'name'的成员返回 itsValueStack.back().name();我怀疑存在(1)版本差异(我无法确定我们拥有的谷物版本 - 标题中没有标识符),或者(2)可能缺少另一段代码,例如@987654341 class Iterator 的 @ 方法嵌套在 JSONInputArchive 中。
  • 您使用的是最新版本的麦片吗? 1.0 刚刚发布一天左右,包含大量更改:github.com/USCiLab/cereal/releases
  • 有效!我们必须将我们的谷物标头升级到 1.0,然后它才起作用。非常感谢您的帮助!
猜你喜欢
  • 1970-01-01
  • 2018-04-28
  • 1970-01-01
  • 1970-01-01
  • 2022-01-21
  • 1970-01-01
  • 2019-10-27
  • 2012-08-28
  • 2020-01-11
相关资源
最近更新 更多