【问题标题】:Can keys in json document be compressed in Cosmos Dbjson文档中的key可以在Cosmos Db中压缩吗
【发布时间】:2020-01-28 04:12:18
【问题描述】:

我们有一个场景,我们将从数千台机器发送遥测数据(通过 Mqtt 发送到 Azure IoT 中心)。数据的理想存储位置是 Cosmos Db,因为机器以 json 格式发送消息。该消息包含大量数字数据。问题是 json 消息中的键占用了大量存储空间,因为它们在每条消息中都重复出现。

在我们的 json 消息中,值是 150 字节,信封和键是 450 字节。

如果我们有 1000 台机器 x 5 小时/天 x 21 天/月 x 60 分钟 x 60 秒 x 600 B = 226800000 = 216 GB/月。

除了缩写我们的键名之外,还有什么方法可以压缩重复数据?

【问题讨论】:

  • 您是否担心索引空间?如果是这样,您可以从索引中排除特定属性。还是另有原因?

标签: azure-cosmosdb


【解决方案1】:

看起来压缩是一项功能请求,但还没有在产品中.. https://feedback.azure.com/forums/263030-azure-cosmos-db/suggestions/19164487-compress-stored-data

您如何查询这些数据以及多久查询一次?将部分或全部卸载到 Azure Data Lake Storage 会更具成本效益。您可以在 CosmosDB 中拥有“热”数据并随着数据老化而导出到 ADLS。

【讨论】:

  • 那么在我们的例子中,使数据更小的唯一选择是缩短键名?
猜你喜欢
  • 1970-01-01
  • 2015-01-15
  • 2014-10-30
  • 2019-04-20
  • 1970-01-01
  • 2021-12-29
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多