【问题标题】:How to handle partial messages in MQTT subscriber?如何处理 MQTT 订阅者中的部分消息?
【发布时间】:2021-12-27 06:47:28
【问题描述】:

我有一个 IoT 网关设备,它每分钟向 MQTT 代理发布数据。但是,该消息以多个数据包的形式出现。我需要将这些部分消息包重新组合成一个完整的消息,解析它然后存储在数据库中。我正在使用 paho python MQTT 库。问题是每个收到的部分数据包都会触发回调,但我只想在收到与同一消息关联的所有数据包时触发它。有没有办法做到这一点?干杯

部分消息示例如下所示:

数据包 1 =

{'DB3': {'CH1-01': '243.7300', 'CH1-02': '0.0000', 'CH1-03': '0.0000', 'CH1-04': '243.7300', 'CH1-05': '0.0000', 'CH1-06': '243.7300', 'CH1-07': '0.0000', 'CH1-08': '0.0000', 'CH1-09': '0.0000', 'CH1-10': '0.0440', 'CH1-11': '0.0000', 'CH1-12': '0.0000', 'CH1-13': '0.0440', 'CH1-14': '-0.0040', 'CH1-15': '0.0000', 'CH1-16': '0.0000', 'CH1-17': '-0.0040', 'CH1-18': '0.0440', 'CH1-19': '0.0000', 'CH1-20': '0.0000', 'CH1-21': '0.0440', 'CH1-22': '0.0000', 'CH1-23': '0.0000', 'CH1-24': '0.0000', 'CH1-25': '0.0000', 'CH1-26': '50.0160', 'CH1-27': '3.6400', 'CH1-28': '0.0000', 'CH1-29': '0.0000', 'CH1-30': '0.4000', 'CH1-31': '3.6400', 'CH1-32': '0.0000', 'CH1-33': '0.0000', 'CH1-34': '0.4000', 'CH1-35': '0.0000', 'CH1-36': '0.0000', 'CH1-37': '0.0000', 'CH1-38': '0.0000', 'CH1-39': '0.0000', 'CH1-40': '0.0000', 'CH1-41': '0.0000', 'CH1-42': '0.0000', 'CH2-01': '243.6100', 'CH2-02': '0.0000', 'CH2-03': '0.0000', 'CH2-04': '243.6100', 'CH2-05': '0.0000', 'CH2-06': '243.6100', 'CH2-07': '0.0000', 'CH2-08': '0.0000'}, 'ts': 1637040150000}

数据包 2 =

{'DB3': {'CH2-09': '0.0000', 'CH2-10': '0.0000', 'CH2-11': '0.0000', 'CH2-12': '0.0000', 'CH2-13': '0.0000', 'CH2-14': '0.0000', 'CH2-15': '0.0000', 'CH2-16': '0.0000', 'CH2-17': '0.0000', 'CH2-18': '0.0040', 'CH2-19': '0.0000', 'CH2-20': '0.0000', 'CH2-21': '0.0040', 'CH2-22': '0.0000', 'CH2-23': '0.0000', 'CH2-24': '0.0000', 'CH2-25': '0.0000', 'CH2-26': '50.0200', 'CH2-27': '0.0000', 'CH2-28': '0.0000', 'CH2-29': '0.0000', 'CH2-30': '0.0000', 'CH2-31': '0.0000', 'CH2-32': '0.0000', 'CH2-33': '0.0000', 'CH2-34': '0.0000', 'CH2-35': '0.0000', 'CH2-36': '0.0000', 'CH2-37': '0.0000', 'CH2-38': '0.0000', 'CH2-39': '0.0000', 'CH2-40': '0.0000', 'CH2-41': '0.0000', 'CH2-42': '0.0000', 'CH3-01': '243.6400', 'CH3-02': '0.0000', 'CH3-03': '0.0000', 'CH3-04': '243.6400', 'CH3-05': '0.0000', 'CH3-06': '243.6400', 'CH3-07': '0.0000', 'CH3-08': '0.0000', 'CH3-09': '0.0000', 'CH3-10': '0.0000', 'CH3-11': '0.0000', 'CH3-12': '0.0000', 'CH3-13': '0.0000', 'CH3-14': '0.0000', 'CH3-15': '0.0000', 'CH3-16': '0.0000'}, 'ts': 1637040150000}

【问题讨论】:

  • 只需将数据包保存到数据结构中并检查是否所有数据包都已发送给您的回调
  • 在野外有很多类似的处理方式。例如,HTTP 使用内容长度来确定消息是否完整或是否仍有数据包丢失。其他协议使用诸如终止字符/消息之类的东西来表示就是这样。在任何情况下,您都需要累积所有数据包,直到您知道满足停止条件。
  • 这些“数据包”每一个都是完整且有效的 MQTT 消息 - 所以也许您可以添加第一条消息,上面写着“还有三个(或更多)消息来完成这个邮件”
  • @luigigi 每个发布者收到的数据包数量是一致的,所以我可以检查是否收到了预期的数据包数量。但是,不同发布者的数据包数量会有所不同,因此我需要为每个不同的发布者重新设计代码。这是可行的,但我正在寻找更通用的方法。
  • @balmy 感谢您的输入,但我无法配置发布 IoT 设备以告诉我每条消息有多少部分数据包传入。物联网设备是现成的,我只能配置我想通过 MQTT 发布哪些值和多少个值。

标签: python mqtt paho subscribe


【解决方案1】:

这不是一个真正的 MQTT 或 Paho 问题,两者都按预期工作,问题在于设备发布消息,如果无法确定它将发送多少部分或开始/结束一个数据包流。

我最好的建议是在第一条消息之后设置一个超时时间,然后在该时间段内收集所有在该时间段内到达的消息。您必须确定您设置的超时时间,但如果您已将数据配置为每 60 秒爆发一次,那么可能从 15 秒开始。

【讨论】:

  • 是的,这是我想到的解决方案之一。我可以在收到第一个数据包后触发一个计时器,然后将以下所有部分数据包附加到数据结构中。我检查了所有部分数据包都在 5 秒内收到,所以我可以将该计时器的到期时间设置为 5 秒。计时器到期后,我可以触发一个处理组合数据结构的函数。关于如何创建该计时器有什么建议吗?我正在考虑创建一个计时器线程,但我以前没有做过,所以我欢迎任何建议。
  • 听起来像一个非常笨拙的黑客,它不可避免地会失败,偶尔会导致下游混乱。祝你好运!
  • 正如第一段所暗示的,正确的解决方案是修复发布设备。
  • 我认为现在更简单和最好的选择是硬编码预期数据包的数量,并在收到所有数据包后对其进行处理,直到修复发布设备。
猜你喜欢
  • 1970-01-01
  • 2021-03-04
  • 1970-01-01
  • 1970-01-01
  • 2016-08-11
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多