【问题标题】:Update base data when spark streaming火花流式传输时更新基础数据
【发布时间】:2016-09-14 08:47:32
【问题描述】:

在我的场景中,数据 a 将使用 spark 流以实时方式从 kafka 读取。根据一个rdbms(MySQL等)的数据A,也就是T+1的累积数据,进行计算,例如result=A+a。 接下来累积的数据是B,计算结果是result = B+a

我的问题是如何根据 rdbms 的 T+1 数据对数据求和。

提前谢谢你!

【问题讨论】:

    标签: streaming spark-streaming


    【解决方案1】:

    我们最终通过使用 redis 解决了这个问题。每天从rdbms导入数据,更新redis中的数据,每天结束时将数据导出到rdbms结果表。关闭此问题,谢谢。

    【讨论】:

      猜你喜欢
      • 2015-11-18
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-11-16
      • 2018-03-21
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多