【发布时间】:2016-09-14 08:47:32
【问题描述】:
在我的场景中,数据 a 将使用 spark 流以实时方式从 kafka 读取。根据一个rdbms(MySQL等)的数据A,也就是T+1的累积数据,进行计算,例如result=A+a。 接下来累积的数据是B,计算结果是result = B+a
我的问题是如何根据 rdbms 的 T+1 数据对数据求和。
提前谢谢你!
【问题讨论】:
在我的场景中,数据 a 将使用 spark 流以实时方式从 kafka 读取。根据一个rdbms(MySQL等)的数据A,也就是T+1的累积数据,进行计算,例如result=A+a。 接下来累积的数据是B,计算结果是result = B+a
我的问题是如何根据 rdbms 的 T+1 数据对数据求和。
提前谢谢你!
【问题讨论】:
我们最终通过使用 redis 解决了这个问题。每天从rdbms导入数据,更新redis中的数据,每天结束时将数据导出到rdbms结果表。关闭此问题,谢谢。
【讨论】: