【发布时间】:2019-12-27 14:01:53
【问题描述】:
我需要设置一个 Spark Streaming 应用程序。应用程序的作业需要根据整个应用程序的运行时间做出一些决定。
例如,假设 Spark Streaming 应用程序是在 08:00 提交的。 08:00 到 10:00 之间运行的作业应该做加号操作,而 10:00 之后运行的作业应该做减号操作。
如何记录第一个作业(或应用程序)的开始时间并确定每个作业与第一个作业之间的时间间隔?或者有没有其他好的解决方案?
【问题讨论】:
标签: apache-spark spark-streaming