【问题标题】:How to get Spark Streaming running time如何获取 Spark Streaming 的运行时间
【发布时间】:2019-12-27 14:01:53
【问题描述】:

我需要设置一个 Spark Streaming 应用程序。应用程序的作业需要根据整个应用程序的运行时间做出一些决定。

例如,假设 Spark Streaming 应用程序是在 08:00 提交的。 08:00 到 10:00 之间运行的作业应该做加号操作,而 10:00 之后运行的作业应该做减号操作。

如何记录第一个作业(或应用程序)的开始时间并确定每个作业与第一个作业之间的时间间隔?或者有没有其他好的解决方案?

【问题讨论】:

    标签: apache-spark spark-streaming


    【解决方案1】:

    SparkContextstartTime() 方法返回它激活的时间。

    【讨论】:

      猜你喜欢
      • 2023-03-10
      • 1970-01-01
      • 2017-12-31
      • 2019-03-10
      • 1970-01-01
      • 1970-01-01
      • 2017-09-30
      • 2020-02-10
      • 1970-01-01
      相关资源
      最近更新 更多