【问题标题】:What's the difference between "Job Duration" and "Batch Processing Time" in Spark Streaming?Spark Streaming 中的“作业持续时间”和“批处理时间”有什么区别?
【发布时间】:2016-01-15 16:59:53
【问题描述】:

我的应用程序在 Spark UI 中的工作持续时间如下: Job Duration in Spark UI

这是 Spark UI 中的批处理时间: Batch Processing Time in Spark UI

请注意,批处理时间通常比作业持续时间长。那么,它们之间有什么区别呢?

【问题讨论】:

    标签: apache-spark spark-streaming


    【解决方案1】:

    Spark 一起处理所有作业,以更好地利用 CPU 时间。这就是批处理时间比作业处理时间长的原因。

    【讨论】:

    • 哦,但是在我的申请中,一个批次对应一个作业,那么有什么区别呢?
    猜你喜欢
    • 2015-06-19
    • 2018-07-24
    • 2017-05-02
    • 2017-06-24
    • 1970-01-01
    • 2016-06-07
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多