【问题标题】:Spark Streaming two action ned to be run after each otherSpark Streaming 两个动作需要一个接一个地运行
【发布时间】:2016-11-21 14:10:32
【问题描述】:

我有一个 Spark 流应用程序,我正在处理 FileStream..流将有两个主要操作,我需要在第一个操作完成时准确地调用第二个操作

dstrea.foreachRDD(action1)
dstream.foreachRDD(action2)

action 1 将一些信息更新到 hbase...而 acton 2 从这些信息中读取,因此在每个批处理中 action 2 shroud 在 action1 之后运行

我想知道如何实现这个功能?

【问题讨论】:

    标签: spark-streaming


    【解决方案1】:

    您可以尝试将这两个操作组合在一个 foreachRDD 函数中:

    dstream.foreachRDD(rdd=>{
        action1
        action2
    })
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2021-06-29
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多