【问题标题】:Is there any methods in R-Hadoop mapreduce, similar to setup() and cleanup() in Java mapreduce?R-Hadoop mapreduce 中是否有任何方法,类似于 Java mapreduce 中的 setup() 和 cleanup()?
【发布时间】:2015-10-05 07:15:10
【问题描述】:

R-Hadoop mapreduce 中有没有类似Java mapreduce 中的setup() 和cleanup() 的方法?在所有减速器启动之前,我必须只运行一次部分代码,例如 db 调用。使用 R 编写 mapreduce 代码时是否有任何规定?

【问题讨论】:

    标签: r hadoop mapreduce hadoop-streaming rhadoop


    【解决方案1】:

    如果您在谈论 rmr2,则没有。如果您详细说明了您的用例,即使我失败了,我也可以尝试考虑替代方案或学习一些东西。我假设这种 DB 访问需要在 map 和 reduce 之间发生,但重要的是要了解 DB 操作是否取决于 map 阶段的输出以及 reduce 阶段是否取决于 DB 操作的结果。根据我的经验,这是一个非常独特的要求,在我看来,您必须通过两个工作来解决它,一个只有 map,一个只有 reduce。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-02-16
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多