【发布时间】:2015-10-05 07:15:10
【问题描述】:
R-Hadoop mapreduce 中有没有类似Java mapreduce 中的setup() 和cleanup() 的方法?在所有减速器启动之前,我必须只运行一次部分代码,例如 db 调用。使用 R 编写 mapreduce 代码时是否有任何规定?
【问题讨论】:
标签: r hadoop mapreduce hadoop-streaming rhadoop
R-Hadoop mapreduce 中有没有类似Java mapreduce 中的setup() 和cleanup() 的方法?在所有减速器启动之前,我必须只运行一次部分代码,例如 db 调用。使用 R 编写 mapreduce 代码时是否有任何规定?
【问题讨论】:
标签: r hadoop mapreduce hadoop-streaming rhadoop
如果您在谈论 rmr2,则没有。如果您详细说明了您的用例,即使我失败了,我也可以尝试考虑替代方案或学习一些东西。我假设这种 DB 访问需要在 map 和 reduce 之间发生,但重要的是要了解 DB 操作是否取决于 map 阶段的输出以及 reduce 阶段是否取决于 DB 操作的结果。根据我的经验,这是一个非常独特的要求,在我看来,您必须通过两个工作来解决它,一个只有 map,一个只有 reduce。
【讨论】: