Hortonworks Data Platform 2.1（沙盒）无法完成非常简单的 RHadoop 作业答案

【问题标题】：Hortonworks Data Platform 2.1 (sandbox) unable to complete a very simple RHadoop jobHortonworks Data Platform 2.1（沙盒）无法完成非常简单的 RHadoop 作业
【发布时间】：2014-10-15 19:13:55
【问题描述】：

我已经在 Hortonworks Data Platform 2.1（沙盒）的基础上安装了 rhdfs 和 rmr2 软件包，并在分配了 8 GM RAM 的 64 位 VM 单节点上。当我尝试运行以下非常简单的 RHadoop 作业时，它会花很长时间，但永远无法完成（尽管在增加了 yarn.nodemanager.resource.memory-mb 和 yarn.scheduler.maximum- 的值后没有遇到运行时错误allocation-mb 从默认值改为 4096）：

from.dfs(mapreduce(to.dfs(1:100)))

感谢有关如何使底层 HDP 完成如此简单的 RHadoop 作业的任何建议。

为了确保我的 HDP 在安装 RHadoop 后仍能正常工作，我已确认：

mapred job -kill job_my_rhadoop_job_id
yarn jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples-2.4.0.2.1.1.0-385.jar pi 16 100000
Job Finished in 70.457 seconds
Estimated value of Pi is 3.14157500000000000000

【问题讨论】：

标签： hortonworks-data-platform rhadoop

【解决方案1】：

由于在 HDP 上运行 RHadoop 没有成功，我转而在 HDP 上运行 H2O，以及远程连接到 H2O 的 RStudio/R。这样的组合似乎与我的虚拟机所拥有的效果很好。因此，在我个人看来，避免在 HDP 之上使用 RHadoop。

【讨论】：