如果我使用 -mapper cat 而不是 -mapper org.apache.hadoop.mapred.lib.IdentityMapper，Hadoop Streaming 的性能会降低吗？答案

【问题标题】：Does Hadoop Streaming's performance decrease if I use -mapper cat rather than -mapper org.apache.hadoop.mapred.lib.IdentityMapper?如果我使用 -mapper cat 而不是 -mapper org.apache.hadoop.mapred.lib.IdentityMapper，Hadoop Streaming 的性能会降低吗？
【发布时间】：2014-07-24 17:31:15
【问题描述】：

我在尝试使用 org.apache.hadoop.mapred.lib.IdentityMapper 作为 Hadoop Streaming 1.0.3 中 -mapper 的参数时遇到了问题。 “猫”虽然有效；使用 cat 会影响性能——尤其是在 Elastic MapReduce 上？

【问题讨论】：

我认为性能上没有太大差异，除了cat命令在java实现很常见时依赖*nix从属集群。
任何任务（map、reduce）都在 tasktracker（或 yarn 中的容器）上执行。我的意思是你只能在 *nix 服务器上使用 cat 命令。请发布您的代码以澄清问题，您如何运行您的工作？

标签： hadoop hadoop-streaming elastic-map-reduce

【解决方案1】：

我遇到了类似的问题，身份映射器不起作用，我必须使用Cat。

我们没有看到性能上的巨大变化，据我所知，identity mapper 是一个 jar，而 cat 是 unix 命令。

【讨论】：