在 Sqoop 的情况下，映射器输出如何写入 HDFS？

【问题标题】：How does mapper output get written to HDFS in case of Sqoop?在 Sqoop 的情况下，映射器输出如何写入 HDFS？
【发布时间】：2015-07-26 13:20:25
【问题描述】：

据我了解 Hadoop Map-Reduce 作业，映射器输出被写入本地存储而不是 HDFS，因为它最终是一次性数据，因此没有必要存储在 HDFS 中。

但正如我所见，Sqoop 映射器输出文件 part-m-00000 被写入 HDFS。所以我怀疑Hadoop中是否有一些设置来控制映射器输出的写入位置？并且默认设置为本地存储？

【问题讨论】：

【解决方案1】：

如果没有减速器，则映射器输出将写入 HDFS。即使在这种情况下，mapper 输出也不是直接写入 HDFS，而是写入单个节点磁盘，然后复制到 HDFS。

Sqoop 是一种场景，它通常是仅地图作业，您希望从表中并行获取数据，但您不需要在任何情况下减少数据。

【讨论】：