【问题标题】:Run a Hadoop job without output file运行没有输出文件的 Hadoop 作业
【发布时间】:2017-03-03 03:19:35
【问题描述】:

是否可以在不指定输出文件的情况下运行 hadoop 作业? 当我尝试运行 hadoop 作业时,未抛出指定的输出文件异常。 任何人都可以使用Java提供任何程序。

我正在将reduce处理的数据写入非关系数据库,因此我不再需要它写入HDFS。

【问题讨论】:

  • 您需要提供更多关于您尝试过的内容和尝试执行的操作的信息。运行 MR 工作的目的是什么?为了使其有意义,它将产生某种输出。它去哪儿了?显然不是 HDFS。它是去 HBase 还是一些外部存储或服务?
  • 对不起,我已经更新了我的问题。

标签: hadoop


【解决方案1】:

很遗憾,您不能真正做到这一点。编写输出是框架的一部分。当你在框架之外工作时,你基本上只需要处理后果。

您可以使用NullOutputFormat,它不会将任何数据写入 HDFS。不过,我认为它仍然会创建文件夹。你总是可以让 Hadoop 创建文件夹,然后 delete it

【讨论】:

  • 仅供参考 NullOutputFormat 不需要定义输出文件夹,所以应该给你你需要的东西
猜你喜欢
  • 2016-06-10
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2014-10-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多