没有输入文件的 Hadoop 流作业

Question

是否可以执行没有输入文件的 Hadoop Streaming 作业？

在我的用例中，我能够使用单个映射器和执行参数为减速器生成必要的记录。目前，我正在使用单行存根输入文件，我想删除此要求。

我们有 2 个用例。
1)

1. 我想将文件加载从所有节点都可用的网络位置分发到 hdfs。基本上，我将在映射器中运行 ls 并将输出发送到一小组 reducer。
2. 我们将利用几个不同的参数范围对几个模型进行拟合。模型名称不会更改，并将作为键转到 reducer，同时在映射器中生成要运行的测试列表。

Answer 1

根据docs，这是不可能的。以下是执行所需的参数：

• 输入目录名或文件名
• 输出目录名
• 映射器可执行文件或 JavaClassName
• reducer 可执行文件或 JavaClassName

目前看来，提供一个虚拟输入文件是可行的方法。