【发布时间】:2016-01-25 19:40:43
【问题描述】:
我尝试对此进行研究,但没有找到有用的信息。我有一个 M/R 作业已经从 parquet 读取(未分区,使用节俭模式)。我需要向流程中添加另一组不是镶木地板格式的输入文件,它们只是常规的 csv 文件。 任何人都知道这是否可能或如何做到?
【问题讨论】:
我尝试对此进行研究,但没有找到有用的信息。我有一个 M/R 作业已经从 parquet 读取(未分区,使用节俭模式)。我需要向流程中添加另一组不是镶木地板格式的输入文件,它们只是常规的 csv 文件。 任何人都知道这是否可能或如何做到?
【问题讨论】:
没关系,我想我在另一篇与镶木地板无关的帖子中找到了我需要的东西。 Using multiple InputFormat classes while configuring MapReduce job
这是我从链接到的答案中获取的信息,并适用于我自己的解决方案:
MultipleInputs.addInputPath(job, new Path("/path/to/parquet"), ParquetInputFormat.class, ParquetMapper.class);
MultipleInputs.addInputPath(job, new Path("/path/to/txt"), TextInputFormat.class, TextMapper.class);
【讨论】: