【问题标题】:Possible to use Parquet files and Text (csv) files as input to same M/R Job?可以使用 Parquet 文件和文本 (csv) 文件作为相同 M/R 作业的输入吗?
【发布时间】:2016-01-25 19:40:43
【问题描述】:

我尝试对此进行研究,但没有找到有用的信息。我有一个 M/R 作业已经从 parquet 读取(未分区,使用节俭模式)。我需要向流程中添加另一组不是镶木地板格式的输入文件,它们只是常规的 csv 文件。 任何人都知道这是否可能或如何做到?

【问题讨论】:

    标签: mapreduce thrift parquet


    【解决方案1】:

    没关系,我想我在另一篇与镶木地板无关的帖子中找到了我需要的东西。 Using multiple InputFormat classes while configuring MapReduce job

    这是我从链接到的答案中获取的信息,并适用于我自己的解决方案:

    MultipleInputs.addInputPath(job, new Path("/path/to/parquet"), ParquetInputFormat.class, ParquetMapper.class);
    MultipleInputs.addInputPath(job, new Path("/path/to/txt"), TextInputFormat.class, TextMapper.class);
    

    【讨论】:

    • 那是经典的link-only answer,几周后可能就没用了。介意提取精华并改进您的答案吗?
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-12-16
    • 2013-02-08
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多