【问题标题】:How to reorder CSV columns using apache NIFI processor?如何使用 apache NIFI 处理器重新排序 CSV 列?
【发布时间】:2017-11-29 11:30:16
【问题描述】:

在我的场景中,用户可以选择上传 CSV 文件,并且可以将该 CSV 文件的列映射到预定义的架构。我需要根据用户映射对该 CSV 文件的列重新排序并将其上传到 HDFS。有没有办法通过 NIFI 处理器来实现这一点?

【问题讨论】:

  • 当然,你可以编写自己的处理器来做任何事情

标签: csv hadoop apache-nifi


【解决方案1】:

您可以使用ConvertRecord 处理器完成此操作。在模式注册表(控制器服务)中注册描述预期格式的 Avro 模式,并创建一个CSVReader 实现以将此传入数据转换为通用 Apache NiFi 内部记录格式。同样,将CSVRecordSetWriter 与您的输出模式一起使用,以您喜欢的任何列顺序将数据写回CSV。

有关记录处理原理和一些示例的更多信息,请参阅Record-oriented data with NiFiApache NiFi Records and Schema Registries

【讨论】:

    猜你喜欢
    • 2020-01-30
    • 2020-03-01
    • 2020-03-10
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-09-17
    • 1970-01-01
    相关资源
    最近更新 更多