【发布时间】:2017-11-29 11:30:16
【问题描述】:
在我的场景中,用户可以选择上传 CSV 文件,并且可以将该 CSV 文件的列映射到预定义的架构。我需要根据用户映射对该 CSV 文件的列重新排序并将其上传到 HDFS。有没有办法通过 NIFI 处理器来实现这一点?
【问题讨论】:
-
当然,你可以编写自己的处理器来做任何事情
标签: csv hadoop apache-nifi
在我的场景中,用户可以选择上传 CSV 文件,并且可以将该 CSV 文件的列映射到预定义的架构。我需要根据用户映射对该 CSV 文件的列重新排序并将其上传到 HDFS。有没有办法通过 NIFI 处理器来实现这一点?
【问题讨论】:
标签: csv hadoop apache-nifi
您可以使用ConvertRecord 处理器完成此操作。在模式注册表(控制器服务)中注册描述预期格式的 Avro 模式,并创建一个CSVReader 实现以将此传入数据转换为通用 Apache NiFi 内部记录格式。同样,将CSVRecordSetWriter 与您的输出模式一起使用,以您喜欢的任何列顺序将数据写回CSV。
有关记录处理原理和一些示例的更多信息,请参阅Record-oriented data with NiFi 和Apache NiFi Records and Schema Registries。
【讨论】: