【问题标题】:Convert JSON to CSV in nifi在 nifi 中将 JSON 转换为 CSV
【发布时间】:2018-03-07 06:50:32
【问题描述】:

我想在 nifi 中将 JSON 文件转换为 CSV。我们可以在 Python 和其他编程语言中实现这一点,并且有很多关于它的文章。我有多个 JSON 文件,每个文件都有不同的架构(一个特定的文件只有一个架构)。我可以看到有模板可以将 CSV 转换为 JSON 和其他转换。但我没有看到任何将 JSON 数据转换为 CSV 的模板。我已经阅读了https://community.hortonworks.com/articles/64069/converting-a-large-json-file-into-csv.html 的文章,但是在这里我们对模式进行了硬编码。由于我有多个文件并且每个文件都有不同的架构,因此我无法对架构进行硬编码。请有任何建议。

【问题讨论】:

  • 您能否在您的问题中提供一个 json 和预期 csv 的示例?

标签: json csv apache-nifi hortonworks-dataflow


【解决方案1】:

格式之间的转换通常通过 ConvertRecord 完成,方法是插入适当的记录读取器和记录写入器,在本例中为 JSON 读取器和 CSV 写入器。

要使用记录处理器,您需要为数据定义 Avro 模式并将它们放入模式注册表中,NiFi 提供了一个本地模式。

有很多关于记录的例子和帖子,这个幻灯片展示了一个 CSV 到 JSON 的例子,但是很容易扭转你的情况:

https://www.slideshare.net/BryanBende/apache-nifi-record-processing

这篇文章还有一些其他信息: https://bryanbende.com/development/2017/06/20/apache-nifi-records-and-schema-registries

【讨论】:

  • 是否可以将涉及列表和字典的6级以上嵌套的复杂json转换为csv?
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多