如何使用 Flume 将 .txt 文件中的 XML 数据转换为 Avro 格式并保存到 hdfs答案

【问题标题】：How to convert XML data coming in .txt files to Avro format using flume and save to hdfs如何使用 Flume 将 .txt 文件中的 XML 数据转换为 Avro 格式并保存到 hdfs
【发布时间】：2017-12-28 07:57:00
【问题描述】：

文本文件中的 xml 数据。将它们摄入flume和kafka到hdfs并以.txt文件格式保存。

退出用例： xml 文件正在通过 flume →kafka→flumeintercepter 摄取（验证模式是否有效）--> 发送到有效或无效的 kafka tpoic →hdfs sink（有效和无效）保存在 .txt 文件中

新的是：

我需要获取有效的kafka主题并且需要编写自己的flume拦截器将xml数据转换为avro格式并发送到→hdfs sink（hdfs有效位置）最终输出需要采用 avro 文件格式..

任何帮助将不胜感激

提前致谢...

【问题讨论】：

标签： xml avro flume

【解决方案1】：

您可以使用 apache kite morphlines 拦截器将您的数据转换为 avro

看看这个

http://community.cloudera.com/t5/Kite-SDK-includes-Morphlines/Morphline-command-to-parse-xml/m-p/9378

https://community.cloudera.com/t5/Kite-SDK-includes-Morphlines/Flume-morphline-sink-to-HDFS/td-p/1787

希望对你有帮助:)

【讨论】：

非常感谢湖...但这并不是我想要的

【解决方案2】：

您可能有兴趣使用 apache avro JAVA API 将您的 XML 转换为 AVRO - http://avro.apache.org/docs/1.8.2/gettingstartedjava.html

转换后，您可以在水槽拦截器中使用此代码并编写 AVRO 文件，但您还需要有 avro 架构，您可以从 XSD 架构创建它。

我在 springxd 流中做了类似的事情。

希望对你有帮助

【讨论】：

感谢分享 Aj007