【发布时间】:2016-05-10 21:32:07
【问题描述】:
我是 NIFI 的新手,我的用例是从端口读取并以 parquet 格式写入 hdfs,我的研究表明有一种叫做 KiteSDK 的东西,我可以用它保存为 Parquet 格式。对吗?请提供建议。任何示例都会有所帮助。
【问题讨论】:
标签: parquet apache-nifi kite-sdk bigdata
我是 NIFI 的新手,我的用例是从端口读取并以 parquet 格式写入 hdfs,我的研究表明有一种叫做 KiteSDK 的东西,我可以用它保存为 Parquet 格式。对吗?请提供建议。任何示例都会有所帮助。
【问题讨论】:
标签: parquet apache-nifi kite-sdk bigdata
Apache NiFi 中肯定有可用的处理器来帮助您走上正轨。 ListenTCP 可以从套接字捕获数据。根据您的数据类型,您可以潜在地使用一些转换处理器来隐藏它。不确定是否直接支持 Parquet 作为输出格式。当然也支持到 HDFS 的交付。对于缺少的部分,您可以在 apache 社区中创建一个 JIRA,或者提交一份贡献,或者使用 ExecuteScript 编写一个内联脚本。很多选择。
谢谢 乔
【讨论】:
您可以使用PutParquet processor of NiFi 来执行此操作。 (在“过滤器输入字段”中输入PutParquet:Processors下的超链接。)
【讨论】: