【问题标题】:apache nifi , hdfs parquet formatapache nifi,hdfs parquet 格式
【发布时间】:2016-05-10 21:32:07
【问题描述】:

我是 NIFI 的新手,我的用例是从端口读取并以 parquet 格式写入 hdfs,我的研究表明有一种叫做 KiteSDK 的东西,我可以用它保存为 Parquet 格式。对吗?请提供建议。任何示例都会有所帮助。

【问题讨论】:

    标签: parquet apache-nifi kite-sdk bigdata


    【解决方案1】:

    Apache NiFi 中肯定有可用的处理器来帮助您走上正轨。 ListenTCP 可以从套接字捕获数据。根据您的数据类型,您可以潜在地使用一些转换处理器来隐藏它。不确定是否直接支持 Parquet 作为输出格式。当然也支持到 HDFS 的交付。对于缺少的部分,您可以在 apache 社区中创建一个 JIRA,或者提交一份贡献,或者使用 ExecuteScript 编写一个内联脚本。很多选择。

    谢谢 乔

    【讨论】:

      【解决方案2】:

      您可以使用PutParquet processor of NiFi 来执行此操作。 (在“过滤器输入字段”中输入PutParquet:Processors下的超链接。)

      【讨论】:

        猜你喜欢
        • 2016-06-29
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2019-06-06
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多