需求: 从kafka读取数据,根据内容路由再压缩后,put 到s3 中。

流程图。

Nifi Processor | PutS3Object

 

1、使用Kakfa 读取数据

2、在RouteTxt 中,根据要求过滤掉不需要的数据

3、在CompressContent 中进行数据压缩后,流入下一个环节。这里配置使数据压缩为gzip 文件。

Nifi Processor | PutS3Object

 

4、使用MergeContent ,将数据每 128M合并为一个块数据。(注意:虽然MergeContent提供压缩,但是压缩后的文件无法提供给Spak 使用,所以使用CompressContent )

Nifi Processor | PutS3Object

 

5、使用PutS3Object 组件向S3 写数据

 

Nifi Processor | PutS3Object

相关文章:

  • 2021-06-04
  • 2021-08-17
  • 2021-07-26
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
猜你喜欢
  • 2021-05-15
  • 2021-07-10
  • 2022-03-07
  • 2021-08-30
  • 2021-07-30
  • 2022-12-23
  • 2022-12-23
相关资源
相似解决方案