实际上还是一个pipeline,只是添加了一些规则以及内嵌的http server 方便我们对于基于http 或者类似轻量
协议数据的处理

基本环境

使用docker&& docker-compose 进行环境搭建,具体参考项目:https://github.com/rongfengliang/streamsets-demos/tree/master/micro-service

  • 运行micro-service pipeline 环境
docker-compose up  -d
docker-compose.yaml 内容:
version: "3"
services:
   sets:
     image: streamsets/datacollector 
     volumes:
     - "./ms/data:/data"
     - "./ms/logs:/logs"
     ports:
     - "8000:8000"
     - "18630:18630"

创建基本micro-service pipeline

  • 创建demo pipeline(参考下图)

    选择之后会有一个demo micro-service pipeline

streamsets microservice pipeline 试用

  • 运行说明

    创建完成之后已经包好了说明,参考下面的内容

streamsets microservice pipeline 试用

  • 说明
处理的事情很简单http server 请求输入,对于数据进行路由(get,post 区分),进行不通http verb 的处理并返回结果

运行效果

效果
streamsets microservice pipeline 试用
get 请求
streamsets microservice pipeline 试用
post 请求
streamsets microservice pipeline 试用
err 请求
streamsets microservice pipeline 试用
请求统计
streamsets microservice pipeline 试用
单个pipeline 处理的统计
streamsets microservice pipeline 试用
创建一个快照:
streamsets microservice pipeline 试用
比较全的数据处理组件:
streamsets microservice pipeline 试用

总结

pipeline 结合 http server router 处理数据还是比较方便的,类似的有好多,当前的云原生框架ballerian 就包含一个类似的stream 服务,也是很不错的

参考资料

https://streamsets.com/
https://github.com/rongfengliang/streamsets-demos

 
 
 
 

相关文章: