queue可作为distribute-webmagic的任务队列,也可作为独立的消息去重中间件

在distribute-webmagic中的架构图:

 

distribute-webmagic组件queue详解

该组件通讯基于netty,缓存基于ehcache,介绍以下核心类

EhCache 封装后的缓存

QueueClient  客户端启动和发送数据

ConnectionListener 客户端断线自动重连

NettyUtils 基于tcp的自定义协议和字符转码

SelfDefineEncodeHandler  解决拆包装包问题

StandardServerHandler   协议类

QueueServer  服务端启动

FilePath 文件配置路径

TaskQueue 任务队列

相关文章:

  • 2022-12-23
  • 2022-12-23
  • 2021-08-10
  • 2021-08-05
  • 2021-04-17
  • 2021-08-27
  • 2021-12-25
猜你喜欢
  • 2021-04-04
  • 2021-12-24
  • 2021-04-17
  • 2021-11-15
  • 2021-06-14
  • 2022-12-23
  • 2022-12-23
相关资源
相似解决方案