网易云课堂学习-kafka streams架构
程序重启后才会从服务端拿offset,来决定从哪里消费。
客户端会维护一个partition_id和offset,以此知道下次从哪里开始拉取。

批处理计算
会有一定的延时,只能查到昨天的数据
网易云课堂学习-kafka streams架构
Spark和Flink既能做批处理,又能做流处理
网易云课堂学习-kafka streams架构
网易云课堂学习-kafka streams架构
pageCache:操作系统的内存
kafka写性能高的原因:1.用了pageCache 2.使用了顺序写
通过mapped memory file技术将数据写到pageCache中,达到顺序写的目的,并且将操作系统的内存应用起来。
网易云课堂学习-kafka streams架构
一个Partition中有多个segment
网易云课堂学习-kafka streams架构
以上的partition中有四个segment
网易云课堂学习-kafka streams架构
网易云课堂学习-kafka streams架构
网易云课堂学习-kafka streams架构
流量激增和多网卡方案
网易云课堂学习-kafka streams架构
网易云课堂学习-kafka streams架构
加网卡,需要加硬件
topic本身就是高可用的。

相关文章:

  • 2021-12-22
  • 2021-11-16
  • 2021-09-22
  • 2021-08-18
  • 2022-12-23
  • 2021-07-19
  • 2021-12-23
  • 2021-06-07
猜你喜欢
  • 2021-11-08
  • 2021-05-24
  • 2021-08-30
  • 2021-06-06
  • 2021-11-26
  • 2021-04-08
  • 2021-05-05
相关资源
相似解决方案