lixinjun8080

kafka基础介绍

kafka基础介绍

一、kafka介绍

  1.1主要功能

    根据官网的介绍,kafka是一个分布式流媒体的平台,它主要有三大功能:

    1.11:It lets you publish and subscribe to streams of records 发布和订阅消息流,类似消息队列的的功能,这也是将其归类为消息队列的原因

    1.12:It lets you store streams of records in a fault-tolerant way 以容错的方式记录消息流,kafka以文件的方式来存储消息流

    1.13:It lets you process streams of records as they occur. 可以在消息发布的时候进行处理

  1.2使用场景

    1.21:Building real-time streaming data pipelines that reliably get data between systems or applications.在系统和应用程序之间构建可靠的用于实时传输的管道,消息队列

       的功能

    1.22:Building real-time streaming applications that transform or react to the streams of data 构建实时的流数据处理程序来变换或者处理数据流,数据处理功能

  1.3基本机制

    kafka目前主要作为一个分布式的发布订阅的消息系统来使用,下面介绍一下kafka的基本机制

    1.31消息传输流程

    

    producer即生产者,向kafka集群发送消息,在发送消息之前,会对消息进行分类,即Topic,上图展示了两个生产者发送了分类为topic1的消息,另外一个发送了分类

    为topic2的消息

    topic即主题,通过对消息指定主题可以为消息分类,消费者可以只关注自己需要的topic中的消息

    consumer即消费者,消费者通过与kafka集群建立长连接的方式,不断的从kafka集群中拉取消息,然后对这些消息进行处理

    从上图可以看出同一个topic下的生产者和消费者数量并不是对应的

    

    1.32kafka服务器消息存储策略

    

    谈到kafka的存储,不得不提到分区,即partitions,创建一个topic的时候,同时可以指定分区的数目,分区数越多,其吞吐量也越大,但是需要的资源也越多,同时也会

    导致更高的不可用性,kafka在接到生产者发送的消息后,会根据均衡策略将消息存储到不同的分区中

      

    在每个分区中,消息以顺序存储,最晚接收的也最后被消费

 

    1.33与生产者的交互

    

    生产者向kafka集群发送消息时可以指定分区,也可以通过均衡策略来将消息发送到不同的分区中,如果不指定,就会采用默认的随机均衡策略,将数据随机的存储到不

    同的分区中

 

    1.34与消费者的交互

      

    在消费者消费消息时,kafka使用offset来记录当前消费的位置。

    在kafka的设计中,可以有多个不同的group来同时消费同一个topic下的消息,如图,我们有两个不同的group同时消费,他们的消费的记录位置offset各不相同,不互相

    干扰。

    对于一个group而言,消费者的数量不应该多于分区的数量,因为在一个group中,每个分区至多绑定在一个消费者身上,即一个消费者可以消费多个分区,但一个分区只

    能给一个消费者消费。若一个group中的消费者数量大于分区数量,多余的消费者将不会收到任何消息

    

    

    

    

发表于 2019-05-22 16:35 大漠荒野 阅读(...) 评论(...) 编辑 收藏
 

相关文章: