今天我们来学习一下kafka的简单的使用与配置。世上有可以挽回的和不可挽回的事，而时间经过就是一种不可挽回的事。
一、kafka的使用场景
活动跟踪：网站用户与前端应用程序发生交互，前端应用程序生成用户活动相关的消息
传递消息：应用程序向用户发送通知就是通过传递消息来实现
度量指标和日志记录：应用程序定期把度量指标或者日志消息发布到kafka主题上，可读被监控或者被专门的日志搜索系统(elasticsearch)分析。
提交日志：可以把数据库的更新发布到kafka上，应用程序通过监控事件流来接收数据库的实时更新
流处理：与hadoop里的map和reduce类似，只不过它操作的是实时数据流
二、为什么选择kafka
多个生产者：用来从多个前端系统收集数据，并以统一的格式对外提供数据
多个消费者：多个消费者从一个单独的消息流上读取数据，而且消费者之间互不影响
基于磁盘的数据存储：消息被提交到磁盘，根据设置的保留规则进行保存
伸缩性：对在线集群进行扩展丝毫不影响整体系统的可用性
高性能：在处理大量数据的同时，它还能保证亚秒级别的消息延迟
三、kafka的一些概念
消息与批次：kafka的数据单元被称为消息，它由字节数组组成。批次就是一组消息，这些消息属于同一个主题和分区
模式：像json或者xml消息模式缺乏强类型处理能力。可以使用Avro来消除消息读写操作之间的耦合性
主题与分区：kafka的消息通过主题进行分类，主题就好比数据库的表。主题可以被分成若干个分区，一个分区就是一个提交日志
生产者与消费者：生产者创建消息，消息者读取消息
broker与集群：一个独立的kafka服务器被称为broker，它接收来自于生产者的消息而且为消费者提供服务
四、kafka的安装与配置
这里的安装以及案例都是基于window上的。kafka的运行需要java环境和zookeeper的启动。kafka使用zookeeper保存集群的元数据信息和消费者信息。
kafka的运行需要java环境，java的下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html。
zookeeper的安装，下载地址：http://zookeeper.apache.org/releases.html。解压即可使用。
具体的可以参考这篇文章：https://www.w3cschool.cn/apache_kafka/apache_kafka_installation_steps.html
kafka的java使用
现在我们通过java编写生产者与消费者来演示一下kafka的过程。我们的安装目录如下：
这里面的data目录是我们手动创建的，用地记录产生的日志文件。另外需要修改config下面的server.properties文件。修改如下
log.dirs=D:/Apache/apache-kafka/kafka_2.11-0.11.0.1/data
一、启动kafka的broker以及创建topic
新建窗口，切换目录：cd D:\Apache\apache-kafka\kafka_2.11-0.11.0.1\bin\windows。
运行zookeeper-server-start ../../config/zookeeper.properties启动zookeeper。打印日志
[2017-11-03 23:48:54,899] INFO Reading configuration from: ..\..\config\zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig) [2017-11-03 23:48:54,925] INFO autopurge.snapRetainCount set to 3 (org.apache.zookeeper.server.DatadirCleanupManager) [2017-11-03 23:48:54,927] INFO autopurge.purgeInterval set to 0 (org.apache.zookeeper.server.DatadirCleanupManager) [2017-11-03 23:48:54,928] INFO Purge task is not scheduled. (org.apache.zookeeper.server.DatadirCleanupManager) [2017-11-03 23:48:54,930] WARN Either no config or no quorum defined in config, running in standalone mode (org.apache.zookeeper.server.quorum.QuorumPeerMain) [2017-11-03 23:48:54,970] INFO Reading configuration from: ..\..\config\zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig) [2017-11-03 23:48:54,973] INFO Starting server (org.apache.zookeeper.server.ZooKeeperServerMain) [2017-11-03 23:48:55,005] INFO Server environment:zookeeper.version=3.4.10-39d3a4f269333c922ed3db283be479f9deacaa0f, built on 03/23/2017 10:13 GMT (org.apache.zookeeper.server.ZooKeeperServer) [2017-11-03 23:48:55,009] INFO Server environment:host.name=Linux (org.apache.zookeeper.server.ZooKeeperServer) [2017-11-03 23:48:55,012] INFO Server environment:java.version=1.8.0_152 (org.apache.zookeeper.server.ZooKeeperServer) [2017-11-03 23:48:55,019] INFO Server environment:java.vendor=Oracle Corporation (org.apache.zookeeper.server.ZooKeeperServer) [2017-11-03 23:48:55,023] INFO Server environment:java.home=D:\Java\jdk\jdk1.8.0_152\jre (org.apache.zookeeper.server.ZooKeeperServer) ........