Confluent是什么?
当时开发出 Apache Kafka 实时信息列队技术的团队成员有个三人小组出来创业,基于这项技术 Jay Kreps 带头创立了新公司Confluent,致力于为各行各业的公司提供实时数处理服务解决方案。
Confluent Platform 是一个流数据平台,能够组织管理来自不同数据源的数据,拥有稳定高效的系统。它不仅提供数据传输的系统, 还提供所有的工具:连接数据源的工具,应用, 以及数据接收。具体来说,Confluent Platform简化了连接数据源到Kafka,用Kafka构建应用程序,以及安全,监控和管理您的Kafka的基础设施。
Confluent的基本架构图如下:
Confluent的组件
Confluent Platform 包括更多的工具和服务,使构建和管理数据流平台更加容易。
Confluent Control Center(闭源)。管理和监控Kafka最全面的GUI驱动系统。
Confluent Kafka Connectors(开源)。连接SQL数据库/Hadoop/Hive
Confluent Kafka Clients(开源)。对于其他编程语言,包括C/C++,Python
Confluent Kafka REST Proxy(开源)。允许一些系统通过HTTP和kafka之间发送和接收消息。
Confluent Schema Registry(开源)。帮助确定每一个应用使用正确的schema当写数据或者读数据到kafka中。
Confluent的安装
下载地址:
http://www.confluent.io/download,打开后,显示最新版本,在右边填写信息后,点击Download下载。
本次我们主要使用REST Proxy,当然底层的broker也是使用confluent的kafka组件,下面简述安装步骤:
1、下载confluent4.0.0
wget http://packages.confluent.io/archive/4.0/confluent-oss-4.0.0-2.11.tar.gz
2、解压到指定目录下。
通过查看目录的内容,能够发现,confluent里面是含有kafka的,也就是说,如果你没有安装kafka,那么可以通过confluent直接对kafka进行安装。如果已经安装了kafka,可以使用confluent提供的插件。
3、启动kafka-rest
修改confluent-4.0.0/etc/kafka-res/kafka-rest.properties 文件
4、启动kafka-rest
confluent-4.0.0/bin/kafka-rest ../etc/kafka-rest/kafka-rest.properties
上面的这种方式是前台启动,也可以以后台方式启动。
nohup confluent-4.0.0/bin/kafka-rest ../etc/kafka-rest/kafka-rest.properties &
5、测试一下kafka-rest是否成功启动
http://你的ip地址:8082/topics
本文章借鉴如下博客:
https://www.cnblogs.com/zdfjf/p/5646525.html
https://blog.csdn.net/wild46cat/article/details/79139714