Confluent是什么?

 

当时开发出 Apache Kafka 实时信息列队技术的团队成员有个三人小组出来创业,基于这项技术 Jay Kreps 带头创立了新公司Confluent,致力于为各行各业的公司提供实时数处理服务解决方案。

Confluent Platform 是一个流数据平台,能够组织管理来自不同数据源的数据,拥有稳定高效的系统。它不仅提供数据传输的系统, 还提供所有的工具:连接数据源的工具,应用, 以及数据接收。具体来说,Confluent Platform简化了连接数据源到Kafka,用Kafka构建应用程序,以及安全,监控和管理您的Kafka的基础设施。

 

技能get之——Confluent(一)

 

Confluent的基本架构图如下:

技能get之——Confluent(一)

Confluent的组件

 

Confluent Platform 包括更多的工具和服务,使构建和管理数据流平台更加容易。

Confluent Control Center(闭源)。管理和监控Kafka最全面的GUI驱动系统。

Confluent Kafka Connectors(开源)。连接SQL数据库/Hadoop/Hive

Confluent Kafka Clients(开源)。对于其他编程语言,包括C/C++,Python

Confluent Kafka REST Proxy(开源)。允许一些系统通过HTTP和kafka之间发送和接收消息。

Confluent Schema Registry(开源)。帮助确定每一个应用使用正确的schema当写数据或者读数据到kafka中。

Confluent的安装

 

下载地址:

http://www.confluent.io/download,打开后,显示最新版本,在右边填写信息后,点击Download下载。

 

本次我们主要使用REST Proxy,当然底层的broker也是使用confluent的kafka组件,下面简述安装步骤:

1、下载confluent4.0.0

wget http://packages.confluent.io/archive/4.0/confluent-oss-4.0.0-2.11.tar.gz

 

2、解压到指定目录下。

通过查看目录的内容,能够发现,confluent里面是含有kafka的,也就是说,如果你没有安装kafka,那么可以通过confluent直接对kafka进行安装。如果已经安装了kafka,可以使用confluent提供的插件。

 

3、启动kafka-rest

修改confluent-4.0.0/etc/kafka-res/kafka-rest.properties 文件

 

4、启动kafka-rest

confluent-4.0.0/bin/kafka-rest  ../etc/kafka-rest/kafka-rest.properties

上面的这种方式是前台启动,也可以以后台方式启动。

nohup confluent-4.0.0/bin/kafka-rest  ../etc/kafka-rest/kafka-rest.properties &

 

5、测试一下kafka-rest是否成功启动

http://你的ip地址:8082/topics

 

本文章借鉴如下博客:

https://www.cnblogs.com/zdfjf/p/5646525.html

https://blog.csdn.net/wild46cat/article/details/79139714

 

相关文章:

  • 2021-09-16
  • 2022-12-23
  • 2022-12-23
  • 2021-10-16
  • 2021-07-29
  • 2022-12-23
  • 2022-01-01
猜你喜欢
  • 2021-07-19
  • 2021-05-15
  • 2021-04-07
  • 2022-03-07
  • 2022-03-09
  • 2021-12-25
相关资源
相似解决方案