Kafka基本知识回顾及复制

Producers发布记录到集群,集群维护这些记录并且将记录分发给Consumers。 在Kafka中,最关键的抽象是topic。Producers发布记录到一个topic,Consumers订阅一个或多个topic。Topic是一个分片的写优先的log。Producers追加记录到这些logs,C ... »

Kakfa消息投递语义

Message Delivery Semantics At most once —— Messages may be lost but are never redelivered(消息可能丢失但不会重复投递) At least once —— Messages are never lost but ... »

Kafka Consumer

Push VS Pull An initial question we considered is whether consumers should pull data from brokers or brokers should push data to the consumer. In this ... »

Kafka Producer Consumer

Producer API org.apache.kafka.clients.producer.KafkaProducer producer由一个缓冲池组成,这个缓冲池中维护着那些还没有被传送到服务器上的记录,而且有一个后台的I/O线程负责将这些记录转换为请求并将其传送到集群上去。 send()方法是 ... »

kafka介绍

kafka对于构建实时的数据管道和流应用是很有用的。 Apache Kafka是一个分布式的流平台。这是什么意思呢? 我们考虑流平台有三个关键的能力: Kafa有什么用呢? 它被用于两类应用: 那么Kafka是怎样做到这些事情的呢? 首先来看一些概念: Kafka是以集群方式运行的 Kafka集群将 ... »

关于Kafka 的 consumer 消费者处理的一些见解

前言 在上一篇 "Kafka使用Java实现数据的生产和消费demo" 中介绍如何简单的使用kafka进行数据传输。本篇则重点介绍kafka中的 consumer 消费者的讲解。 应用场景 在上一篇kafka的consumer消费者,我们使用的是自动提交offset下标。 但是offset下标自动提 ... »

Kafka 使用Java实现数据的生产和消费demo

前言 在 "上一篇" 中讲述如何搭建kafka集群,本篇则讲述如何简单的使用 kafka 。不过在使用kafka的时候,还是应该简单的了解下kafka。 Kafka的介绍 Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 Kafka 有如下特性: 以时 ... »

kafka和strom集群的环境安装

前言 storm和kafka集群安装是没有必然联系的,我将这两个写在一起,是因为他们都是由zookeeper进行管理的,也都依赖于JDK的环境,为了不重复再写一遍配置,所以我将这两个写在一起。若只需一个,只需挑选自己选择的阅读即可。 这两者的依赖如下: Storm集群 :JDK1.8 , Zooke ... »

kafka数据迁移实践

本文重点介绍kafka的两类常见数据迁移方式:1、broker内部不同数据盘之间的分区数据迁移;2、不同broker之间的分区数据迁移。 ... »

kafka数据迁移实践

本文重点介绍kafka的两类常见数据迁移方式:1、broker内部不同数据盘之间的分区数据迁移;2、不同broker之间的分区数据迁移。 ... »

Kafka、Logstash、Nginx日志收集入门

Nginx作为网站的第一入口,其日志记录了除用户相关的信息之外,还记录了整个网站系统的性能,对其进行性能排查是优化网站性能的一大关键。 Logstash是一个接收,处理,转发日志的工具。支持系统日志,webserver日志,错误日志,应用日志,总之包括所有可以抛出来的日志类型。一般情景下,Logst ... »

Ubuntu server 16.04 mongodb和kafka安装及配置

安装ubuntu server这里不阐述。 1, 安装mongodb 首先更新apt 安装mongodb 检查安装是否成功 修改配置,以便外部访问 启动mongodb 在外部用telnet ping端口 可能会失败,因为ubuntu server的防火墙没关,可以使用如下命令关闭防火墙: 到此安装和 ... »

kafka原理和实践(一)原理:10分钟入门

系列目录 kafka原理和实践(一)原理:10分钟入门 kafka原理和实践(二)spring-kafka简单实践 kafka原理和实践(三)spring-kafka生产者源码 kafka原理和实践(四)spring-kafka消费者源码 kafka原理和实践(五)spring-kafka配置详解 ... »

kafka 集群搭建

环境:ubuntu14.04 版本:jdk1.8,zookeeper 3.4.10,kafka 2.11 搭建步骤: 1. 搭建zookeeper集群 参考链接:zookeeper集群搭建 2. 下载kafka源码包,并上传到服务器 下载链接:http://mirrors.tuna.tsinghua ... »

如何清除Kafka Topic数据

log.retention.{ms,minutes,hours}: Kafka segment log的保存周期, 默认保存7天 1. 把retention.ms 改小, 如1000ms, 即1分钟 ./kafka-configs.sh --zookeeper localhost:2181 --en ... »