关于Kafka监控方案的讨论

之前在知乎上尝试过回答这个问题,后来问的人挺多,干脆在博客里面保存一下。 目前Kafka监控方案看似很多,然而并没有一个“大而全”的通用解决方案。各家框架也是各有千秋,以下是我了解到的一些内容: Kafka manager Github地址: https://github.com/yahoo/kaf ... »

SpringBoot整合Kafka和Storm

前言 本篇文章主要介绍的是SpringBoot整合kafka和storm以及在这过程遇到的一些问题和解决方案。 kafka和storm的相关知识 如果你对 kafka 和 storm 熟悉的话,这一段可以直接跳过!如果不熟,也可以看看我之前写的博客。一些相关博客如下。 kafka 和 storm的环 ... »

白瑜庆:知乎基于Kubernetes的kafka平台的设计和实现

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文首发在云+社区,未经许可,不得转载。 自我介绍 我是知乎的技术中台工程师,现在是负责知乎的存储相关组件。我的分享主要基于三个,一个是简单介绍一下Kafka在知乎是的应用,另外一个是为什么做基于Kubernetes的Kafka平台,还有我 ... »

Kafka消费者-从Kafka读取数据

(1)Customer和Customer Group (1)两种常用的消息模型 队列模型(queuing)和发布-订阅模型(publish-subscribe)。 队列的处理方式是一组消费者从服务器读取消息,一条消息只由其中的一个消费者来处理。 发布-订阅模型中,消息被广播给所有的消费者,接收到消息 ... »

干货!一次kafka卡顿事故排查过程

由于一次功能上线后,导致某数据量急剧下滑,给我们紧张的呢!排查过程也是个学习过程(这其中有大部分是领导们的功劳,不过分享给大家应该也不犯法吧,ᐓ) 1. 确认问题的真实性? 被数据部门告知,某数据量下滑严重,当时即知道问题的严重性。且该问题是在我的功能上线后产生,第一反应就是,我代码哪里写错了? 但 ... »

window环境搭建zookeeper,kafka集群

为了演示集群的效果,这里准备一台虚拟机(window 7),在虚拟机中搭建了单IP多节点的zookeeper集群(多IP节点的也是同理的),并且在本机(win 7)和虚拟机中都安装了kafka。 前期准备说明: 1.三台zookeeper服务器,本机安装一个作为server1,虚拟机安装两个(单IP ... »

Kafka生产者-向Kafka中写入数据

(1)生产者概览 (1)不同的应用场景对消息有不同的需求,即是否允许消息丢失、重复、延迟以及吞吐量的要求。不同场景对Kafka生产者的API使用和配置会有直接的影响。 例子1:信用卡事务处理系统,不允许消息的重复和丢失,延迟最大500ms,对吞吐量要求较高。 例子2:保存网站的点击信息,允许少量的消 ... »

kafka知识体系-kafka设计和原理分析-kafka leader选举

kafka leader选举 一条消息只有被ISR中的所有follower都从leader复制过去才会被认为已提交。这样就避免了部分数据被写进了leader,还没来得及被任何follower复制就宕机了,而造成数据丢失。而对于producer而言,它可以选择是否等待消息commit,这可以通过req ... »

kafka安装使用和遇到的坑

下载安装 参考:https://segmentfault.com/a/1190000012730949 ​ https://kafka.apache.org/quickstart 关闭服务 关闭zookeeper 关闭kafka 遇到的坑 问题1 上面问题说明无法连接到zookeeper服务中,原因 ... »

Flume - Kafka日志平台整合

1. Flume介绍 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 agent agent本身是一个Java ... »

Apace Ignite剖析

1.概述 Apache Ignite和Apache Arrow很类似,属于大数据范畴中的内存分布式管理系统。在《Apache Arrow 内存数据》中介绍了Arrow的相关内容,它统一了大数据领域各个生态系统的数据格式,避免了序列化和反序列化所带来的资源开销(能够节省80%左右的CPU资源)。今天来 ... »

Hive分区表动态添加字段

场景描述: 公司埋点项目,数据从接口服务写入kafka集群,再从kafka集群消费写入HDFS文件系统,最后通过Hive进行查询输出。这其中存在一个问题就是:埋点接口中的数据字段是变化,后续会有少量字段添加进来。这导致Hive表结构也需要跟着变化,否则无法通过Hive查询到最新添加字段的数据。 解决 ... »

Kafka基本知识回顾及复制

Producers发布记录到集群,集群维护这些记录并且将记录分发给Consumers。 在Kafka中,最关键的抽象是topic。Producers发布记录到一个topic,Consumers订阅一个或多个topic。Topic是一个分片的写优先的log。Producers追加记录到这些logs,C ... »

Kakfa消息投递语义

Message Delivery Semantics At most once —— Messages may be lost but are never redelivered(消息可能丢失但不会重复投递) At least once —— Messages are never lost but ... »

Kafka Consumer

Push VS Pull An initial question we considered is whether consumers should pull data from brokers or brokers should push data to the consumer. In this ... »

Kafka Producer Consumer

Producer API org.apache.kafka.clients.producer.KafkaProducer producer由一个缓冲池组成,这个缓冲池中维护着那些还没有被传送到服务器上的记录,而且有一个后台的I/O线程负责将这些记录转换为请求并将其传送到集群上去。 send()方法是 ... »

kafka介绍

kafka对于构建实时的数据管道和流应用是很有用的。 Apache Kafka是一个分布式的流平台。这是什么意思呢? 我们考虑流平台有三个关键的能力: Kafa有什么用呢? 它被用于两类应用: 那么Kafka是怎样做到这些事情的呢? 首先来看一些概念: Kafka是以集群方式运行的 Kafka集群将 ... »

关于Kafka 的 consumer 消费者处理的一些见解

前言 在上一篇 "Kafka使用Java实现数据的生产和消费demo" 中介绍如何简单的使用kafka进行数据传输。本篇则重点介绍kafka中的 consumer 消费者的讲解。 应用场景 在上一篇kafka的consumer消费者,我们使用的是自动提交offset下标。 但是offset下标自动提 ... »