爱码网

之前在知乎上尝试过回答这个问题，后来问的人挺多，干脆在博客里面保存一下。 目前Kafka监控方案看似很多，然而并没有一个“大而全”的通用解决方案。各家框架也是各有千秋，以下是我了解到的一些内容： Kafka manager Github地址： https://github.com/yahoo/kaf ... »

前言 本篇文章主要介绍的是SpringBoot整合kafka和storm以及在这过程遇到的一些问题和解决方案。 kafka和storm的相关知识 如果你对 kafka 和 storm 熟悉的话，这一段可以直接跳过！如果不熟，也可以看看我之前写的博客。一些相关博客如下。 kafka 和 storm的环 ... »

欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 本文首发在云+社区，未经许可，不得转载。 自我介绍 我是知乎的技术中台工程师，现在是负责知乎的存储相关组件。我的分享主要基于三个，一个是简单介绍一下Kafka在知乎是的应用，另外一个是为什么做基于Kubernetes的Kafka平台，还有我 ... »

（1）Customer和Customer Group （1）两种常用的消息模型 队列模型（queuing）和发布-订阅模型（publish-subscribe）。 队列的处理方式是一组消费者从服务器读取消息，一条消息只由其中的一个消费者来处理。 发布-订阅模型中，消息被广播给所有的消费者，接收到消息 ... »

本文主要分享下Spring Boot和Spring Kafka如何配置整合，实现发送和接收来自Spring Kafka的消息。 先前我已经分享了Kafka的基本介绍与集群环境搭建方法。关于Kafka的介绍请阅读Apache Kafka简介与安装(一)，关于Kafka安装请阅读Apache Kafka ... »

由于一次功能上线后，导致某数据量急剧下滑，给我们紧张的呢！排查过程也是个学习过程（这其中有大部分是领导们的功劳，不过分享给大家应该也不犯法吧，ᐓ） 1. 确认问题的真实性？ 被数据部门告知，某数据量下滑严重，当时即知道问题的严重性。且该问题是在我的功能上线后产生，第一反应就是，我代码哪里写错了？ 但 ... »

为了演示集群的效果，这里准备一台虚拟机(window 7)，在虚拟机中搭建了单IP多节点的zookeeper集群（多IP节点的也是同理的），并且在本机（win 7）和虚拟机中都安装了kafka。 前期准备说明： 1.三台zookeeper服务器，本机安装一个作为server1，虚拟机安装两个(单IP ... »

（1）生产者概览 （1）不同的应用场景对消息有不同的需求，即是否允许消息丢失、重复、延迟以及吞吐量的要求。不同场景对Kafka生产者的API使用和配置会有直接的影响。 例子1：信用卡事务处理系统，不允许消息的重复和丢失，延迟最大500ms，对吞吐量要求较高。 例子2：保存网站的点击信息，允许少量的消 ... »

kafka leader选举 一条消息只有被ISR中的所有follower都从leader复制过去才会被认为已提交。这样就避免了部分数据被写进了leader，还没来得及被任何follower复制就宕机了，而造成数据丢失。而对于producer而言，它可以选择是否等待消息commit，这可以通过req ... »

在整体架构中引入消息中间件，势必要考虑很多因素，比如成本及收益问题，怎么样才能达到最优的性价比？虽然消息中间件种类繁多，但是各自都有各自的侧重点，选择合适自己、扬长避短无疑是最好的方式。 ... »

下载安装 参考：https://segmentfault.com/a/1190000012730949 ​ https://kafka.apache.org/quickstart 关闭服务 关闭zookeeper 关闭kafka 遇到的坑 问题1 上面问题说明无法连接到zookeeper服务中，原因 ... »

1. Flume介绍 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 agent agent本身是一个Java ... »

1.概述 Apache Ignite和Apache Arrow很类似，属于大数据范畴中的内存分布式管理系统。在《Apache Arrow 内存数据》中介绍了Arrow的相关内容，它统一了大数据领域各个生态系统的数据格式，避免了序列化和反序列化所带来的资源开销（能够节省80%左右的CPU资源）。今天来 ... »

场景描述： 公司埋点项目，数据从接口服务写入kafka集群，再从kafka集群消费写入HDFS文件系统，最后通过Hive进行查询输出。这其中存在一个问题就是：埋点接口中的数据字段是变化，后续会有少量字段添加进来。这导致Hive表结构也需要跟着变化，否则无法通过Hive查询到最新添加字段的数据。 解决 ... »

Producers发布记录到集群，集群维护这些记录并且将记录分发给Consumers。 在Kafka中，最关键的抽象是topic。Producers发布记录到一个topic，Consumers订阅一个或多个topic。Topic是一个分片的写优先的log。Producers追加记录到这些logs，C ... »

Message Delivery Semantics At most once —— Messages may be lost but are never redelivered（消息可能丢失但不会重复投递） At least once —— Messages are never lost but ... »

Push VS Pull An initial question we considered is whether consumers should pull data from brokers or brokers should push data to the consumer. In this ... »

Producer API org.apache.kafka.clients.producer.KafkaProducer producer由一个缓冲池组成，这个缓冲池中维护着那些还没有被传送到服务器上的记录，而且有一个后台的I/O线程负责将这些记录转换为请求并将其传送到集群上去。 send()方法是 ... »

kafka对于构建实时的数据管道和流应用是很有用的。 Apache Kafka是一个分布式的流平台。这是什么意思呢？ 我们考虑流平台有三个关键的能力： Kafa有什么用呢？ 它被用于两类应用： 那么Kafka是怎样做到这些事情的呢？ 首先来看一些概念： Kafka是以集群方式运行的 Kafka集群将 ... »

前言 在上一篇 "Kafka使用Java实现数据的生产和消费demo" 中介绍如何简单的使用kafka进行数据传输。本篇则重点介绍kafka中的 consumer 消费者的讲解。 应用场景 在上一篇kafka的consumer消费者，我们使用的是自动提交offset下标。 但是offset下标自动提 ... »