爱码网

在上文 设计一个百万级的消息推送系统 中提到消息流转采用的是 Kafka 作为中间件。 其中有朋友咨询在大量消息的情况下 Kakfa 是如何保证消息的高效及一致性呢？ ... »

“Pulsar is a distributed pub-sub messaging platform with a very flexible messaging model and an intuitive client API.” Pulsar是pub-sub模式的分布式消息平台，拥有灵活的消... ... »

kafka安装部署 1、将zxvf kafka_2.12-2.0.0.tgz 上传到home/用户下 目前搭建了三个节点的kafka集群，分别在172.16.41.141，172.16.41.142和 172.16.41.143服务器上 解压tar -zxvf kafka_2.12-2.0.0.tg ... »

首先迟到的祝大家中秋快乐。 最近一周多没有更新了。其实我一直想憋一个大招，分享一些大家感兴趣的干货。 鉴于最近我个人的工作内容，于是利用这三天小长假憋了一个出来（其实是玩了两天 »

前述 采用confluent kafka-rest proxy实现kafka restful service时候，通过http协议数据传输，需要注意的是采用了base64编码（或者称之为加密），如果消息再post之前不采用base64处理将会出现：服务端消息乱码、程序报错等，因此正常的处理流程是：1 ... »

本片文章简单介绍Pulsar的Producer，包含以下内容：Producer的设计、消息发送的实现 ... »

.NET下日志系统的搭建——log4net+kafka+elk 前言     我们公司的程序日志之前都是采用log4net记录文件日志的方式(有关log4net的简单使用可以看我另一篇博客)，但是随着后来我们团队越来越大，项目也越来越大，我们的用户量也越来越多 ... »

前言 承接上文( 微服务日志之.NET Core使用NLog通过Kafka实现日志收集 https://www.cnblogs.com/maxzhang1985/p/9522017.html ).NET/Core的实现,我们的目地是为了让微服务环境中dotnet和java的服务都统一的进行日志收集。 ... »

日志收集系统应该说是到达一定规模的公司的标配了，一个能满足业务需求、运维成本低、稳定的日志收集系统对于运维的同学和日志使用方的同学都是非常nice的。然而这时理想中的日志收集系统，现实往往不是这样的...本篇的主要内容是：首先吐槽一下公司以前的日志收集和上传；介绍新的实时日志收集系统架构；用go语言 ... »

一、前言 NET Core越来越受欢迎，因为它具有在多个平台上运行的原始.NET Framework的强大功能。Kafka正迅速成为软件行业的标准消息传递技术。这篇文章简单介绍了如何使用.NET(Core)和Kafka实现NLog的Target。 在日常项目开发过程中，Java体系下Spring B ... »

这周RocketMQ发布了4.3.0版本，New Feature中最受关注的一点就是支持了事务消息。今天花了点时间看了下具体的实现内容，下面是简单的总结。 ... »

之前在 Java-Interview 中提到过秒杀架构的设计，这次基于其中的理论简单实现了一下。 本次采用循序渐进的方式逐步提高性能达到并发秒杀的效果，文章较长请准备好瓜子板凳(liushuizhang »

介绍Apache Pulsar的概念和架构，以及GEO-REPLICATION，之后对比RocketMQ。 ... »

一、引言 研究Kafka有一段时间了，略有心得，基于此自己就写了一个Kafka的消费者的类和Kafka消息生产者的类，进行了单元测试和生产环境的测试，还是挺可靠的。 二、源码 话不多说，直接上代码，代码不是很难，注释很全，希望大家多多发表意见，继续提升。 以上类型是接口定义，这个类定义的抽象类，可以 ... »

一、引言 有段时间没有写东西了，当然不是没得写，还有MongoDB的系列没有写完呢，那个系列还要继续。今天正好是周末，有点时间，来写新东西吧。最近公司用了Kafka做为消息的中间件，最开始写的那个版本不是很好，我就要来优化它，所以就抽了一些时间来研究Kafka。很多概念性的东西就不写了，今天主要是上 ... »

1. Logstash概述 Logstash的官网地址为：https://www.elastic.co/cn/products/logstash，以下是官方对Logstash的描述。 Logstash是与Flume类似，也是一种数据采集工具，区别在于组件和特性两大方面。常用的数据采集工具有Sqoop ... »

前段时间公司的一个kafka集群出现了故障，由于之前准备不足，当时处理的比较慌乱。如：由于kafka的集群里topic数量较多，并且每个topic的分区数量和副本数量都不是一样的，如果按部就班的一个一个的去创建队列，估计集群恢复时黄瓜菜都凉了。 对于kafka集群出现故障，最快的处理办法，就是重建集 ... »

Kafka在0.10版本推出了Stream API，提供了对存储在Kafka内的数据进行流式处理和分析的能力。 本文将从流式计算出发，之后介绍Kafka Streams的特点，最后探究Kafka Streams的架构。 ... »

引言 之前就了解过kafka，看的似懂非懂，最近项目组中引入了 "kafka" ，刚好接着这个机会再次学习下。 Kafka在很多公司被用作分布式高性能消息队列，kafka之前我只用过redis的list来做简单的队列处理，也还算好用，可能数据量比较小，也是单机运行，未出现过问题，用作轻量级消息队列还 ... »

之前在知乎上尝试过回答这个问题，后来问的人挺多，干脆在博客里面保存一下。 目前Kafka监控方案看似很多，然而并没有一个“大而全”的通用解决方案。各家框架也是各有千秋，以下是我了解到的一些内容： Kafka manager Github地址： https://github.com/yahoo/kaf ... »