Kubernetes 学习笔记-- kafka往couchdb里倒东西

首先吐槽下国内这些论坛的技术精神,不是我崇洋媚外,有些复读机烦不烦啊,别人的东西吃进去吐出来好玩么? 还有一些不懂装懂,这种最可恶,明明自己都不明白自己在写什么,还是往精华区发,简直离谱,知道自己多挣的积分会给新手带来多大的负担么? 这几天的感觉下来,kubernetes感觉并不算是很难的东西,只是 ... »

深入剖析共识性算法 Raft

Raft 出现之前,Paxos 一直是分布式一致性算法的标准。Paxos 难以理解,更难以实现。Raft 的设计目标是简化 Paxos,使得算法既容易理解,也容易实现。 ... »

高层次下的分布式系统

本文的重点是在普通但具有商业意义的环境中的分布式编程和系统:数据中心。例如,我不会讨论因非典型网络配置而引起的特殊问题,或者因为共享内存设置引起的特殊问题。此外,我们的重点在于探索系统设计领域,而不是针对任何特定设计的优化——后者是更专业的文章的主题。 ... »

紫霞仙子:区块链的十二连问

最近更新了八篇分布式的文章,准备写下第九篇的时候,发现跟区块链关系非常紧密,于是就先写一篇区块链的科普文章吧。 紫霞仙子:听说你最近在学区块链,给我讲讲呗~ 一、用大白话说下什么是区块链? 1.我是至尊宝,我爱紫霞仙子你,在这个时间,这个地点,我对紫霞你说:至尊宝爱紫霞一万年。 2.现在我把这句话写 ... »

Zookeeper伪集群安装

伪集群安装 下载zookeeper-3.4.14.tar.gz 创建zkcluster目录 mkdir zkcluster 解压压缩包 tar -zxvf zookeeper-3.4.14.tar.gz -C /zkcluster 修改文件名称: mv zookeeper-3.4.14/ zooke ... »

微服务想用好,先把分布式和微服务之间的关系搞清楚

一、分布式和微服务架构的定义 分布式应用场景涵盖的面非常广,我理解的部分: 不同进程之间的互相通信, 不同主机的分布式对象之间调用, 用于大数据存储的分布式文件系统, 用于网络之间相互识别的命名服务, 集群中计算或存储的无中心对等模型, 分布式事务, 数据副本在分布式环境中的复制, 云计算服务, 音 ... »

ES系列(一):编译准备与server启动过程解析

ES作为强大的和流行的搜索引擎服务组件,为我们提供了方便的和高性能的搜索服务。在实际应用中也是用得比较爽,但如果能够更深入一点。虽然网上有许多的文章已经完整说明,ES是如何如何做到高性能,如何做到高可用的,以及有许多的避坑指南。那些,毕竟还是太描述化。 就让我们以源码作为出发点,一探ES究竟吧,虽然 ... »

什么原因才是阻碍Linux桌面发展的罪魁祸首

我大概2000年上大学在宿舍开始玩Linux,到现在20年了!也算是最早一批痴迷于Linux桌面用户啦!记得当时的毕业设计BBS论坛开发就是在Mandrake Linux(后改名Mandriva,一种继承自Redhat体系面向桌面的软件)上面完成的,为了下载三张700M的iso镜像,拿着硬盘跑到网吧 ... »

分布式存储单主、多主和无中心架构的特征与趋势

分布式对象存储和分布式文件系统具有很强烈的对比性 分布式对象存储是key/value的存储模式,以restful访问方式为主,几乎处于扁平化的存储形式,通过地址作为主键,访问、更新的文件对象作为值。文件本身可以分布式分片,但是key/value的访问都是原子性,文件不能追加数据,亦不能随机访问文件的 ... »

理解「分布式系统」曾经发生的事情

分布式系统主要包含的内容很多,我就针对两个核心方面做一下解读:分布式应用服务和对象远程调用、数据的分布式存储。先说说分布式应用服务以及对象远程调用的元老之一: EJB/RMI(Enterprise Java Beans/Remote Method Invocation)吧! 分布式应用和对象远程调用 ... »

MongoDB 在评论中台的实践

本文主要讲述 vivo 评论中台在数据库设计上的技术探索和实践。 一、业务背景 随着公司业务发展和用户规模的增多,很多项目都在打造自己的评论功能,而评论的业务形态基本类似。当时各项目都是各自设计实现,存在较多重复的工作量;并且不同业务之间数据存在孤岛,很难产生联系。因此我们决定打造一款公司级的评论业 ... »

博客数据库要连接Elasticsearch,使用MySQL还是MongoDB更合理

若进行博客等文本类数据的读写以及专业搜索引擎的连接的解决方案对比,可以肯定的下结论:MongoDB的解决方案中要远远好于MySQL的解决方案。 一、从开发工序角度 MySQL的文章读写方式 **方式一:**文章标题、作者、标签、时间和内容存关系表,图片存OSS,地址存关系表 上述方式因为OSS和My ... »

病毒入侵:全靠分布式

一、背景 我是一个小病毒,其他病毒都叫我小 B,我长得就是下图这个样子了。 我现在已经有 100 nm 大小了,我还有很多触角,人类把我的触角称为冠,所以给我起了个学术名:冠状病毒。对于这个学术名,我一直不满意,怎么能用外貌来取名呢,这是以貌取毒。 我出生在一个蝙蝠身上,每到晚上,这只动物就到处觅食 ... »

2021-2-22:请你说下 CAP 理论并举例

CAP CAP 理论是分布式系统中的一个老生常谈的理论了,最早由 Eric Brewer 在一个讲座中提出。在这个讲座中,在传统 ACID 理论以及当时比较流行但是比较抽象的的设计指导理论 BASE 理论(当时的 BASE 理论还很抽象,直到好几年后才出现一份比较权威的被广泛接受的 BASE 理论完 ... »

2021-2-16:请问你知道分布式设计模式中的Quorum思想么?

有效个数(Quorum) 有效个数(Quorum)这个设计模式一般是指分布式系统的每一次修改都要在大多数实例上通过来确定修改通过。 问题背景 在一个分布式存储系统中,用户请求会发到一个实例上。通常在一个实例上面执行的修改,需要复制到其他的实例上,这样可以保证在原实例挂了的情况下,用户依然可以看到这个 ... »

请问你知道分布式系统设计模式的分割日志思想么?

分割日志(Segmented Log) 将大文件切分为更容易处理的多个更小的文件。 问题背景 单一的日志文件可能会增长到很大,并且在程序启动时读取从而成为性能瓶颈。老的日志需要定时清理,但是对于一个大文件进行清理操作很费劲。 解决方案 将单一日志切分为多个,日志在达到一定大小时,会切换到新文件继续写 ... »

redis分布式锁的这些坑,我怀疑你是假的开发

摘要:用锁遇到过哪些问题? 一、白话分布式 什么是分布式,用最简单的话来说,就是为了较低单个服务器的压力,将功能分布在不同的机器上面;就比如: 本来一个程序员可以完成一个项目:需求->设计->编码->测试 但是项目多的时候,一个人也扛不住,这就需要不同的人进行分工合作了 这就是一个简单的分布式协同工 ... »