高并发场景下的限流策略
性能调优是针对于代码本身的不规范性和系统资源的瓶颈的，当计算机的硬件资源达到瓶颈的时间已经无法调优了。高并发场景下一方面通过缓存，异步化，服务化，集群去增加整个系统的吞吐量，另一方面通过限流，降级来保护系统。
什么是限流和降级
在开发高并发系统时，有很多手段来保护系统：缓存、降级、限流。
缓存是为了解决访问热点数据的速度问题和低速IO部件与高速IO部件之间的差异性，从而提高系统的吞吐量。
降级是一种高可用的方式。当访问量快速增长、服务可能会出现一些问题（响应超时），或者会存在非核心服务影响到核心流程的性能时， 仍然需要保证服务的可用性，即便是有损服务。所以意味着我们在设计服务的时候，需要一些手段或者关键数据进行自动降级，或者配置人工降级的开关。缓存的目的是提升系统访问速度和增大系统处理的容量，可以说是抗高并发流量的银弹。
降级是当服务出问题或者影响到核心流程的性能则需要暂时屏蔽掉某些功能，等高峰或者问题解决后再打开；而有些场景并不能用缓存和降级来解决，比如秒杀、抢购；写服务（评论、下单）、频繁的复杂查询，因此需要一种手段来限制这些场景的并发/请求量。
降级
对于高可用服务的设计，有一个很重要的设计，那就是降级。降级一般有几种实现手段，自动降级和人工降级。
- 应用层通过配置降级开关，实现对流程的控制，即把一些公共代码放在配置中心上，由具体的模块去连接配置中心，在代码中通过如if,else去判断配置中心的开关是on,off，去执行相应的代码流程。（人工降级）
- 入口层前置化降级开关， 基于 OpenResty+配置中心实现降级。（人工降级）
- 业务降级，在大促的时候，我们会有限保证核心业务的流程可用，也就是下单支付。同时，我们也会对核心的支付流程采取一些异步化的方式来提升吞吐量。（自动降级）
4.熔断，当超时次数达到一定频率时，系统会采用熔断机制进行自动降级。
限流
限流的目的是防止恶意请求流量、恶意攻击、或者防止流量超过系统峰值限流，是对资源访问做控制的一个组件或者功能，那么控制这块主要有两个功能：限流策略和熔断策略，对于熔断策略，不同的系统有不同的熔断策略诉求，有得系统希望直接拒绝服务、有的系统希望排队等待、有的系统希望服务降级。
限流服务这块有两个核心概念：资源和策略
资源：被流量控制的对象，比如接口
策略：限流策略由限流算法和可调节的参数两部份组成限流的目的是通过对并发访问/请求进行限速或者一个时间窗口内的请求进行限速来保护系统，一旦达到限制速率则可以拒绝服务（定向到错误页或者告知资源没有了）、排队或等待(秒杀、下单)、降级（返回兜底数据或默认数据或默认数据，如商品详情页库存默认有货）
限流和降级的手段
滑动窗口协议是传输层进行流控的一种措施，接收方通过通告发送方自己的窗口大小，从而控制发送方的发送速度，从而达到防止发送方发送速度过快而导致自己被淹没的目的。发送和接受方都会维护一个数据帧的序列，这个序列被称作窗口。发送方的窗口大小由接受方确定，目的在于控制发送速度，以免接受方的缓存不够大，而导致溢出，同时控制流量也可以避免网络拥塞。
动态效果演示链接：
https://media.pearsoncmg.com/aw/ecs_kurose_compnetwork_7/cw/content/inter
activeanimations/selective-repeat-protocol/index.html
漏桶原理
类似于消息队列。
1.流入水滴，流入速率任意
2.如果流入速率过快，超过了桶的容量，则直接丢弃水滴
3.按照常量速率，流出水滴
桶本身具有一个恒定的速率往下漏水，而上方时快时慢的会有水进入桶内。当桶还未满时，上方的水可以加入。一旦水满，上方的水就无法加入。桶满正是算法中的一个关键的触发条件（即流量异常判断成立的条件）。而此条件下如何处理上方流下来的水，常见的两种处理方式为：（1）暂时拦截住上方水的向下流动，等待桶中的一部分水漏走后，再放行上方水。
（2）溢出的上方水直接抛弃。
特点
- 漏水的速率是固定的
- 即使存在注水 burst（突然注水量变大）的情况，漏水的速率也是固定的令牌桶(能够解决突发流量)
令牌桶算法是网络流量整形（Traffic Shaping）和速率限制（Rate Limiting）中最常使用的一种算法。典型情况下，令牌桶算法用来控制发送到网络上的数据的数目，并允许突发数据的发送。
令牌桶是一个存放固定容量令牌（token）的桶，按照固定速率往桶里添加令牌; 令牌桶算法实际上由三部分组成：两个流和一个桶，分别是令牌流、数据流和令牌桶。
限流算法的实际应用
Guava 的 RateLimiter 实现
在 Guava 中 RateLimiter 的实现有两种： Bursty 和 WarmUp
bursty
bursty 是基于 token bucket 的算法实现，
实例
- 基于 Leaky bucket 算法实现
- QPS 是固定的
- 使用于需要预热时间的使用场景
技术选型
mysql:存储限流策略的参数等元数据
redis+lua:令牌桶算法实现
单进程限流用Guava，分布式限流有如下方式：限制资源数；数据库连接池：线程池的拒绝策略；限制接口的请求：令牌桶，漏桶；前置化的限流：Nginx，openresty。