WeTest 导读
你听过HTTPS、HTTP2.0、SPDY,但是这些应用层协议都是基于可靠的传输层协议TCP来实现的。那么,基于高效的UDP协议有没有一种相对可靠的应用层协议呢?
Why QUIC?
你听过HTTPS、HTTP2.0、SPDY,但是这些应用层协议都是基于可靠的传输层协议TCP来实现的。那么,基于高效的UDP协议有没有一种相对可靠的应用层协议呢?
图1 why quic?
What is QUIC?
Quick UDP Internet Connection(QUIC)协议是Google公司提出的基于UDP的高效可靠协议。
说它高效,是因为使用了无连接的UDP而不是迭代周期更长的需要修改系统内核网络栈的TCP协议。
说它可靠,是因为将改进了的可靠TCP的协议特征用到了QUIC上。
同时,也复用和改进了HTTP2的典型特征,譬如二进制分帧,多路复用,header压缩等。
图2 what's quic?
How QUIC works?
建立连接
一、基于TCP+TLS的HTTP2建连
出于HTTP的明文和无法验证服务器的真实性,在TCP的基础上引入了TLS协议,目前广泛使用的HTTPS是基于TCP+TLS协议,HTTP2也被主流浏览器默认支持TLS。
但对于建立连接的耗时而言,TCP本身就需要握手时延,而TLS协议为了使得客户端和服务器端在不安全的网络通信中协商出后续安全通信所需的加密私钥,更是要经过额外2次RTT(RoundTrip Time往返时间)
图3 TCP+TLS建连过程
除了TCP建立连接过程,TLS握手过程要经过如下步骤:
1、客户端提供加密套件(算法)列表,版本等信息
2、服务器端提供自己的证书,选择的加密套件,非对称加密公钥(自己保留私钥)等
3、客户端提供自己的证书,用服务器公钥和加密套件加密的自己的私钥
4、服务端用保留的私钥解密客户端传来的加密私钥,得到的私钥即为后续加密传输使用的对称**,最后完成握手
此时,双方协商出了对称**。基于TCP+TLS的HTTP2建连过程结束,大约需要耗时200-300ms。
二、 QUIC建连
为了保证安全,QUIC也是加密传输数据的,所以在QUIC的建连过程中也需要双方协商出一个加密私钥。但与TLS不同,QUIC采用的加密算法仅需要一个RTT就能实现**交换,并且该算法也被用于目前正在草案阶段的TLS1.3协议。该就是Diffie-Hellman**交换算法。
图4 Diffie-Hellman算法
可以看到,客户端和服务端各自保留了自己的私钥a和b,通过交换各自的公钥B和A,以及基底G和很大的质数P,双方就能计算出相等的私钥S,这个S就是加密传输的对称**。
另外,根据离散对数的不可逆,即使拿到G,P,和质数B,也很难推导出私钥b(同理私钥a),也就保证了计算**的安全。
该过程对应到QUIC建连的过程中如下图。
图5 1RTT建连
1、客户端发起Inchoate client hello
2、服务器返回Rejection,包括**交换算法的公钥信息,算法信息,证书信息等被放到server config中传给客户端
3、客户端发起client hello,包括客户端公钥信息
此时,双方各自计算出了对称**。QUIC的1RTT建连过程结束,平均只耗时100ms以内。
后续发起连接的过程中,一旦客户端缓存或持久化了server config,就可以复用并结合本地生成的私钥进行加密数据传输了,不需要再次握手,从而实现0RTT建立连接。
协商升级
一般情况下,Chrome浏览器和服务器端协商使用QUIC协议要经过如下步骤:
1、客户端发出tcp请求
2、服务端如果支持quic可以通过响应头alt-svc告知客户端
3、客户端同时发起tcp连接和quic连接竞赛
4、一旦quic建立连接获胜则采用quic协议发送请求
5、如遇网络或服务器不支持quic/udp,客户端标记quic为broken
6、传输中的请求通过tcp重发
7、5min后尝试重试quic,下一次尝试增大到10min
8、一旦再次成功采用quic并把broken标记取消
其中,支持quic的alt-svc头部信息如下图示,ma为有效时间(单位秒),v为支持的quic版本信息。
图6 alt-svc头信息
研究过程中发现,除了alt-svc header,http2.0下服务端还可以通过支持alt-svc frame来让客户端在第一次请求的时候就走新协议,比通过header让浏览器第二次才能请求新协议更高效,这个留给后续研究。
连接迁移
TCP使用四元组(源IP,源端口,目的IP,目的端口)来标识一条连接,当四元组中的IP或端口任一个发生变化了连接就需要重新建立,从而不具备连接迁移的能力。
而QUIC使用了connection id对连接进行唯一标识。即使网络从4G变成了wifi,只要两次连接中的connection id不变,并且客户端或者服务器能通过校验,就不需要重新建立连接,连接迁移就能成功。
改进的多路复用
在SPDY协议出现以前,每个HTTP请求都需要建立一条TCP连接,那么如果希望请求并行,就需要同时开启多条TCP连接(都是有建连代价的)。而大多数浏览器对于同一个域名可以建立的最大TCP连接数是有限制的,所以,如果超出限制,更多的请求资源是无法并行的。
SPDY协议以来提出的多路复用,是让所有请求基于一条TCP连接,解决了上述的问题但同时引入了新的问题——队头阻塞,如果某个资源的某个包丢失了,因为TCP是保证时序的,就会在接收端形成队头阻塞,TCP此时无法区分各个资源的包是否关联,因此会停止处理所有资源直到丢包恢复。
图7 基于TCP的多路复用
QUIC也有多路复用,但是QUIC是基于UDP的,UDP不需要保证包的时序,只会在接收包的时候对包进行重组,因而不存在等待丢包恢复的队头阻塞问题,这样某个资源的包丢失只会影响自身不会影响到其他资源的继续传输,所以是改进的多路复用。
图8 基于QUIC的多路复用
双级别流量控制
QUIC是多路复用的,多条stream可以建立在一条connection上,所以QUIC的流量控制不仅基于单个stream,还基于connection。
stream级别的流控能够控制单stream的数据发送情况。另外,接收窗口的收缩取决于最大接收字节的偏移而不是所有已接受字节的总和,它不像tcp流控,不会受到丢失数据的影响。
图9 stream流控
如果满足(flow control receive offset - consumed bytes) < (max receive window / 2)
会触发WINDOW_UPDATE frame的发送来增大发送窗口大小。
图10 WINDOW_UPDATE触发前
图11 WINDOW_UPDATE触发后
connection级别流控算法和stream一致,各项数值是所有stream的总和。
connection级别的流控存在的必要是,即使做好了stream流控,但如果stream过多也会导致connection过度消耗带宽和系统资源;而且即使某一条stream过慢,其他stream依然能触发
connection级别的WINDOW_UPDATE,从而不会被影响。
图12 connection流控
拥塞控制
我们知道TCP有多种拥塞控制算法,当遇到网络拥塞会通过减包等方式来避免网络环境恶化。但是,UDP本身是没有拥塞控制的,一旦不加约束的使用会导致侵占其他“守规矩”的网络协议的带宽。
所以,为了避免上述情况,基于UDP的QUIC协议借鉴了TCP的一些优秀的拥塞控制算法,如默认使用Cubic,同时,为了避免AIMD机制带来的带宽利用率低,采用了packet pacing来探测网络带宽。
思路是,QUIC会通过追踪包的到达时间来预测当前带宽的使用情况,以决定是否提高,保持或者减少发送包的速率来避免网络拥塞。
图13 packet pacing
丢包恢复
类似拥塞控制,除了基于TCP的一些丢包恢复机制,如:TLP,FACK。QUIC的丢包恢复也在一些方面做了改进。
比如:通过引入严格递增的sequence number使得计算RTT更加精确。更精确的RTT也意味更精确的RTO和超时重传机制。
还比如我们知道TCP中有个SACK选项,该选项打开时用于记录传输过程中一些没有被确认的数据的范围,便于后续定向重传多组丢失数据,而不是全部重传,所以更多的范围便于更多的选择重传,也意味着更少的重传包频率。但TCP最多支持3个SACK范围,而QUIC能支持255个。
除了上述基于TCP的改进的丢包恢复特性以外,早期的QUIC版本还有一个丢包恢复机制,就是FEC(Forward Error Correction),这个特性虽然目前处于正在改造阶段(可能会浪费带宽并且作用不是很明显),但是依然是一个有意思的解决方案。FEC的思路是通过在一组包(一般是10个)中,通过增加一个FEC包,并用FEC和每个包进行XOR,如果一旦有丢包,那么将FEC包和其余包XOR,得到的FEC包就是那个丢包,所以一组包最多只能恢复一个丢包。
更多特性
除了上述的主要特性,QUIC还有一些其他特性,如:
● 通过header stream保证流顺序
● 底层保证连接持久
● 源地址令牌防止地址欺骗
● 握手时压缩证书避免放大攻击
在此不深入研究,大家有兴趣可以翻阅Google相关的文档查阅。
业界应用情况
● Google超过50%的请求来自QUIC
● 目前Youtube有20%的流量来自QUIC
● 微博移动端全面支持QUIC协议
测试demo
● 客户端
最新版本PC Chrome(控制开启/关闭quic)
● 服务器
经stgw改造支持quic的nginx
http://news.hvc6084.cn/
http://news.xtl7183.cn/
http://news.hmw0652.cn/
http://www.wky3695.top/
http://news.ciw9360.cn/
http://www.tqt8862.top/
http://www.bnb6875.cn/
http://www.cxb4532.cn/
http://www.kgs1242.cn/
http://www.mmw6064.cn/
http://www.igm8568.cn/
http://news.kpp1176.cn/
http://news.xnw9449.cn/
http://news.tso8557.cn/
http://news.iaz8522.cn/
http://www.kcs3342.top/
http://news.ecx0415.cn/
http://news.lwa7903.cn/
http://www.lij0467.cn/
http://www.xqs4260.top/
http://www.ipc6507.cn/
http://www.epi0997.cn/
http://www.bdw7316.cn/
http://news.qnu9925.cn/
http://www.gmn7922.top/
http://news.zht3189.cn/
http://news.hij5984.cn/
http://www.aua2439.cn/
http://news.hqh7518.cn/
http://news.zdn2144.cn/
http://www.myb6827.cn/
http://www.grp2563.cn/
http://www.fmh8265.cn/
http://www.myy9223.cn/
http://www.dfr2203.cn/
http://news.fmh8265.cn/
http://news.ibs2142.cn/
http://news.hud3144.cn/
http://news.zce9839.cn/
http://www.sdb0307.cn/
http://news.ewv7964.cn/
http://www.mar4014.cn/
http://www.sqd7023.top/
http://news.rwi9374.cn/
http://news.zri8413.cn/
http://www.krr6354.cn/
http://www.hxl6493.cn/
http://www.ysz1764.cn/
http://news.wvh4263.cn/
http://news.bpl6646.cn/
http://news.hgh3722.cn/
http://www.sxw8975.cn/
http://news.ath0401.cn/
http://news.mco2769.cn/
http://www.alj9141.cn/
http://www.oyt3985.cn/
http://www.esz4596.cn/
http://www.lru8400.cn/