网络是很复杂的子系统。而且跟进程调度、中断处理、内存管理以及 I/O 等都密不可分。
本质上网络是一种把不同计算机或网络设备连接到一起的技术,它是一种进程间通信方式,特别是跨系统的进程间通信,必须要通过网络才能进行。
模型
OSI 网络模型(开放式系统互联通信参考模型)
应用层,负责为应用程序提供统一的接口。
表示层,负责把数据转换成兼容接收系统的格式。
会话层,负责维护计算机之间的通信连接。
传输层,负责为数据加上传输表头,形成数据包。
网络层,负责数据的路由和转发。
数据链路层,负责 MAC 寻址、错误侦测和改错。
物理层,负责在物理网络中传输数据帧。
7层模型太复杂了,在 Linux 中,我们实际上使用的是另一个更实用的四层模型,即 TCP/IP 网络模型。
应用层,负责向用户提供一组应用程序,比如 HTTP、FTP、DNS 等。
传输层,负责端到端的通信,比如 TCP、UDP 等。
网络层,负责网络包的封装、寻址和路由,比如 IP、ICMP 等。
网络接口层,负责网络包在物理网络中的传输,比如 MAC 寻址、错误侦测以及通过网卡传输网络帧等。
Linux 网络栈
网路每一层的处理逻辑,都取决于各层采用的网络协议。
发送请求的时候,每一层都会加上这一层的网络协议,
接受请求的时候,就像剥洋葱那样把每一层的网络协议取出来
传输层在应用程序数据前面增加了 TCP 头;
网络层在 TCP 数据包前增加了 IP 头;
网络接口层,又在 IP 数据包前后分别增加了帧头和帧尾。
MTU:物理链路中并不能传输任意大小的数据包。网络接口配置的最大传输单元。
MTU越大,需要的分包越少,网络吞吐能力越好。
LUNUX网络协议栈:(图片参考《性能之巅》图 10.7 通用 IP 网络栈绘制)
从上到下:
最上层的应用程序,需要通过系统调用,来跟套接字接口进行交互;
套接字的下面,就是我们前面提到的传输层、网络层和网络接口层;
最底层,则是网卡驱动程序以及物理网卡设备。
Linux 网络收发流程
收取流程:
1 网络包到达网卡
2 网卡通过DMA放到收包队列中
3 硬件中断,告诉中断处理程序收到了网络包
4 网卡中断程序分配内和数据结构(sk_buf)
5 拷贝到sk_buf缓冲区
6 通过软中断,告诉内核受到了网络帧
7 通过网络协议栈,从下到上逐层处理这个网络帧。
1 在链路层检查报文的合法性,找出上层协议的类型(比如 IPv4 还是 IPv6),再去掉帧头、帧尾,然后交给网络层。
2 网络层取出 IP 头,判断网络包下一步的走向,比如是交给上层处理还是转发。当网络层确认这个包是要发送到本机后,就会取出上层协议的类型(比如 TCP 还是 UDP),去掉 IP 头,再交给传输层处理。
3 传输层取出 TCP 头或者 UDP 头后,根据 < 源 IP、源端口、目的 IP、目的端口 > 四元组作为标识,找出对应的 Socket,并把数据拷贝到 Socket 的接收缓存中。
发送流程
1 调用SOCKET API
2 套接字发送到socket缓冲区
3 网络协议栈从 Socket 发送缓冲区中,取出数据包
1 传输层添加TCP头
2 网络层添加网络层,按照MTU的大小进行分片
3 网络接口层,进行物理寻址,找到下一条的地址
4 添加帧头帧尾发到发包队列中
5 软中断通知驱动程序,发包队列有新的包需要发送
6 驱动程序通过DMA,从发包队列取出数据,并通过物理网卡发送出去
性能指标
带宽,表示链路的最大传输速率,单位通常为 b/s (比特 / 秒)。
吞吐量,表示单位时间内成功传输的数据量,单位通常为 b/s(比特 / 秒)或者 B/s(字节 / 秒)。吞吐量受带宽限制,而吞吐量 / 带宽,也就是该网络的使用率。
延时,表示从网络请求发出后,一直到收到远端响应,所需要的时间延迟。在不同场景中,这一指标可能会有不同含义。比如,它可以表示,建立连接需要的时间(比如 TCP 握手延时),或一个数据包往返所需的时间(比如 RTT)。
PPS,是 Packet Per Second(包 / 秒)的缩写,表示以网络包为单位的传输速率。PPS 通常用来评估网络的转发能力,比如硬件交换机,通常可以达到线性转发(即 PPS 可以达到或者接近理论最大值)。而基于 Linux 服务器的转发,则容易受网络包大小的影响。
网络的可用性(网络能否正常通信)、并发连接数(TCP 连接数量)、丢包率(丢包百分比)、重传率(重新传输的网络包比例)等也是常用的性能指标。
网络配置
可以使用 ifconfig 或者 ip 命令,来查看网络的配置
第一,网络接口的状态标志。ifconfig 输出中的 RUNNING ,或 ip 输出中的 LOWER_UP ,都表示物理网络是连通的,即网卡已经连接到了交换机或者路由器中。如果你看不到它们,通常表示网线被拔掉了。
第二,MTU 的大小。MTU 默认大小是 1500,根据网络架构的不同(比如是否使用了 VXLAN 等叠加网络),你可能需要调大或者调小 MTU 的数值。
第三,网络接口的 IP 地址、子网以及 MAC 地址。这些都是保障网络功能正常工作所必需的,你需要确保配置正确。
第四,网络收发的字节数、包数、错误数以及丢包情况,特别是 TX 和 RX 部分的 errors、dropped、overruns、carrier 以及 collisions 等指标不为 0 时,通常表示出现了网络 I/O 问题。
其中:
1 errors 表示发生错误的数据包数,比如校验错误、帧同步错误等;
2 dropped 表示丢弃的数据包数,即数据包已经收到了 Ring Buffer,但因为内存不足等原因丢包;
3 overruns 表示超限数据包数,即网络 I/O 速度过快,导致 Ring Buffer 中的数据包来不及处理(队列满)而导致的丢包;
4 carrier 表示发生 carrirer 错误的数据包数,比如双工模式不匹配、物理电缆出现问题等;
5 collisions 表示碰撞数据包数。
套接字信息
netstat 或者 ss ,来查看套接字、网络栈、网络接口以及路由表的信息。
ss 性能更好
当套接字处于连接状态(Established)时,
Recv-Q 表示套接字缓冲还没有被应用程序取走的字节数(即接收队列长度)。
而 Send-Q 表示还没有被远端主机确认的字节数(即发送队列长度)。
当套接字处于监听状态(Listening)时,
Recv-Q 表示全连接队列的长度。
而 Send-Q 表示全连接队列的最大长度。
全连接,是指服务器收到了客户端的 ACK,完成了 TCP 三次握手,然后就会把这个连接挪到全连接队列中。需要等服务器调用accept取走,才能处理客户端请求。
半连接是指还没有完成 TCP 三次握手的连接,连接只进行了一半。服务器收到了客户端的 SYN 包后,就会把这个连接放到半连接队列中,然后再向客户端发送 SYN+ACK 包。
协议栈统计信息
netstat 或 ss ,也可以查看协议栈的信息。
网络吞吐和 PPS
sar 增加 -n 参数就可以查看网络的统计信息,
rxpck/s 和 txpck/s 分别是接收和发送的 PPS,单位为包 / 秒。
rxkB/s 和 txkB/s 分别是接收和发送的吞吐量,单位是 KB/ 秒。
rxcmp/s 和 txcmp/s 分别是接收和发送的压缩数据包数,单位是包 / 秒。
%ifutil 是网络接口的使用率,即半双工模式下为 (rxkB/s+txkB/s)/Bandwidth,而全双工模式下为 max(rxkB/s, txkB/s)/Bandwidth。
连通性和延时
ping ,来测试远程主机的连通性和延时,而这基于 ICMP 协议。
相关文章: