个人主页：highman110

作者简介：一名硬件工程师，持续学习，不断记录，保持思考，输出干货内容 

        在TCP/IP网络分层模型里，整个协议栈被分成了物理层、链路层、网络层，传输层和应用层。物理层对应的是网卡和网线，应用层对应的是我们常见的Nginx，FTP等等各种应用。Linux实现的是链路层、网络层和传输层这三层。

        在Linux内核实现中，链路层协议靠网卡驱动来实现，内核协议栈来实现网络层和传输层。内核对更上层的应用层提供socket接口来供用户进程访问。我们用Linux的视角来看到的TCP/IP网络分层模型应该是下面这个样子的。

        在了解网络收包过程之前，先了解一下网络收包过程的一些概念：

        1、硬中断+软中断：当设备上有数据到达的时候，会给CPU的相关引脚上触发一个电压变化（就是硬中断引脚），以通知CPU来处理数据。对于网络模块来说，由于处理过程比较复杂和耗时，如果在中断函数中完成所有的处理，将会导致中断处理函数（优先级过高）将过度占据CPU，将导致CPU无法响应其它设备，例如鼠标和键盘的消息。因此Linux中断处理函数是分上半部和下半部的。上半部是只进行最简单的工作，快速处理然后释放CPU，接着CPU就可以允许其它中断进来。剩下将绝大部分的工作都放到下半部中，可以慢慢从容处理。2.4以后的内核版本采用的下半部实现方式是软中断，由ksoftirqd内核线程全权处理。和硬中断不同的是，硬中断是通过给CPU物理引脚施加电压变化，而软中断是通过给内存中的一个变量的二进制值以通知软中断处理程序。

        2、ring buffer：ring buffer称作环形缓冲区，也称作环形队列（circular queue），是一种用于表示一个固定尺寸、头尾相连的缓冲区的数据结构，适合缓存数据流。如下为环形缓冲区（ring buffer） 的概念示意图。

        任务间的通信是ring buffer的典型应用场景。如进程A发数据，进程B取数据去处理，两个进程通常不可能无缝衔接，即进程B取数据的时机和进程A发数据的时机不能完全衔接上，所以需要一个缓存来做缓冲。具体应用有串口数据收发、log缓存、网卡处理网络数据包、音频/视频流处理等。在网络数据收发处理中，ring buffer位于网卡和内核协议栈之间，在物理上就是主机内存里的一块区域，另外ring buffer虽然名字叫buffer，但其本身不存储数据，实际上是个队列，队列里存放的是描述符，描述符描述的是存放数据包的内存地址，这个指定的地址就是socket buffer，下面讲。

        ring buffer有两个主要作用：

        a、可以平滑生产者（数据来源）和消费者（处理数据）的速度。

        b、通过 NAPI 的机制（就是硬中断加软中断，当网卡数据DMA到ring buffer的指定位置后，网卡会向CPU发出硬中断，这个硬中断处理函数没干别的，就只发出软中断请求，然后在软中断处理函数中调用poll函数将ring buffer指定的数据取到内核协议栈里，在此过程中硬中断是关闭的，数据取完了再打开硬中断），合并以减少 IRQ 次数。

    ring buffer，一篇文章讲透它？ - 知乎 (zhihu.com)，此文有ringbuffer的详细描述，这里只说个基本概念。

        3、socket buffer：Ring Buffer 队列内存放的是一个个 Packet 描述符，其有两种状态：ready和used。初始时描述符是空的，指向一个空的socket buffer，处在ready状态。当有数据时，DMA负责从 NIC 取数据，并在Ring Buffer 上按顺序找到下一个ready的描述符，将数据存入该 描述符指向的socket buffer中，并标记槽为 used。在此过程中，根据数据类型的不同，数据会被加上各种包头信息，封装成socket buffer指定的数据结构。当应用程序调用 read 系统调用时，程序会切换到内核区，并且会把 socket 接收缓冲区中的数据拷贝到用户区，拷贝后的数据会从 socket 缓冲区中移除。socket buffer可以看做是用户空间和内核空间的接口，同时也是网卡和内核之间的接口。Socket Buffer的设计优点是避免了重复拷贝数据，在发送和接收的分别都只有两次，分别是应用层和内核空间之间的拷贝、网卡的硬件缓冲区和内核空间之间的拷贝。

        有了以上的基本概念后，下面给出一个收包的基本流程：

        1.当收到报文时，网卡把数据包写入它自身的内存。

        2. 网卡通过CRC校验检查数据包是否有效，之后调用DMA把数据包发送到主机的内存缓冲区，这是驱动程序提前向内核申请好的一块内存区域，就是ring buffer指向的socket buffer空间。

        3.数据包的实际大小、checksum和其他信息会保存在独立的Ring Buffer(Rx.ring)中，Ring Buffer接收之后，NIC 会向主机发出中断，告知内核有新的数据到达。收到中断，驱动会把数据包包装成指定的数据结构（sk_buff）并发送到上一层。

        4.链路层会检查数据包是否有效并且解析出上层的协议（网络协议）。

        5.IP 层同样会检查数据包是否有效。检查IP checksum。

        6.TCP层检查数据包是否有效。检查 TCP checksum。

        7.如果是TCP报文，内核会根据TCP控制块中的端口号信息，找到对应的 socket，数据会被增加到socke的接收缓冲区，socket接收缓冲区的大小就是 TCP 接收窗口。Udp报文同理，不同的是TCP的发送和接收都有socket buffer，udp只有接收端有。

        8.当应用程序调用 read 系统调用时，程序会切换到内核区，并且会把 socket 接收缓冲区中的数据拷贝到用户区，拷贝后的数据会从 socket 缓冲区中移除。

        如下两图：

    以上参考自：简述 Linux I/O 原理及零拷贝（下） — 网络 I/O_Linux_Qunar技术沙龙_InfoQ写作社区

    发包过程基本就是相反流程，具体可以查看以上链接。