1. DPDK简介

随着云计算产业的异军突起，网络技术的不断创新，越来越多的网络设备基础架构逐步向基于通用处理器平台的架构方向融合，从传统的物理网络到虚拟网络，从扁平化的网络结构到基于 SDN(Software Defined Netrork)分层的网络结构，无不体现出这种创新与融合。
这在使得网络变得更加可控制和成本更低的同时，也能够支持大规模用户或应用程序的性能需求，以及海量数据的处理。究其原因，其实是高性能网络编程技术随着网络架构的演进不断突破的一种必然结果。
DPDK(Data Plane Development Kit)是Intel提供的数据平面开发工具集，为IA(Intel Architecture)处理器架构下用户空间高效的数据包处理提供库函数和驱动的支持，它不同于Linux系统以通用性设计为目的，而是专注于网络应用中数据包的高性能处理。具体体现在DPDK应用程序是运行在用户空间上利用自身提供的数据平面库来收发数据包，绕过了Linux内核协议栈对数据包处理过程。目前出现了很多基于DPDK的高性能网络框架，OVS 和 VPP 是常用的数据包处理框架，mTCP和 f-stack 是常用的用户态协议栈。

2. DPDK基本原理

在Linux操作系统中，首先网卡通过中断方式通知协议栈对数据包进行处理，协议栈先会对数据包进行合法性进行必要的校验，然后判断数据包目标是否本机的socket，满足条件则会将数据包拷贝一份向上递交给用户socket来处理，不仅处理路径冗长，还需要从内核到应用层的一次拷贝过程，基本流程如图1所示，但当大量数据到来时，会触发频繁的软中断(softirq)导致系统无法承受，需要把包从内核缓冲区拷贝到用户缓冲区，带来系统调用和数据包复制的开销，对于很多网络功能节点来说，TCP/IP协议并非是数据转发环节所必需的，NAPI/Netmap等虽然减少了内核到用户空间的数据拷贝，但操作系统调度带来的cache替换也会对性能产生负面影响。

而DPDK是运行在用户空间上利用自身提供的数据平面库来收发数据包，绕过了Linux内核协议栈对数据包处理过程。Linux内核将DPDK应用程序看作是一个普通的用户态进程，包括它的编译、连接和加载方式和普通程序没有什么两样。如图2所示DPDK包处理流程绕过了内核直接到用户层进行处理，区别于传统的数据包先到内核最后再到用户层。

3. DPDK特性

3.1. PMD

PMD(Poll Mode Driver) 轮询模式驱动是DPDK基于用户态的轮询机制，该驱动由API、用户空间运行的驱动程序构成，该驱动使用无中断方式直接操作网卡的接收和发送队列（除了链路状态通知仍必须采用中断方式以外）。目前PMD驱动支持Intel的大部分1G、10G和40G的网卡。PMD驱动从网卡上接收到数据包后，会直接通过DMA方式传输到预分配的内存中，同时更新无锁环形队列中的数据包指针，不断轮询的应用程序很快就能感知收到数据包，并在预分配的内存地址上直接处理数据包，这个过程非常简洁。

3.2. UIO

UIO(Userspace I/O)是用户空间下驱动程序的支持机制。DPDK使用UIO机制使用网卡驱动程序运行在用户态，并采用轮询和零拷贝方式从网卡收取报文，提高收发报文的性能。UIO指的是运行在用户空间的I/O技术，是实现用户空间下驱动程序的支撑机制。Linux系统中一般的驱动设备都是运行在内核空间，而在用户空间用应用程序调用即可，而UIO则是将驱动的很少一部分运行在内核空间，而在用户空间实现驱动的绝大多数功能。使用UIO可以避免设备的驱动程序需要随着内核的更新而更新的问题。由于DPDK是应用层平台，所以与此紧密相连的网卡驱动程序（主要是intel自身的千兆igb与万兆ixgbe驱动程序）都通过uio机制运行在用户态下。 Intel DPDK 的igb_uio内核模块依赖于内核的UIO

3.3. NUMA

NUMA（Non-Uniform Memory Access Architecture）即非一致性内存访问技术。NUMA系统将CPU划分成不同的组（Node)，每个Node由多个CPU组成，并且有独立的本地内存、I/O等资源。Node之间通过互联模块连接和沟通，因此除了本地内存外，每个CPU仍可以访问远端Node的内存，只不过效率会比访问本地内存差一些，我们用Node之间的距离来定义各个Node之间互访资源的开销。

node是一个逻辑上的概念，一个node可以包含一个或多个socket。

#查看node个数
lscpu | grep "node(s)"
NUMA node(s):        1

socket是指主板上物理CPU的插槽，所以socket的个数与物理CPU个数相同

#查看socket个数
lscpu | grep "Socket(s)"
Socket(s):           1

core的中文意思是核心，它就是我们平时说的，一个cpu中有几核的核的概念，其实在很久之前是没有core的概念的，一个cpu就是一个完整的物理处理单元，之后由于多核技术的发展，cpu的概念转变为了一个容器，而core则变成了真正的物理处理单元，一个cpu中可以有多个core，各个core之间是相互独立，且可以并行执行逻辑的，每个core都有自己单独的寄存器，l1, l2 缓存等物理硬件。

#每个物理CPU上有多少个core
lscpu | grep "Core(s)"
Core(s) per socket:  2

线程数是指单个core在同一时刻能并行执行的程序个数，为了能够让单个 core 在同一时刻能够执行的多个程序，于是出现了多线程技术（SMT,simultaneous multithreading）和超线程技术（HT, Hyper-Threading），可以通过以下两种方式，判断是否是启用多线程或者超线程。

• siblings表示位于相同物理cpu中的逻辑cpu的数量，cpu cores表示位于相同物理cpu中的core的数量，如果cpu cores=siblings/2，说明启动了多线程或者超线程；如果cpu cores=siblings，则没有启用多线程或者超线程。

#判断是否开启超线程
cat /proc/cpuinfo | grep -e "cpu cores" -e "siblings" | sort | uniq
cpu cores : 2
siblings : 4

• 如果一个core上的线程数大于1，说明启用了多线程或者超线程。

#每个core上有多少个线程
lscpu | grep "Thread(s)"
Thread(s) per core:  2

综上所述，一个NUMA node可以有一个或者多个socket，一个多核socket显然包含多个core，如果启用多线程或者超线程则一个core会变成多个core，所以它们之间的关系如下：
$$逻辑cpu数=node数\ast 物理cpu数\ast 每颗物理cpu的核心core数\ast 每个核心的线程数$$