标签：slave vpp buffer master vpp2 ring memif dpdk
简介
同一主机上的不同DPDK进程可以采用内存交换的方式进行报文传输，这一传输接口叫做memif（shared memory packet interface）。传输的报文是原始报文格式，可以配置为Ethernet模式，IP模式，Punt/Inject模式。目前DPDK memif只支持Ethernet模式。memif接口有两种身份，master和slave，也可以称为server和client，两者通过socket传递控制消息。master和slave是一一对应的关系，一个master只能和一个slave连接，两者拥有相同的id。master负责创建socket并监听slave的连接请求。slave负责创建共享内存文件和初始化共享内存，并且会主动发起socket连接请求。
memif采用unix域套接字来传递控制消息，每组memif在socket里面都有一个唯一的id，这个id也是用来识别对端接口的标识。slave接口在创建的时候，会在指定的socket上尝试连接。socket的监听进程即master接口所在的进程会提取连接请求，并创建一个连接控制信道，并通过此信道发送hello消息，这条消息包含了一些配置信息。slave收到hello消息之后，会根据消息所带的配置来调整自己的配置，随后回复init消息。init消息包含了接口id，监听进程提取接口id，并将控制信道绑定到对应的接口上，之后回复ack。slave收到ack之后就开始创建内存区域（region）和环形队列（ring），并针对每个region和ring都发送一条add消息，master收到后需要逐一回复ack。待slave收到最后一条add ring的ack回复之后，就会发送connect消息，表示slave已经准备就绪。master收到此消息之后，会将region映射到自己的地址空间，初始化ring并回复connected消息，之后就能进行数据报文传输。如果接口状态出现异常，无论是master还是slave，都可以随时发送断开连接请求。
master和slave的协商过程如下：
共享内存
slave是共享内存的生产者，而master是消费者。内存区域（region）是映射的共享内存文件，由 memif slave创建并在连接建立时提供给master。内存区域包含了ring和buffer。ring和buffer可以被分配在多个不同的内存区域。对于非零拷贝模式，ring和buffer只能开辟在同一个内存区域以减少需要打开的文件数量。
非零拷贝内存区域结构 region n (no-zero-copy):
| Rings | Buffers | |||
| S2M rings | M2S rings | packet buffer 0 | ... | packet buffer n |
buffer的总数量为 (ring的数量) x (ring size)。
ring 数据结构：
typedef struct {
MEMIF_CACHELINE_ALIGN_MARK(cacheline0);
uint32_t cookie; /**< MEMIF_COOKIE */
uint16_t flags; /**< flags */
#define MEMIF_RING_FLAG_MASK_INT 1 /**< disable interrupt mode */
uint16_t head; /**< pointer to ring buffer head */
MEMIF_CACHELINE_ALIGN_MARK(cacheline1);
uint16_t tail; /**< pointer to ring buffer tail */
MEMIF_CACHELINE_ALIGN_MARK(cacheline2);
memif_desc_t desc[0]; /**< buffer descriptors */
} memif_ring_t;
描述符数据结构：
typedef struct __rte_packed {
uint16_t flags; /**< flags */
#define MEMIF_DESC_FLAG_NEXT 1 /**< is chained buffer */
memif_region_index_t region; /**< region index on which the buffer is located */
uint32_t length; /**< buffer length */
memif_region_offset_t offset; /**< buffer offset */
uint32_t metadata;
} memif_desc_t;
描述符中有个MEMIF_DESC_FLAG_NEXT标志，如果这个标志被置上了，就代表当前的报文长度大于buffer长度，报文会被分成多个buffer存储，并且buffer有可能不连续的。
零拷贝客户端：
在进行memif接口配置的时候，可以将slave配置成零拷贝模式。配置成这种模式时，所有的buffer都是从slave进程的memseg中分配出来并暴露给master。DPDK必须使能 ‘–single-file-segments’，保证所有的buffer都在同一块memseg，可以很容易从内存文件的起始位置偏移出buffer的地址，并且buffer的地址是连续的。
组网测试
下面使用vpp配置memif接口，对比验证下memif的性能。
在服务器上分别起两个vpp进程，vpp1和vpp2。vpp1和vpp2各配置了1个main core和1个work core。在vpp1上创建memif1/1并配置成master，在vpp2上创建memif1/1并配置成slave。vpp1和vpp2各绑定一个10G以太网卡，网口连接交换机，同时Test Center上也有两个10G以太网接口连接交换机。测试流从Test Center一个端口经过vpp1和vpp2两次L3转发至Test Center另外一个端口。测试拓扑图如下：
分别测试以下4中情况的报文转发性能：
1. vpp1和vpp2的core以及绑定的网卡在同一个numa node，vpp2的memif slave配置成零拷贝模式。
2. vpp1和vpp2的core以及绑定的网卡在同一个numa node，vpp2的memif slave配置成非零拷贝模式。
3. vpp1和vpp2的core以及绑定的网卡在不同的numa node，vpp2的memif slave配置成零拷贝模式。
4. vpp1和vpp2的core以及绑定的网卡在不同的numa node，vpp2的memif slave配置成非零拷贝模式。
vpp1和vpp2上配置命令如下：
创建memif的时候加上no-zero-copy可以配置成非零拷贝模式。另外配置的时候需注意绑定的网卡和core与numa的关系是否和设想的一致。
##### vpp1 配置
set int state TenGigabitEthernetc2/0/0 up
create sub-interfaces TenGigabitEthernetc2/0/0 1 dot1q 1019 exact-match
set interface state TenGigabitEthernetc2/0/0.1 up
set interface ip address TenGigabitEthernetc2/0/0.1 192.85.1.29/24
create memif socket id 111 filename /run/vpp/contiv/memif111.sock
create interface memif id 1 socket-id 111 master ring-size 8192 tx-queues 2 rx-queues 2
# create interface memif id 1 socket-id 111 master ring-size 8192 tx-queues 2 rx-queues 2 no-zero-copy
set interface state memif111/1 up
set interface ip address memif111/1 2.2.2.3/24
ip route add 192.85.2.0/24 via 2.2.2.2
##### vpp2 配置
set int state TenGigabitEthernet1/0/1 up
create sub-interfaces TenGigabitEthernet1/0/1 1 dot1q 1020 exact-match
set interface state TenGigabitEthernet1/0/1.1 up
set interface ip address TenGigabitEthernet1/0/1.1 192.85.2.29/24
create memif socket id 111 filename /run/vpp/contiv/memif111.sock
create interface memif id 1 socket-id 111 slave ring-size 8192 tx-queues 2 rx-queues 2
# create interface memif id 1 socket-id 111 slave ring-size 8192 tx-queues 2 rx-queues 2 no-zero-copy
set interface state memif111/1 up
set interface ip address memif111/1 2.2.2.2/24
ip route add 192.85.1.0/24 via 2.2.2.3
vpp配置完成之后，从TC上分别ping 192.85.1.28和192.85.2.28以完成mac地址的学习。
##### vpp1
vpp# show ip neighbor
Time IP Flags Ethernet Interface
69.9117 192.85.1.28 D 00:10:94:00:00:02 TenGigabitEthernetc2/0/0.1
31.1328 2.2.2.2 D 02:fe:64:40:98:8d memif111/1
##### vpp2
vpp# show ip neighbor
Time IP Flags Ethernet Interface
186.6420 192.85.2.28 D 00:10:94:00:00:19 TenGigabitEthernet1/0/1.1
27.8395 2.2.2.3 D 02:fe:48:42:a7:89 memif111/1从Test Center 端口发送报文长度为1024字节的udp报文，测试vpp三层转发以及memif性能。报文格式如下：
测试结果如下：
从时延和vpp矢量数据可以看出，采取零拷贝模式，在基于dpdk的不同应用间进行高性能流量转发，也有着不错的性能，不失为一个较好的解决方法。
标签：slave,vpp,buffer,master,vpp2,ring,memif,dpdk 来源： https://blog.csdn.net/yaojingqingcheng/article/details/121186316
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。