【vbers】ibv_poll_cq()|RDMA_work request flushed error-程序员宅基地
技术标签： RDMA
目录
原文：https://www.rdmamojo.com/2013/02/15/ibv_poll_cq/ （强烈建议去看原文）
描述
ibv_poll_cq（）从完成队列（CQ）轮询WC(工作完成)，非阻塞函数。
[工作完成] 表示 WQ（工作队列）中的WR（工作请求） 以及与CQ相关联的所有已发布到该工作队列的未发出信号的WR(工作请求)均已完成。
(A Work Completion indicates that a Work Request in a Work Queue, and all of the outstanding unsignaled Work Requests that posted to that Work Queue, associated with the CQ are done.)
任何发送和接收请求 以及以错误结束的发送请求，将在处理结束后生成WC(工作完成)。
(Any Receive Requests, signaled Send Requests and Send Requests that ended with an error will generate a Work Completion after their processing end.)
当[工作请求]结束时，会将[工作完成]添加到与此工作队列相关联的CQ的尾部。 ibv_poll_cq（）检查CQ中是否存在[工作完成]，并按其输入顺序从CQ的顶部弹出（FIFO）。从CQ弹出[工作完成]后，无法将其返回给CQ。
应该以比产生WC更快的速度消费CQ中的WC，防止CQ队列溢出，如果发生CQ溢出，将触发异步事件IBV_EVENT_CQ_ERR，并且无法再使用CQ。
参数
| Name | Direction | Description |
|---|---|---|
| cq | in | 从ibv_create_cq（）返回的CQ |
| num_entries | in | 期望从CQ读取的WC数 |
| wc | out | 从CQ读取的WC数num_entries的数组。（Array of size num_entries of the Work Completions that will be read from the CQ） |
结构ibv_wc描述了wc的属性。
struct ibv_wc {
uint64_t wr_id;
enum ibv_wc_status status;
enum ibv_wc_opcode opcode;
uint32_t vendor_err;
uint32_t byte_len;
uint32_t imm_data;
uint32_t qp_num;
uint32_t src_qp;
int wc_flags;
uint16_t pkey_index;
uint16_t slid;
uint8_t sl;
uint8_t dlid_path_bits;
};
这是struct ibv_wc的完整说明：
| wr_id | 与WR对应关联的64 bit值 （The 64 bits value that was associated with the corresponding Work Request） |
| status | Status of the operation. The value can be one of the following enumerated values and their numeric value: 操作状态。该值可以是下列枚举值及其数字值之一：
|
| opcode | The operation that the corresponding Work Request performed. This value controls the way that data was sent, the direction of the data flow and the valid attributes in the Work Completion. The value can be one of the following enumerated values: 相应的工作请求执行的操作。此值控制数据的发送方式、数据流的方向以及“工作完成”中的有效属性。该值可以是下列枚举值之一：
|
| vendor_err | 供应商特定的错误，如果completion 因错误而结束，则会提供更多信息。一旦WC以错误结束，该值向RDMA设备的供应商提供有关失败原因的提示。 |
| byte_len | 传输的字节数。与incoming Send或 RDMA Write with immediate operations的接收队列有关。该值不包括立即数的长度（如果存在）。与RDMA读取和原子操作的“发送队列”相关。对于不与SRQ关联的UD QP的接收队列，或者对于与UD QP关联的SRQ，该值等于消息的有效负载加上为GRH保留的40个字节。传输的字节数是消息的有效负载加上为GRH保留的40个字节（无论是否存在GRH） （The number of bytes transferred. Relevant if the Receive Queue for incoming Send or RDMA Write with immediate operations. This value doesn't include the length of the immediate data, if such exists. Relevant in the Send Queue for RDMA Read and Atomic operations.For the Receive Queue of a UD QP that is not associated with an SRQ or for an SRQ that is associated with a UD QP this value equals to the payload of the message plus the 40 bytes reserved for the GRH.The number of bytes transferred is the payload of the message plus the 40 bytes reserved for the GRH, whether or not the GRH is present） |
| imm_data | （可选）以网络顺序的SEND或RDMA WRITE操作码中的32 bit 数字，与有效载荷一起发送到远程端，并放置在[接收工作完]（ Receive Work Completion）成中，而不是在远端内存缓冲区中。如果设置了IBV_WC_WITH_IMM，则此值有效 |
| qp_num | 已完成的WR的本地QP的号码。与和SRQ相关的[接收工作完成](Receive Work Completions)相关. (Local QP number of completed WR. Relevant for Receive Work Completions that are associated with an SRQ) |
| src_qp | Source QP number (remote QP number) of completed WR. Relevant for Receive Work Completions of a UD QP |
| wc_flags | Flags of the Work Completion. It is either 0 or the bitwise OR of one or more of the following flags:
|
| pkey_index | P_Key index. Relevant for GSI QPs |
| slid | Source LID (the base LID that this message was sent from). Relevant for Receive Work Completions of a UD QP |
| sl | Service Level (the SL LID that this message was sent with). Relevant for Receive Work Completions of a UD QP |
| dlid_path_bits | Destination LID path bits. Relevant for Receive Work Completions of a UD QP (not applicable for multicast messages) |
bytes. Relevant for RC QPs.以下测试（opcode & IBV_WC_RECV）将指示 来自接收队列的完成状态。（The following test (opcode & IBV_WC_RECV) will indicate that the status of a completion is from the Receive Queue.）
对于UD QP的[接收工作完成](receive Work Completions)，无论是否设置了IBV_WC_GRH位，数据均从已发布的接收缓冲区的偏移量40开始。
并非所有wc属性始终有效。如果完成状态不是IBV_WC_SUCCESS，则仅以下属性有效：
- wr_id
- status
- qp_num
- vendor_err
返回值
| Value | Description |
|---|---|
| 正数 | 从CQ读取的WC数及其值在wc中返回。如果该值小于num_entries，则表示CQ中没有更多的工作完成。如果此值等于num_entries，则CQ中可能会有更多的工作完成 |
| 0 | CQ为空 |
| 负数 | 尝试从CQ读取WC(工作完成)时发生故障 |
例子
从CQ轮询WC(工作完成)（在轮询模式下）：
struct ibv_wc wc;
int num_comp;
do {
num_comp = ibv_poll_cq(cq, 1, &wc);
} while (num_comp == 0);
if (num_comp < 0) {
fprintf(stderr, "ibv_poll_cq() failed\n");
return -1;
}
/* verify the completion status */
if (wc.status != IBV_WC_SUCCESS) {
fprintf(stderr, "Failed status %s (%d) for wr_id %d\n",
ibv_wc_status_str(wc.status),
wc.status, (int)wc.wr_id);
return -1;
}
常见问题
那工作完成（WC）到底是什么？
工作完成意味着相应的工作请求已结束，缓冲区可以（重新）用于读取，写入或释放。
ibv_poll_cq（）是否引起上下文切换？
否。Work Completions的轮询根本不会导致上下文切换；它不会导致上下文切换。这就是为什么RDMA技术可以实现极低的延迟（低于1 usc）的原因。
Is there a limit to the number of Work Completions that can we polled when calling ibv_poll_cq()?
调用ibv_poll_cq（）时可以轮询的[工作完成](Work Completions 数量是否有限制？
没有，你想读多少都行。
我调用了ibv_poll_cq（），它填充了我提供给它的所有数组。我能否知道CQ中还有多少工作完成？
不，你不能。
我从UD QP的接收队列中获得了工作完成(WC)，并且进展顺利。我从内存缓冲区中读取了数据，但数据不正确。为什么？
也许您查看了数据的起始偏移量0。对于UD QP的任何工作完成，无论是否存在GRH，数据都将放置在相关内存缓冲区的偏移量40中。
什么是GRH，为什么我需要它？
全局路由头（GRH）提供的信息对于将消息发回给此消息的发件人（如果来自其他子网或来自多播组）最有用。
I've got completion with error status. Can I read all of the Work Completion fields?
否。如果“工作完成”状态表明存在错误，则仅以下属性有效：wr_id，status，qp_num和vendor_err。其余属性未定义。
我从CQ上Read了一个WC，但我不需要，我可以将其退还给CQ吗？
不，你不能。
我可以阅读属于特定工作队列的工作完成吗？（Can I read Work Completion that belongs to a specific Work Queue?）
不，你不能。
如果添加的工作完成(WC)数量超过CQ的size，将会发生什么情况？
CQ将超限，并且CQ（以及与之关联的所有QP）将进入错误状态。
智能推荐
python编码问题之encode、decode、codecs模块_python中encode在什么模块-程序员宅基地
文章浏览阅读2.1k次。原文链接先说说编解码问题编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。 Eg：str1.decode('gb2312') #将gb2312编码的字符串转换成unicode编码str2.encode('gb2312') #将unicode编码..._python中encode在什么模块
Java数据流-程序员宅基地
文章浏览阅读949次，点赞21次，收藏15次。本文介绍了Java中的数据输入流（DataInputStream）和数据输出流（DataOutputStream）的使用方法。
ie浏览器无法兼容的问题汇总_ie 浏览器 newdate-程序员宅基地
文章浏览阅读111次。ie无法兼容_ie 浏览器 newdate
想用K8s，还得先会Docker吗？其实完全没必要-程序员宅基地
文章浏览阅读239次。这篇文章把 Docker 和 K8s 的关系给大家做了一个解答，希望还在迟疑自己现有的知识储备能不能直接学 K8s 的，赶紧行动起来，K8s 是典型的入门有点难，后面越用越香。
ADI中文手册获取方法_adi 如何查看数据手册-程序员宅基地
文章浏览阅读561次。ADI中文手册获取方法_adi 如何查看数据手册
React 分页-程序员宅基地
文章浏览阅读1k次，点赞4次，收藏3次。React 获取接口数据实现分页效果以拼多多接口为例实现思路加载前 加载动画加载后 判断有内容的时候 无内容的时候用到的知识点1、动画效果（用在加载前，加载之后就隐藏或关闭，用开关效果即可）2、axios请求3、map渲染页面4、分页插件（antd）代码实现import React, { Component } from 'react';//引入axiosimport axios from 'axios';//引入antd插件import { Pagination }_react 分页
随便推点
关于使用CryPtopp库进行RSA签名与验签的一些说明_cryptopp 签名-程序员宅基地
文章浏览阅读449次，点赞9次，收藏7次。这个变量与验签过程中的SignatureVerificationFilter::PUT_MESSAGE这个宏是对应的，SignatureVerificationFilter::PUT_MESSAGE，如果在签名过程中putMessage设置为true，则在验签过程中需要添加SignatureVerificationFilter::PUT_MESSAGE。项目中使用到了CryPtopp库进行RSA签名与验签，但是在使用过程中反复提示无效的数字签名。否则就会出现文章开头出现的数字签名无效。_cryptopp 签名
新闻稿的写作格式_新闻稿时间应该放在什么位置-程序员宅基地
文章浏览阅读848次。新闻稿是新闻从业者经常使用的一种文体，它的格式与内容都有着一定的规范。本文将从新闻稿的格式和范文两个方面进行介绍，以帮助读者更好地了解新闻稿的写作_新闻稿时间应该放在什么位置
Java中的转换器设计模式_java转换器模式-程序员宅基地
文章浏览阅读1.7k次。Java中的转换器设计模式 在这篇文章中，我们将讨论 Java / J2EE项目中最常用的 Converter Design Pattern。由于Java8 功能不仅提供了相应类型之间的通用双向转换方式，而且还提供了转换相同类型对象集合的常用方法，从而将样板代码减少到绝对最小值。我们使用Java8 功能编写了..._java转换器模式
应用k8s入门-程序员宅基地
文章浏览阅读150次。1，kubectl run创建pods[root@master ~]# kubectl run nginx-deploy --image=nginx:1.14-alpine --port=80 --replicas=1[root@master ~]# kubectl get podsNAME READY STATUS REST...
PAT菜鸡进化史_乙级_1003_1003 pat乙级 最优-程序员宅基地
文章浏览阅读128次。PAT菜鸡进化史_乙级_1003“答案正确”是自动判题系统给出的最令人欢喜的回复。本题属于 PAT 的“答案正确”大派送 —— 只要读入的字符串满足下列条件，系统就输出“答案正确”，否则输出“答案错误”。得到“答案正确”的条件是： 1. 字符串中必须仅有 P、 A、 T这三种字符，不可以包含其它字符； 2. 任意形如 xPATx 的字符串都可以获得“答案正确”，其中 x 或者是空字符串，或..._1003 pat乙级 最优
CH340与Android串口通信_340串口小板 安卓给安卓发指令-程序员宅基地
文章浏览阅读5.6k次。CH340与Android串口通信为何要将CH340的ATD+Eclipse上的安卓工程移植到AndroidStudio移植的具体步骤CH340串口通信驱动函数通信过程中重难点还存在的问题为何要将CH340的ATD+Eclipse上的安卓工程移植到AndroidStudio为了在这个工程基础上进行改动，验证串口的数据和配置串口的参数，我首先在Eclipse上配置了安卓开发环境，注意在配置环境是..._340串口小板 安卓给安卓发指令