<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:x="urn:schemas-microsoft-com:office:excel" xmlns:p="urn:schemas-microsoft-com:office:powerpoint" xmlns:a="urn:schemas-microsoft-com:office:access" xmlns:dt="uuid:C2F41010-65B3-11d1-A29F-00AA00C14882" xmlns:s="uuid:BDC6E3F0-6DA3-11d1-A2A3-00AA00C14882" xmlns:rs="urn:schemas-microsoft-com:rowset" xmlns:z="#RowsetSchema" xmlns:b="urn:schemas-microsoft-com:office:publisher" xmlns:ss="urn:schemas-microsoft-com:office:spreadsheet" xmlns:c="urn:schemas-microsoft-com:office:component:spreadsheet" xmlns:odc="urn:schemas-microsoft-com:office:odc" xmlns:oa="urn:schemas-microsoft-com:office:activation" xmlns:html="http://www.w3.org/TR/REC-html40" xmlns:q="http://schemas.xmlsoap.org/soap/envelope/" xmlns:rtc="http://microsoft.com/officenet/conferencing" xmlns:D="DAV:" xmlns:Repl="http://schemas.microsoft.com/repl/" xmlns:mt="http://schemas.microsoft.com/sharepoint/soap/meetings/" xmlns:x2="http://schemas.microsoft.com/office/excel/2003/xml" xmlns:ppda="http://www.passport.com/NameSpace.xsd" xmlns:ois="http://schemas.microsoft.com/sharepoint/soap/ois/" xmlns:dir="http://schemas.microsoft.com/sharepoint/soap/directory/" xmlns:ds="http://www.w3.org/2000/09/xmldsig#" xmlns:dsp="http://schemas.microsoft.com/sharepoint/dsp" xmlns:udc="http://schemas.microsoft.com/data/udc" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:sub="http://schemas.microsoft.com/sharepoint/soap/2002/1/alerts/" xmlns:ec="http://www.w3.org/2001/04/xmlenc#" xmlns:sp="http://schemas.microsoft.com/sharepoint/" xmlns:sps="http://schemas.microsoft.com/sharepoint/soap/" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:udcs="http://schemas.microsoft.com/data/udc/soap" xmlns:udcxf="http://schemas.microsoft.com/data/udc/xmlfile" xmlns:udcp2p="http://schemas.microsoft.com/data/udc/parttopart" xmlns:wf="http://schemas.microsoft.com/sharepoint/soap/workflow/" xmlns:dsss="http://schemas.microsoft.com/office/2006/digsig-setup" xmlns:dssi="http://schemas.microsoft.com/office/2006/digsig" xmlns:mdssi="http://schemas.openxmlformats.org/package/2006/digital-signature" xmlns:mver="http://schemas.openxmlformats.org/markup-compatibility/2006" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns:mrels="http://schemas.openxmlformats.org/package/2006/relationships" xmlns:spwp="http://microsoft.com/sharepoint/webpartpages" xmlns:ex12t="http://schemas.microsoft.com/exchange/services/2006/types" xmlns:ex12m="http://schemas.microsoft.com/exchange/services/2006/messages" xmlns:pptsl="http://schemas.microsoft.com/sharepoint/soap/SlideLibrary/" xmlns:spsl="http://microsoft.com/webservices/SharePointPortalServer/PublishedLinksService" xmlns:Z="urn:schemas-microsoft-com:" xmlns:st="" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=us-ascii">
<meta name=Generator content="Microsoft Word 12 (filtered medium)">
<style>
<!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Calibri","sans-serif";
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
-->
</style>
<!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang=EN-US link=blue vlink=purple>
<div class=WordSection1>
<p class=MsoNormal>This checkin is used to allow the send_bw to work with RoCE
which requires GRH. <o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>If anyone has idea what I should use for ib_grh_set_ver_class_flow()
I’ll be happy to know.<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>Thanks<o:p></o:p></p>
<p class=MsoNormal>Tzachi<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>Index: user/perf_defs.h<o:p></o:p></p>
<p class=MsoNormal>===================================================================<o:p></o:p></p>
<p class=MsoNormal>--- user/perf_defs.h (revision 6853)<o:p></o:p></p>
<p class=MsoNormal>+++ user/perf_defs.h (working copy)<o:p></o:p></p>
<p class=MsoNormal>@@ -55,6 +55,13 @@<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> #define KEY_MSG_SIZE (sizeof
"0000:000000:000000:00000000:0000000000000000")<o:p></o:p></p>
<p class=MsoNormal> #define KEY_PRINT_FMT
"%04x:%06x:%06x:%08x:%016I64x"<o:p></o:p></p>
<p class=MsoNormal>+<o:p></o:p></p>
<p class=MsoNormal>+// The Format of the message we pass through sockets (With
Gid).<o:p></o:p></p>
<p class=MsoNormal>+#define KEY_PRINT_FMT_GID
"%04x:%06x:%06x:%08x:%016I64x:%02x:%02x:%02x:%02x:%02x:%02x:%02x:%02x:%02x:%02x:%02x:%02x:%02x:%02x:%02x:%02x"<o:p></o:p></p>
<p class=MsoNormal>+<o:p></o:p></p>
<p class=MsoNormal>+#define KEY_MSG_SIZE_GID 98 // Message size with gid
(MGID as well).<o:p></o:p></p>
<p class=MsoNormal>+<o:p></o:p></p>
<p class=MsoNormal>+<o:p></o:p></p>
<p class=MsoNormal> #define KEY_SCAN_FMT "%x:%x:%x:%x:%x"<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> #define VERSION 2.0<o:p></o:p></p>
<p class=MsoNormal>@@ -122,8 +129,9 @@<o:p></o:p></p>
<p class=MsoNormal> ib_net16_t lid;<o:p></o:p></p>
<p class=MsoNormal> ib_net32_t qpn;<o:p></o:p></p>
<p class=MsoNormal> ib_net32_t psn;<o:p></o:p></p>
<p class=MsoNormal>- uint32_t rkey;<o:p></o:p></p>
<p class=MsoNormal>- uint64_t vaddr;<o:p></o:p></p>
<p class=MsoNormal>+ uint32_t rkey;<o:p></o:p></p>
<p class=MsoNormal>+ uint64_t vaddr;<o:p></o:p></p>
<p class=MsoNormal>+ ib_gid_t gid;<o:p></o:p></p>
<p class=MsoNormal> };<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal>Index: user/perf_utils.c<o:p></o:p></p>
<p class=MsoNormal>===================================================================<o:p></o:p></p>
<p class=MsoNormal>--- user/perf_utils.c (revision 6853)<o:p></o:p></p>
<p class=MsoNormal>+++ user/perf_utils.c (working copy)<o:p></o:p></p>
<p class=MsoNormal>@@ -74,10 +74,18 @@<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> static int pp_write_keys(SOCKET sockfd, const struct
pingpong_dest *my_dest)<o:p></o:p></p>
<p class=MsoNormal> {<o:p></o:p></p>
<p class=MsoNormal>- char msg[KEY_MSG_SIZE];<o:p></o:p></p>
<p class=MsoNormal>+ char msg[KEY_MSG_SIZE_GID];<o:p></o:p></p>
<p class=MsoNormal> PERF_ENTER;<o:p></o:p></p>
<p class=MsoNormal>- sprintf(msg,
KEY_PRINT_FMT,cl_hton16(my_dest->lid), cl_hton32(my_dest->qpn), <o:p></o:p></p>
<p class=MsoNormal>- cl_hton32(my_dest->psn),
cl_hton32(my_dest->rkey), my_dest->vaddr);<o:p></o:p></p>
<p class=MsoNormal>+ sprintf(msg,
KEY_PRINT_FMT_GID,cl_hton16(my_dest->lid), cl_hton32(my_dest->qpn), <o:p></o:p></p>
<p class=MsoNormal>+ cl_hton32(my_dest->psn),
cl_hton32(my_dest->rkey), my_dest->vaddr, <o:p></o:p></p>
<p class=MsoNormal>+ my_dest->gid.raw[0],my_dest->gid.raw[1],<o:p></o:p></p>
<p class=MsoNormal>+ my_dest->gid.raw[2],my_dest->gid.raw[3],<o:p></o:p></p>
<p class=MsoNormal>+ my_dest->gid.raw[4],my_dest->gid.raw[5],<o:p></o:p></p>
<p class=MsoNormal>+ my_dest->gid.raw[6],my_dest->gid.raw[7],<o:p></o:p></p>
<p class=MsoNormal>+ my_dest->gid.raw[8],my_dest->gid.raw[9],<o:p></o:p></p>
<p class=MsoNormal>+ my_dest->gid.raw[10],my_dest->gid.raw[11],<o:p></o:p></p>
<p class=MsoNormal>+ my_dest->gid.raw[12],my_dest->gid.raw[13],<o:p></o:p></p>
<p class=MsoNormal>+ my_dest->gid.raw[14],my_dest->gid.raw[15]);<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> if (send(sockfd, msg, sizeof msg,0) !=
sizeof msg) {<o:p></o:p></p>
<p class=MsoNormal> perror("pp_write_keys");<o:p></o:p></p>
<p class=MsoNormal>@@ -93,7 +101,7 @@<o:p></o:p></p>
<p class=MsoNormal> {<o:p></o:p></p>
<p class=MsoNormal> int parsed;<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal>- char msg[KEY_MSG_SIZE];<o:p></o:p></p>
<p class=MsoNormal>+ char msg[KEY_MSG_SIZE_GID];<o:p></o:p></p>
<p class=MsoNormal> PERF_ENTER;<o:p></o:p></p>
<p class=MsoNormal> if (recv(sockfd, msg, sizeof msg, 0) !=
sizeof msg) {<o:p></o:p></p>
<p class=MsoNormal> perror("pp_read_keys");<o:p></o:p></p>
<p class=MsoNormal>@@ -101,14 +109,23 @@<o:p></o:p></p>
<p class=MsoNormal> return -1;<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal>- parsed = sscanf(msg, KEY_PRINT_FMT,
&rem_dest->lid, &rem_dest->qpn,<o:p></o:p></p>
<p class=MsoNormal>- &rem_dest->psn,&rem_dest->rkey,
&rem_dest->vaddr);<o:p></o:p></p>
<p class=MsoNormal>+ parsed = sscanf(msg, KEY_PRINT_FMT_GID,
&rem_dest->lid, &rem_dest->qpn,<o:p></o:p></p>
<p class=MsoNormal>+ &rem_dest->psn,&rem_dest->rkey,
&rem_dest->vaddr,<o:p></o:p></p>
<p class=MsoNormal>+ &rem_dest->gid.raw[0],&rem_dest->gid.raw[1],<o:p></o:p></p>
<p class=MsoNormal>+ &rem_dest->gid.raw[2],&rem_dest->gid.raw[3],<o:p></o:p></p>
<p class=MsoNormal>+ &rem_dest->gid.raw[4],&rem_dest->gid.raw[5],<o:p></o:p></p>
<p class=MsoNormal>+ &rem_dest->gid.raw[6],&rem_dest->gid.raw[7],<o:p></o:p></p>
<p class=MsoNormal>+ &rem_dest->gid.raw[8],&rem_dest->gid.raw[9],<o:p></o:p></p>
<p class=MsoNormal>+ &rem_dest->gid.raw[10],&rem_dest->gid.raw[11],<o:p></o:p></p>
<p class=MsoNormal>+ &rem_dest->gid.raw[12],&rem_dest->gid.raw[13],<o:p></o:p></p>
<p class=MsoNormal>+ &rem_dest->gid.raw[14],&rem_dest->gid.raw[15]);<o:p></o:p></p>
<p class=MsoNormal>+ <o:p></o:p></p>
<p class=MsoNormal> rem_dest->lid =
cl_ntoh16(rem_dest->lid);<o:p></o:p></p>
<p class=MsoNormal> rem_dest->qpn =
cl_ntoh32(rem_dest->qpn);<o:p></o:p></p>
<p class=MsoNormal> rem_dest->psn =
cl_ntoh32(rem_dest->psn);<o:p></o:p></p>
<p class=MsoNormal> rem_dest->rkey =
cl_ntoh32(rem_dest->rkey);<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal>- if (parsed != 5) {<o:p></o:p></p>
<p class=MsoNormal>+ if (parsed != 21) {<o:p></o:p></p>
<p class=MsoNormal> fprintf(stderr,
"Couldn't parse line <%.*s > parsed = %d %s (%x)\n",<o:p></o:p></p>
<p class=MsoNormal> (int)sizeof
msg, msg,parsed,sock_get_error_str(), WSAGetLastError());<o:p></o:p></p>
<p class=MsoNormal> return -1;<o:p></o:p></p>
<p class=MsoNormal>@@ -242,5 +259,3 @@<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal>-<o:p></o:p></p>
<p class=MsoNormal>-<o:p></o:p></p>
<p class=MsoNormal>Index: user/send_bw/send_bw.c<o:p></o:p></p>
<p class=MsoNormal>===================================================================<o:p></o:p></p>
<p class=MsoNormal>--- user/send_bw/send_bw.c (revision 6853)<o:p></o:p></p>
<p class=MsoNormal>+++ user/send_bw/send_bw.c (working copy)<o:p></o:p></p>
<p class=MsoNormal>@@ -53,6 +53,7 @@<o:p></o:p></p>
<p class=MsoNormal> int tx_depth;<o:p></o:p></p>
<p class=MsoNormal> int duplex;<o:p></o:p></p>
<p class=MsoNormal> int use_event;<o:p></o:p></p>
<p class=MsoNormal>+ int use_grh;<o:p></o:p></p>
<p class=MsoNormal> };<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> static int page_size;<o:p></o:p></p>
<p class=MsoNormal>@@ -402,6 +403,13 @@<o:p></o:p></p>
<p class=MsoNormal> IB_MOD_QP_RESP_RES
|<o:p></o:p></p>
<p class=MsoNormal> IB_MOD_QP_PRIMARY_AV;<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal>+ if(user_parm->use_grh)<o:p></o:p></p>
<p class=MsoNormal>+ {<o:p></o:p></p>
<p class=MsoNormal>+ attr.state.rtr.primary_av.grh_valid
= 1;<o:p></o:p></p>
<p class=MsoNormal>+ attr.state.rtr.primary_av.grh.hop_limit
= 1;<o:p></o:p></p>
<p class=MsoNormal>+ attr.state.rtr.primary_av.grh.dest_gid
=dest->gid;<o:p></o:p></p>
<p class=MsoNormal>+ attr.state.rtr.primary_av.grh.src_gid
= ctx->ca_attr->p_port_attr->p_gid_table[0];<o:p></o:p></p>
<p class=MsoNormal>+ }<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> ib_status = ib_modify_qp(ctx->qp[0],
&attr);<o:p></o:p></p>
<p class=MsoNormal> if(ib_status != IB_SUCCESS){<o:p></o:p></p>
<p class=MsoNormal>@@ -412,7 +420,17 @@<o:p></o:p></p>
<p class=MsoNormal> if (user_parm->connection_type == UD) {<o:p></o:p></p>
<p class=MsoNormal> ib_av_attr_t av_attr;<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal>- av_attr.grh_valid = 0;<o:p></o:p></p>
<p class=MsoNormal>+ if(user_parm->use_grh){<o:p></o:p></p>
<p class=MsoNormal>+ av_attr.grh_valid
= 1;<o:p></o:p></p>
<p class=MsoNormal>+ av_attr.grh.ver_class_flow
= ib_grh_set_ver_class_flow(6, 0 ,0);<o:p></o:p></p>
<p class=MsoNormal>+ av_attr.grh.resv1
= 0;<o:p></o:p></p>
<p class=MsoNormal>+ av_attr.grh.resv2
= 0;<o:p></o:p></p>
<p class=MsoNormal>+ av_attr.grh.hop_limit
= 1;<o:p></o:p></p>
<p class=MsoNormal>+ av_attr.grh.src_gid
= ctx->ca_attr->p_port_attr->p_gid_table[0];<o:p></o:p></p>
<p class=MsoNormal>+ av_attr.grh.dest_gid
= dest->gid;<o:p></o:p></p>
<p class=MsoNormal>+ } else {<o:p></o:p></p>
<p class=MsoNormal>+ av_attr.grh_valid
= 0;<o:p></o:p></p>
<p class=MsoNormal>+ }<o:p></o:p></p>
<p class=MsoNormal> av_attr.dlid = dest->lid;<o:p></o:p></p>
<p class=MsoNormal> av_attr.sl = 0;<o:p></o:p></p>
<p class=MsoNormal> av_attr.path_bits = 0;<o:p></o:p></p>
<p class=MsoNormal>@@ -534,6 +552,7 @@<o:p></o:p></p>
<p class=MsoNormal> /* TBD this should be
changed inot VA and different key to each qp */<o:p></o:p></p>
<p class=MsoNormal> my_dest[i].rkey =
ctx->rkey;<o:p></o:p></p>
<p class=MsoNormal> my_dest[i].vaddr =
(uintptr_t)ctx->buf + ctx->size;<o:p></o:p></p>
<p class=MsoNormal>+ my_dest[i].gid =
ctx->ca_attr->p_port_attr->p_gid_table[0];<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> printf(" local
address: LID %#04x, QPN %#06x, PSN %#06x, "<o:p></o:p></p>
<p class=MsoNormal> "RKey %#08x VAddr
%#016Lx\n",<o:p></o:p></p>
<p class=MsoNormal>@@ -581,6 +600,7 @@<o:p></o:p></p>
<p class=MsoNormal> printf(" -t,
--tx-depth=<dep> size of tx queue (default 300)\n");<o:p></o:p></p>
<p class=MsoNormal> printf(" -n,
--iters=<iters> number of exchanges (at least 2, default
1000)\n");<o:p></o:p></p>
<p class=MsoNormal> printf(" -b, --bidirectional
measure bidirectional bandwidth (default unidirectional)\n");<o:p></o:p></p>
<p class=MsoNormal>+ printf(" -g, --grh Use
GRH with packets (mandatory for RoCE)\n");<o:p></o:p></p>
<p class=MsoNormal> printf(" -V, --version
display version number\n");<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal>@@ -1005,10 +1025,11 @@<o:p></o:p></p>
<p class=MsoNormal> {
"bidirectional", 0, NULL, 'b' },<o:p></o:p></p>
<p class=MsoNormal> {
"version", 0, NULL, 'V' },<o:p></o:p></p>
<p class=MsoNormal> {
"events", 0, NULL, 'e' },<o:p></o:p></p>
<p class=MsoNormal>+ {
"grh", 0, NULL, 'g' },<o:p></o:p></p>
<p class=MsoNormal> { 0 }<o:p></o:p></p>
<p class=MsoNormal> };<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal>- c = getopt_long(argc, argv,
"p:d:i:m:c:s:n:t:ebaVh", long_options, NULL);<o:p></o:p></p>
<p class=MsoNormal>+ c = getopt_long(argc, argv,
"p:d:i:m:c:s:n:t:ebaVhg", long_options, NULL);<o:p></o:p></p>
<p class=MsoNormal> if (c == -1)<o:p></o:p></p>
<p class=MsoNormal> break;<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal>@@ -1077,6 +1098,11 @@<o:p></o:p></p>
<p class=MsoNormal> case 'b':<o:p></o:p></p>
<p class=MsoNormal> user_param.duplex
= 1;<o:p></o:p></p>
<p class=MsoNormal> break;<o:p></o:p></p>
<p class=MsoNormal>+<o:p></o:p></p>
<p class=MsoNormal>+ case 'g':<o:p></o:p></p>
<p class=MsoNormal>+ user_param.use_grh
= 1;<o:p></o:p></p>
<p class=MsoNormal>+ break;<o:p></o:p></p>
<p class=MsoNormal>+<o:p></o:p></p>
<p class=MsoNormal> case 'h':<o:p></o:p></p>
<p class=MsoNormal> default:<o:p></o:p></p>
<p class=MsoNormal> usage(argv[0]);<o:p></o:p></p>
</div>
</body>
</html>