<div dir="ltr"><div class="gmail_default" style="font-family:monospace,monospace;font-size:small;color:rgb(11,83,148)">Hi Susan/Rupert, first I want to thank you both for the responses. <br>   Regarding the tests, the thing about ib_write_bw or ib_read_bw is that it used underneath RDMA, so the adapter maps a connection directly to a memory location in each host. After the IP session gets established, the RDMA API bypasses the IP stack in the host and copies the data directly from, let's say host1 memory to host2 memory. This bypasses the IP stack, kernel and other networking layers. <br>   So the RDMA connection is made at the HW level and indicates what the HW is capable of, in these kind of test I'm getting almost 50Gb/s, so it rocks! :). However, the iperf tests indicates what the OS and IP layers are capable of, so that's why iperf will lead to different results. Also, besides the PCIe gen2 or 3 is used the IP stack took some performance from that and that's why is not getting the "best" values compared to RDMA. Notice that I'm also using PCIe v3 so with iperf I can't get more than 24Gb/s really don't know why.<br><br></div><div class="gmail_default" style="font-family:monospace,monospace;font-size:small;color:rgb(11,83,148)">Best,<br><br></div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><span><div><div dir="ltr"><p><b><span style="font-size:10.0pt;font-family:Trebuchet MS,sans-serif;color:#444444"></span></b></p><span style="color:rgb(68,68,68)"><span style="font-family:trebuchet ms,sans-serif"><font size="2"><b>German</b></font></span></span><span style="color:rgb(68,68,68)"><span style="font-family:trebuchet ms,sans-serif"></span></span></div></div></span></div></div></div></div></div>
<br><div class="gmail_quote">2016-01-11 20:16 GMT-03:00 Rupert Dance <span dir="ltr"><<a href="mailto:rsdance@soft-forge.com" target="_blank">rsdance@soft-forge.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div link="blue" vlink="purple" lang="EN-US"><div><p class="MsoNormal">We get 40+ when using FDR cards and PCIe Gen3 and ib_write_bw<u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">Rupert<u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><div><div style="border:none;border-top:solid #b5c4df 1.0pt;padding:3.0pt 0in 0in 0in"><p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">From:</span></b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""> <a href="mailto:users-bounces@lists.openfabrics.org" target="_blank">users-bounces@lists.openfabrics.org</a> [mailto:<a href="mailto:users-bounces@lists.openfabrics.org" target="_blank">users-bounces@lists.openfabrics.org</a>] <b>On Behalf Of </b>Coulter, Susan K<br><b>Sent:</b> Monday, January 11, 2016 5:11 PM<br><b>To:</b> German Anders<br><b>Cc:</b> <a href="mailto:users@lists.openfabrics.org" target="_blank">users@lists.openfabrics.org</a><br><b>Subject:</b> Re: [Users] Performance issue with FDR & Ubuntu<u></u><u></u></span></p></div></div><div><div class="h5"><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><u></u> <u></u></p><div><blockquote style="margin-top:5.0pt;margin-bottom:5.0pt"><div><p class="MsoNormal">On Dec 22, 2015, at 11:55 AM, German Anders <<a href="mailto:ganders@despegar.com" target="_blank">ganders@despegar.com</a>> wrote:<u></u><u></u></p></div><p class="MsoNormal"><u></u> <u></u></p><div><p class="MsoNormal"><span style="font-family:"Courier New";color:#0b5394">Is there anyone around that is using IB FDR and running an iperf between two hosts on the same net, are getting more than 24Gbits/sec?</span><u></u><u></u></p></div></blockquote><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">I just ran some quick iperf tests between 2 FDR HCAs - I get the same ~24Gbs.<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">The constraint is often the PCI bus, not IPoIB itself.<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><p class="MsoNormal"><u></u> <u></u></p><div><div><div><div><p class="MsoNormal"><span style="color:black">==================================================<u></u><u></u></span></p></div><div><p class="MsoNormal"><span style="color:black">Susan Coulter<u></u><u></u></span></p></div><div><p class="MsoNormal"><span style="color:black">HPC Network Technical Lead<u></u><u></u></span></p></div><div><p class="MsoNormal"><span style="color:black">(505) 667-8425<u></u><u></u></span></p></div><div><p class="MsoNormal"><span style="color:black">“Once in a while you get shown the light<u></u><u></u></span></p></div><div><p class="MsoNormal"><span style="color:black">    In the strangest of places if you look at it right”  <i>Robert Hunter</i><u></u><u></u></span></p></div><div><p class="MsoNormal"><span style="color:black">==================================================<u></u><u></u></span></p></div><div><p class="MsoNormal"><span style="color:black"><u></u> <u></u></span></p></div></div><p class="MsoNormal"><span style="color:black"><u></u> <u></u></span></p></div><p class="MsoNormal" style="margin-bottom:12.0pt"><u></u> <u></u></p></div><p class="MsoNormal"><u></u> <u></u></p></div></div></div></div></blockquote></div><br></div></div>