<div dir="ltr">Hi Sean,<div><br></div><div>Yes, that flag indeed seemed to be the issue. I was able to use libfabric 1.5 and fi_pingpong with -e rdm/msg.</div><div><br></div><div>> Did you update to fabtests v1.7 along with libfabric v1.7?  Though, fi_pingpong isn't technically a fabtests.  That ships directly with libfabric.<br></div><div><br></div><div>Re: the issues with fi_pingpong in 1.7, since as you mentioned fi_pingpong comes packaged with libfabric I was on the correct version. I guessed that it might've something to do with the outdated OFED driver that shipped with Ubuntu 18.04, so I've been trying to get the latest Mellanox driver up and running. I've been facing some issues with that, but it seems everything is fine with libfabric 1.5 at least, which allows me to make progress.</div><div><br></div><div>Thanks for the help! I'll update this thread if I'm able to run the latest OFED drivers and the libfabric 1.7 issue still persists.</div><div><br></div><div>Ankush</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, May 21, 2019 at 9:47 AM Hefty, Sean <<a href="mailto:sean.hefty@intel.com">sean.hefty@intel.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">> I'm having some trouble getting libfabric+verbs to work on my machine.<br>
> <br>
> It's running Ubuntu 18.04 with Mellanox MT27710 CX-4 NICs. I am able to run ib_send_bw<br>
> with both RC and UD (and other ib_* benchmarks), and get reasonable performance<br>
> numbers.<br>
> <br>
> I see both verbs and "verbs;ofi_rxm" providers if I run fi_info. fi_pingpong also runs<br>
> fine without any flags.<br>
> <br>
> However if I run fi_pingpong with the flag "-p verbs", I get the error: fi_getinfo():<br>
> util/pingpong.c:1436, ret=-61 (No data available) on one side, and "util/pingpong.c:558<br>
> : ctrl/read: no data or remote connection closed" on the other side.<br>
<br>
If you have fabtests installed, you can try running fi_rdm_pingpong or fi_msg_pingpong.<br>
<br>
I don't recall what endpoint type fi_pingpong defaults to.  But you can set this using the -e option (e.g. -e rdm or -e msg).  With verbs, you usually have to specify the source address.  I don't think fi_pingpong supports that, but it's the -s <ip_address> option for fi_rdm/msg_pingpong.<br>
<br>
> I'm using libfabric 1.5.1, with the default mlx5_core drivers that come with Ubuntu<br>
> 18.04. I tried installing libfabric 1.7 manually and got a different set of errors<br>
> ("util/pingpong.c:1523: fi_av_insert: number of addresses inserted = 0; number of<br>
> addresses given = 1") and now I'm out of ideas on how to get fabtests to work.<br>
<br>
Did you update to fabtests v1.7 along with libfabric v1.7?  Though, fi_pingpong isn't technically a fabtests.  That ships directly with libfabric.<br>
<br>
- Sean<br>
</blockquote></div>