Hello IB people,<br><br>I set up an AMD dual quad-core system recently and ran some IB level tests. The "ibv_ud_pingpong" and "ibv_rc_pingpong" tests show pretty different results for UD vs RC (latency is more than double!). I'm wondering if someone could shed light on the issue? Is there something that needs to be updated or changed? Has someone else noticed this phenomena?<br>
<br>$ numactl --physcpubind=0 --membind=0 ibv_ud_pingpong -s 1024 -d mlx4_0<br>  local address:  LID 0x003e, QPN 0x2c004a, PSN 0x7426cf<br>  remote address: LID 0x0045, QPN 0x2e004a, PSN 0x352c7e<br>2048000 bytes in 0.03 seconds = 609.23 Mbit/sec<br>
1000 iters in 0.03 seconds = 26.89 usec/iter<br><br>$ numactl --physcpubind=0 --membind=0 ibv_rc_pingpong -s 1024 -d mlx4_0<br>  local address:  LID 0x003e, QPN 0x2e004a, PSN 0xf8fcb5<br>  remote address: LID 0x0045, QPN 0x30004a, PSN 0x221e94<br>
2048000 bytes in 0.01 seconds = 1413.39 Mbit/sec<br>1000 iters in 0.01 seconds = 11.59 usec/iter<br><br>[there is no difference with/without numactl]<br><br>Here is the system description:<br><br>OS: Red Hat Enterprise Linux Server release 5.2 (Tikanga); kernel 2.6.18-92.el5<br>
Processor: Quad-Core AMD Opteron(tm) Processor 2356<br>IB software: OFED-1.4<br>Firmware version: 2.5<br>Harware version: 0xA0<br>Vendor part id: 25418<br><br>-D<br>