
<html><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; ">All -<div><br></div><div>I sent this out last week and haven't gotten any response. Is this problem unsolvable?</div><div><br></div><div>--------</div><div><br></div><div>I'm receiving this error when I try to execute a mpi executable:<br><br>[node2][0,1,1][btl_openib_component.c:466:init_one_hca] error obtaining device context for mthca0 errno says Permission denied<br><br>--------------------------------------------------------------------------<br>WARNING: There were errors during IB HCA initialization on host 'node2'.<br>--------------------------------------------------------------------------<br>--------------------------------------------------------------------------<br>WARNING: There is at least on IB HCA found on host 'node2', but there is<br>no active ports detected. This is most certainly not what you wanted.<br>Check your cables and SM configuration.<br>--------------------------------------------------------------------------<br><br>I'm confused about the 'Permission denied'. My user is part of the group 'rdma', which I thought was supposed to give them permission to access the Infiniband devices. I'm also confused because the trivial test cases such as 'Hello World' and 'hostname' execute on all nodes without errors.<br><br>The 'no active ports' is also curious. On the master node, I am running OpenSM and it indicates that the port is active (using ibv_devinfo). However, I notice that the 'ibv_devinfo' command can only be run by root. Is this an indication that permissions are not set correctly?<br><br>As another note, my cluster is running Ubuntu 8.04, so I couldn't use the OFED scripts to install the Infiniband drivers, so I had to compile and install everything from source (which seemed to go fine). Do I have to do something extra to get permissions set and ports active?<br><br>Thanks for your help!<br><br>-------------------------------------------<br>Chris Tanner<br>Space Systems Design Lab<br>Georgia Institute of Technology<br><a href="mailto:christopher.tanner@gatech.edu">christopher.tanner@gatech.edu</a><br>-------------------------------------------<br><div apple-content-edited="true"> <span class="Apple-style-span" style="border-collapse: separate; color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-align: auto; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; -webkit-text-decorations-in-effect: none; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0; "><div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; "><div>-------------------------------------------</div><div>Chris Tanner</div><div>Space Systems Design Lab</div><div>Georgia Institute of Technology</div><div><a href="mailto:christopher.tanner@gatech.edu">christopher.tanner@gatech.edu</a></div><div>-------------------------------------------</div><div><br class="webkit-block-placeholder"></div></div></span><br class="Apple-interchange-newline"> </div><br></div></body></html>