<div dir="ltr">Yes my plan is to run opensm on  different machine.(Or Different Smart Switch .....)<div><div><br></div><div><br></div></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Sat, Jul 26, 2014 at 5:27 PM, Hal Rosenstock <span dir="ltr"><<a href="mailto:hal@dev.mellanox.co.il" target="_blank">hal@dev.mellanox.co.il</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Atul,<br>
<div><div class="h5"><br>
On 7/26/2014 5:45 AM, Atul Yadav wrote:<br>
> Dear Admin,<br>
><br>
> In our exiting setup we are having 18 server with dual IB cards.<br>
> And 2 IB switch.<br>
><br>
> We are planning to use MPI traffic on IB Port1 and Lustre Traffic on IB<br>
> port 2.<br>
><br>
> IB Port 1             Hostname                IB Port 2<br>
> IB Switch  1  IP Address      Hostname        IP Address      IB Switch  2<br>
> Port 1        192.168.2.1     Compute-1       192.168.3.1     Port 1<br>
> Port 2        192.168.2.2     Compute-2       192.168.3.2     Port 2<br>
> Port 3        192.168.2.3     Compute-3       192.168.3.3     Port 3<br>
> Port 4        192.168.2.4     Compute-4       192.168.3.4     Port 4<br>
> Port 5        192.168.2.5     Compute-5       192.168.3.5     Port 5<br>
> Port 6        192.168.2.6     Compute-6       192.168.3.6     Port 6<br>
> Port 7        192.168.2.7     Compute-7       192.168.3.7     Port 7<br>
> Port 8        192.168.2.8     Compute-8       192.168.3.8     Port 8<br>
> Port 9        192.168.2.9     Compute-9       192.168.3.9     Port 9<br>
> Port 10       192.168.2.10    Compute-10      192.168.3.10    Port 10<br>
> Port 11       192.168.2.11    Compute-11      192.168.3.11    Port 11<br>
> Port 12       192.168.2.12    Compute-12      192.168.3.12    Port 12<br>
> Port 13       192.168.2.13    Compute-13      192.168.3.13    Port 13<br>
> Port 14       192.168.2.14    Compute-14      192.168.3.14    Port 14<br>
> Port 15       192.168.2.15    Compute-15      192.168.3.15    Port 15<br>
> Port 16       192.168.2.16    Compute-16      192.168.3.16    Port 16<br>
> Port 17       192.168.2.17    Compute-17      192.168.3.17    Port 17<br>
> Port 18       192.168.2.18    Compute-18      192.168.3.18    Port 18<br>
><br>
><br>
><br>
> need your help in opensm configuration and setup ....<br>
<br>
</div></div>You need an SM per subnet. They should be setup to have different subnet<br>
prefixes.<br>
<br>
Do you plan on running OpenSM for each subnet on the same or different<br>
machines ?<br>
<br>
It's a little simpler if it's different machines.<br>
<br>
If it's on same machine, basically you need 2 options files (one for<br>
each subnet/OpenSM) and make the output (/var/log and /var/cache/opensm<br>
folders) go to separate files/directories. You can do that with the<br>
various config options.<br>
<br>
Also, see:<br>
<a href="https://www.mail-archive.com/linux-rdma@vger.kernel.org/msg03559.html" target="_blank">https://www.mail-archive.com/linux-rdma@vger.kernel.org/msg03559.html</a><br>
<br>
I don't see OSM_LOG_DIR in recent OpenSMs but there is log_prefix option.<br>
<br>
-- Hal<br>
<br>
> Thank You<br>
> Atul Yadav<br>
><br>
><br>
><br>
> _______________________________________________<br>
> ewg mailing list<br>
> <a href="mailto:ewg@lists.openfabrics.org">ewg@lists.openfabrics.org</a><br>
> <a href="http://lists.openfabrics.org/mailman/listinfo/ewg" target="_blank">http://lists.openfabrics.org/mailman/listinfo/ewg</a><br>
<br>
</blockquote></div><br></div>