<div class="zcontentRow"><p style="box-sizing: border-box; margin-top: 0px; margin-bottom: 0px; white-space: normal; min-height: 14px; font-family: Arial, 宋体, 'Microsoft Yahei', 'Lucida Grande', Verdana, Lucida, Helvetica, sans-serif; font-size: 16px; line-height: 22.8571434020996px; outline: 0px !important; background-color: rgb(255, 255, 255);">Hi,Sir</p><p style="box-sizing: border-box; margin-top: 0px; margin-bottom: 0px; white-space: normal; min-height: 14px; font-family: Arial, 宋体, 'Microsoft Yahei', 'Lucida Grande', Verdana, Lucida, Helvetica, sans-serif; font-size: 16px; line-height: 22.8571434020996px; outline: 0px !important; background-color: rgb(255, 255, 255);">Our team have met several problems while developing network system on Mellanox ConnectX using libfabric-1.7.0-1.el7.</p><p style="box-sizing: border-box; margin-top: 0px; margin-bottom: 0px; white-space: normal; min-height: 14px; font-family: Arial, 宋体, 'Microsoft Yahei', 'Lucida Grande', Verdana, Lucida, Helvetica, sans-serif; font-size: 16px; line-height: 22.8571434020996px; outline: 0px !important; background-color: rgb(255, 255, 255);"><span style="line-height: 22.8571434020996px; color: rgb(36, 41, 46); font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Helvetica, Arial, sans-serif, 'Apple Color Emoji', 'Segoe UI Emoji'; font-size: 16px; orphans: 2; widows: 2; background-color: rgb(255, 255, 255);">We would appreciate your advices on these issues</span><span style="line-height: 22.8571434020996px; color: rgb(36, 41, 46); font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Helvetica, Arial, sans-serif, 'Apple Color Emoji', 'Segoe UI Emoji'; font-size: 16px; orphans: 2; widows: 2; background-color: rgb(255, 255, 255);">.</span></p><p style="box-sizing: border-box; margin-top: 0px; margin-bottom: 0px; white-space: normal; min-height: 14px; font-family: Arial, 宋体, 'Microsoft Yahei', 'Lucida Grande', Verdana, Lucida, Helvetica, sans-serif; font-size: 16px; line-height: 22.8571434020996px; outline: 0px !important; background-color: rgb(255, 255, 255);"><img style="box-sizing: border-box; vertical-align: middle; border: 0px; outline: 0px !important; width: 397px; height: 256px;" width="397" height="256" src="cid:00cb0002b9650fb1101802f500001"></p><p style="box-sizing: border-box; margin-top: 0px; margin-bottom: 16px; white-space: normal; min-height: 14px; font-size: 16px; line-height: 22.8571434020996px; color: rgb(36, 41, 46); font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Helvetica, Arial, sans-serif, 'Apple Color Emoji', 'Segoe UI Emoji'; font-variant-ligatures: normal; orphans: 2; widows: 2; outline: 0px !important; background-color: rgb(255, 255, 255);">A, B, and C three nodes build links with each other, each node works as both a fabric client and a fabric server.<br style="box-sizing: border-box; outline: 0px !important;">For example, Node A had 2 RDMA links : A-->B and  C-->A.  And  we <span style="line-height: 21px;">had met two problems while using  libfabric:</span></p><p style="box-sizing: border-box; margin-top: 0px; margin-bottom: 0px; white-space: normal; min-height: 14px; font-family: Arial, 宋体, 'Microsoft Yahei', 'Lucida Grande', Verdana, Lucida, Helvetica, sans-serif; font-size: 16px; line-height: 22.8571434020996px; outline: 0px !important; background-color: rgb(255, 255, 255);"><span style="box-sizing: border-box; outline: 0px !important; font-weight: 700;">1. Multiple nodes build links in pairs, how to register memory to fi_write to different nodes?</span></p><p style="box-sizing: border-box; margin-top: 0px; margin-bottom: 0px; white-space: normal; min-height: 14px; font-family: Arial, 宋体, 'Microsoft Yahei', 'Lucida Grande', Verdana, Lucida, Helvetica, sans-serif; font-size: 16px; line-height: 22.8571434020996px; outline: 0px !important; background-color: rgb(255, 255, 255);">we found that these links had different fi_info and fi_domain, so the shared data must be registered onto both links, and each link had it's own key/desc for the same memory, which maked app much more complicated. This i<span style="color: rgb(36, 41, 46); font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Helvetica, Arial, sans-serif, 'Apple Color Emoji', 'Segoe UI Emoji'; line-height: 22.8571434020996px; orphans: 2; widows: 2;">s unacceptable.  We believed that Links  on the same RNIC should share the same domain.  </span></p><p style="margin-top: 0px; margin-bottom: 16px; line-height: 22.8571434020996px; white-space: normal; box-sizing: border-box; min-height: 14px; font-size: 16px; color: rgb(36, 41, 46); font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Helvetica, Arial, sans-serif, 'Apple Color Emoji', 'Segoe UI Emoji'; font-variant-ligatures: normal; orphans: 2; widows: 2; outline: 0px !important; background-color: rgb(255, 255, 255);"><a target="_blank" href="https://github.com/ofiwg/libfabric/issues/6259" style="font-family: Arial, 宋体, 'Microsoft Yahei', 'Lucida Grande', Verdana, Lucida, Helvetica, sans-serif; line-height: 22.8571434020996px; box-sizing: border-box; color: rgb(51, 122, 183); outline: 0px !important; background-color: transparent;">https://github.com/ofiwg/libfabric/issues/6259</a><span style="font-family: Arial, 宋体, 'Microsoft Yahei', 'Lucida Grande', Verdana, Lucida, Helvetica, sans-serif; line-height: 22.8571434020996px;"> )</span><br></p><p style="box-sizing: border-box; margin-top: 0px; margin-bottom: 0px; white-space: normal; min-height: 14px; font-family: Arial, 宋体, 'Microsoft Yahei', 'Lucida Grande', Verdana, Lucida, Helvetica, sans-serif; font-size: 16px; line-height: 22.8571434020996px; outline: 0px !important; background-color: rgb(255, 255, 255);"><br></p><div style="box-sizing: border-box; white-space: normal; font-size: 16px; line-height: 22.8571434020996px; outline: 0px !important; background-color: rgb(255, 255, 255);"><p style="font-family: Arial, 宋体, 'Microsoft Yahei', 'Lucida Grande', Verdana, Lucida, Helvetica, sans-serif; box-sizing: border-box; margin-top: 0px; margin-bottom: 0px; min-height: 14px; outline: 0px !important;"><span style="box-sizing: border-box; outline: 0px !important; font-weight: 700;">2. All the  nodes have same <span style="font-family: Arial, 宋体, 'Microsoft Yahei', 'Lucida Grande', Verdana, Lucida, Helvetica, sans-serif; font-size: 16px; font-weight: bold; line-height: 24px; background-color: rgb(255, 255, 255);">same hardware and same Centos os,  </span>some nodes fi_mr_reg failed with error -12, while others</span><span style="font-weight: 700;"> worked OK.</span></p><p style="font-family: Arial, 宋体, 'Microsoft Yahei', 'Lucida Grande', Verdana, Lucida, Helvetica, sans-serif; box-sizing: border-box; margin-top: 0px; margin-bottom: 0px; min-height: 14px; outline: 0px !important;">We found it failed when libfabric using the<strong> <span style="font-family: 'Segoe UI VSS (Regular)', -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, 'Helvetica Neue', Helvetica, Ubuntu, Arial, sans-serif, 'Apple Color Emoji', 'Segoe UI Emoji', 'Segoe UI Symbol'; font-variant-ligatures: normal; orphans: 2; widows: 2; background-color: rgb(255, 255, 255);">fi_ibv_mr_cache_ops </span></strong><span style="font-family: 'Segoe UI VSS (Regular)', -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, 'Helvetica Neue', Helvetica, Ubuntu, Arial, sans-serif, 'Apple Color Emoji', 'Segoe UI Emoji', 'Segoe UI Symbol'; font-variant-ligatures: normal; orphans: 2; widows: 2; background-color: rgb(255, 255, 255);">mode and it worked ok when using <strong><span style="font-family: 'Segoe UI VSS (Regular)', -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, 'Helvetica Neue', Helvetica, Ubuntu, Arial, sans-serif, 'Apple Color Emoji', 'Segoe UI Emoji', 'Segoe UI Symbol'; font-size: 16px; line-height: 24px; orphans: 2; widows: 2; background-color: rgb(255, 255, 255);">fi_ibv_mr_ops</span></strong><span style="font-family: 'Segoe UI VSS (Regular)', -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, 'Helvetica Neue', Helvetica, Ubuntu, Arial, sans-serif, 'Apple Color Emoji', 'Segoe UI Emoji', 'Segoe UI Symbol'; font-size: 16px; line-height: 24px; orphans: 2; widows: 2; background-color: rgb(255, 255, 255);">.  We don't know how to resolve it.</span></span></p><p style="font-family: Arial, 宋体, 'Microsoft Yahei', 'Lucida Grande', Verdana, Lucida, Helvetica, sans-serif; box-sizing: border-box; margin-top: 0px; margin-bottom: 0px; min-height: 14px; outline: 0px !important;"><span style="font-family: 'Segoe UI VSS (Regular)', -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, 'Helvetica Neue', Helvetica, Ubuntu, Arial, sans-serif, 'Apple Color Emoji', 'Segoe UI Emoji', 'Segoe UI Symbol'; font-variant-ligatures: normal; orphans: 2; widows: 2; background-color: rgb(255, 255, 255);"><span style="font-family: 'Segoe UI VSS (Regular)', -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, 'Helvetica Neue', Helvetica, Ubuntu, Arial, sans-serif, 'Apple Color Emoji', 'Segoe UI Emoji', 'Segoe UI Symbol'; font-size: 16px; line-height: 24px; orphans: 2; widows: 2; background-color: rgb(255, 255, 255);">Is there any documents or manuals  about these modes ?  How can we confirm it's working  mode ?</span></span></p><p style="font-family: Arial, 宋体, 'Microsoft Yahei', 'Lucida Grande', Verdana, Lucida, Helvetica, sans-serif; box-sizing: border-box; margin-top: 0px; margin-bottom: 0px; min-height: 14px; outline: 0px !important;"><span style="font-family: 'Segoe UI VSS (Regular)', -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, 'Helvetica Neue', Helvetica, Ubuntu, Arial, sans-serif, 'Apple Color Emoji', 'Segoe UI Emoji', 'Segoe UI Symbol'; font-variant-ligatures: normal; orphans: 2; widows: 2; background-color: rgb(255, 255, 255);"><span style="font-family: 'Segoe UI VSS (Regular)', -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, 'Helvetica Neue', Helvetica, Ubuntu, Arial, sans-serif, 'Apple Color Emoji', 'Segoe UI Emoji', 'Segoe UI Symbol'; font-size: 16px; line-height: 24px; orphans: 2; widows: 2; background-color: rgb(255, 255, 255);"><br></span></span></p><p style="font-family: Arial, 宋体, 'Microsoft Yahei', 'Lucida Grande', Verdana, Lucida, Helvetica, sans-serif; box-sizing: border-box; margin-top: 0px; margin-bottom: 0px; min-height: 14px; outline: 0px !important;"><span style="color: rgb(36, 41, 46); font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Helvetica, Arial, sans-serif, 'Apple Color Emoji', 'Segoe UI Emoji'; orphans: 2; widows: 2;"><span style="color: rgb(18, 18, 18); font-family: -apple-system, BlinkMacSystemFont, 'Helvetica Neue', 'PingFang SC', 'Microsoft YaHei', 'Source Han Sans SC', 'Noto Sans CJK SC', 'WenQuanYi Micro Hei', sans-serif; font-size: 15px; font-variant-ligatures: normal; orphans: 2; widows: 2; background-color: rgb(255, 255, 255);">Thank you for your assistance.</span></span><br></p></div><p style="font-size:14px;font-family:arial;"><br></p><div class="zMailSign" unonamech="金浩10077240" unonameen="jin hao10077240"><div class="zMailSignContent"><div><p style="font-family: 宋体; font-size:14px; line-height: normal; widows: 1;"><span style="font-size:14px;color:#58595B;font-family:微软雅黑"><span class="signedit" id="sign_name">金浩</span> <span style="font-family:Arial"><span class="signedit" id="sign_name_eng">jinhao</span></span></span></p><p style="font-size:14px; line-height: normal; widows: 1;"><span style="color: rgb(88, 89, 91); font-family: 微软雅黑;"> </span><span style="color: rgb(88, 89, 91); font-family: Arial;"><span class="signedit" id="sign_position_eng">IT Development
Engineer</span></span><br></p><p style="font-family: 宋体; font-size:14px; line-height: normal; widows: 1;"><span style="font-family: Arial; font-size: 16px; line-height: 20px; color: rgb(88, 89, 91); background-color: rgb(255, 255, 255);">Data Intelligence Platform Development Dept.II/Central R＆D Institute/System Product</span><br></p><p style="font-size:14px; line-height: normal; widows: 1;"><span style="font-size:14px;color:#58595B;font-family:微软雅黑;font-size:14px;"></span></p><table style="color: rgb(0, 0, 0); font-family: 宋体; widows: 1;"><tbody><tr class="firstRow"><td valign="top" width="100"><img id="sign-icon" width="130" height="120" sign="sign:9ae3e214c17d49ed935d87c674ba3ee2" src="cid:9ae3e214c17d49ed935d87c674ba3ee2"></td><td valign="top" width="500" style="word-break: break-all;"><img id="sign-logo" width="115" height="38" sign="sign:24242e5637af428891c4db731e7765ad" src="cid:24242e5637af428891c4db731e7765ad"><br><span style="font-size:14px;color:#58595B;font-family:微软雅黑"><span class="signedit" id="sign_addr"></span><span style="font-size: 12px; color: rgb(88, 89, 91); font-family: 微软雅黑; box-sizing: border-box; line-height: 22.8571434020996px; outline: 0px !important; background-color: rgb(255, 255, 255);"><span style="color: rgb(88, 89, 91); font-family: 微软雅黑; outline: 0px !important; background-color: rgb(255, 255, 255);">南京市雨花台区软件大道50号南京研发中心二区3号楼4楼</span> <br style="box-sizing: border-box; outline: 0px !important;"><span style="color: rgb(88, 89, 91); font-family: Arial; outline: 0px !important; background-color: rgb(255, 255, 255);"></span></span></span><p style="box-sizing: border-box; margin-top: 0px; margin-bottom: 0px; white-space: normal; min-height: 14px; font-family: 宋体; font-size: 16px; line-height: 21px; padding: 0px; outline: 0px !important; background-color: rgb(255, 255, 255);"><span style="box-sizing: border-box; font-family: 微软雅黑, 'Microsoft YaHei'; outline: 0px !important; font-size: 12px;">4/F, Building No. 3, ZTE Corporation, Yuhuatai District,</span></p><p style="box-sizing: border-box; margin-top: 0px; margin-bottom: 0px; white-space: normal; min-height: 14px; font-family: 宋体; font-size: 16px; line-height: 21px; padding: 0px; outline: 0px !important; background-color: rgb(255, 255, 255);"><span style="box-sizing: border-box; font-family: 微软雅黑, 'Microsoft YaHei'; outline: 0px !important; font-size: 12px;">Nanjing, P.R.China, 210012</span></p><p><span style="box-sizing: border-box; font-size: 12px; color: rgb(88, 89, 91); font-family: Arial; line-height: 19.2000007629395px; outline: 0px !important; background-color: rgb(255, 255, 255);"><span style="font-family: Arial; line-height: 19.2000007629395px; outline: 0px !important; background-color: rgb(255, 255, 255);">T</span>: +86 <span style="font-family: Arial; line-height: 21px; outline: 0px !important; background-color: rgb(255, 255, 255);">25-88014501</span></span></p><span style="font-size: 10px; color: rgb(88, 89, 91); font-family: Arial;"><span style="color:#008FD4">M</span>: <span class="signedit" id="sign_phone"><a href="tel:+86 13611591690" target="_blank" class="signhref">+86 13611591690</a></span><br><span style="color:#008FD4">E</span>: <span class="signedit" id="sign_email"><a href="mailto:jin.hao1@zte.com.cn">jin.hao1@zte.com.cn</a></span> <br><span style="color:#008FD4"><a href="http://www.zte.com.cn/" target="_blank">www.zte.com.cn</a></span></span></td></tr></tbody></table><span style="line-height: normal; widows: 1; font-size:14px;;color:#58595b;font-size:10px"></span></div></div></div></div>