<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:x="urn:schemas-microsoft-com:office:excel" xmlns:p="urn:schemas-microsoft-com:office:powerpoint" xmlns:a="urn:schemas-microsoft-com:office:access" xmlns:dt="uuid:C2F41010-65B3-11d1-A29F-00AA00C14882" xmlns:s="uuid:BDC6E3F0-6DA3-11d1-A2A3-00AA00C14882" xmlns:rs="urn:schemas-microsoft-com:rowset" xmlns:z="#RowsetSchema" xmlns:b="urn:schemas-microsoft-com:office:publisher" xmlns:ss="urn:schemas-microsoft-com:office:spreadsheet" xmlns:c="urn:schemas-microsoft-com:office:component:spreadsheet" xmlns:odc="urn:schemas-microsoft-com:office:odc" xmlns:oa="urn:schemas-microsoft-com:office:activation" xmlns:html="http://www.w3.org/TR/REC-html40" xmlns:q="http://schemas.xmlsoap.org/soap/envelope/" xmlns:rtc="http://microsoft.com/officenet/conferencing" xmlns:D="DAV:" xmlns:Repl="http://schemas.microsoft.com/repl/" xmlns:mt="http://schemas.microsoft.com/sharepoint/soap/meetings/" xmlns:x2="http://schemas.microsoft.com/office/excel/2003/xml" xmlns:ppda="http://www.passport.com/NameSpace.xsd" xmlns:ois="http://schemas.microsoft.com/sharepoint/soap/ois/" xmlns:dir="http://schemas.microsoft.com/sharepoint/soap/directory/" xmlns:ds="http://www.w3.org/2000/09/xmldsig#" xmlns:dsp="http://schemas.microsoft.com/sharepoint/dsp" xmlns:udc="http://schemas.microsoft.com/data/udc" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:sub="http://schemas.microsoft.com/sharepoint/soap/2002/1/alerts/" xmlns:ec="http://www.w3.org/2001/04/xmlenc#" xmlns:sp="http://schemas.microsoft.com/sharepoint/" xmlns:sps="http://schemas.microsoft.com/sharepoint/soap/" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:udcs="http://schemas.microsoft.com/data/udc/soap" xmlns:udcxf="http://schemas.microsoft.com/data/udc/xmlfile" xmlns:udcp2p="http://schemas.microsoft.com/data/udc/parttopart" xmlns:wf="http://schemas.microsoft.com/sharepoint/soap/workflow/" xmlns:dsss="http://schemas.microsoft.com/office/2006/digsig-setup" xmlns:dssi="http://schemas.microsoft.com/office/2006/digsig" xmlns:mdssi="http://schemas.openxmlformats.org/package/2006/digital-signature" xmlns:mver="http://schemas.openxmlformats.org/markup-compatibility/2006" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns:mrels="http://schemas.openxmlformats.org/package/2006/relationships" xmlns:spwp="http://microsoft.com/sharepoint/webpartpages" xmlns:ex12t="http://schemas.microsoft.com/exchange/services/2006/types" xmlns:ex12m="http://schemas.microsoft.com/exchange/services/2006/messages" xmlns:pptsl="http://schemas.microsoft.com/sharepoint/soap/SlideLibrary/" xmlns:spsl="http://microsoft.com/webservices/SharePointPortalServer/PublishedLinksService" xmlns:Z="urn:schemas-microsoft-com:" xmlns:st="" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv=Content-Type content="text/html; charset=us-ascii">
<meta name=Generator content="Microsoft Word 12 (filtered medium)">
<style>
<!--
/* Font Definitions */
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Calibri","sans-serif";
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;}
@page Section1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.Section1
{page:Section1;}
-->
</style>
<!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang=EN-US link=blue vlink=purple>
<div class=Section1>
<p class=MsoNormal><span style='font-size:8.5pt;font-family:"Courier New"'>The
bus driver memory registration mechanism is using internal cash that sets some
limitation on the system memory size.<o:p></o:p></span></p>
<p class=MsoNormal><span style='font-size:8.5pt;font-family:"Courier New"'>Till
now it was 256 GB, but a customer of us has machines with up to 1 TB system
memory…</span><o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>Index: hw/mlx4/kernel/bus/core/pa_cash.c<o:p></o:p></p>
<p class=MsoNormal>===================================================================<o:p></o:p></p>
<p class=MsoNormal>--- hw/mlx4/kernel/bus/core/pa_cash.c (revision
3023)<o:p></o:p></p>
<p class=MsoNormal>+++ hw/mlx4/kernel/bus/core/pa_cash.c (working
copy)<o:p></o:p></p>
<p class=MsoNormal>@@ -50,9 +50,10 @@<o:p></o:p></p>
<p class=MsoNormal> ///////////////////////////////////////////////////////////////////////////<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> #ifdef _WIN64<o:p></o:p></p>
<p class=MsoNormal>-#define MAX_PAGES_SUPPORTED (64
* 1024 * 1024) //
256 GB<o:p></o:p></p>
<p class=MsoNormal>+// be careful with setting it >= 4G. Compiler puts it
into an integer, so 4*1024*1024*1024 = 0 !!!<o:p></o:p></p>
<p class=MsoNormal>+#define MAX_PAGES_SUPPORTED ((u32)2
* 1024 * 1024 * 1024) //
8 TB<o:p></o:p></p>
<p class=MsoNormal> #else<o:p></o:p></p>
<p class=MsoNormal>-#define MAX_PAGES_SUPPORTED (16
* 1024 * 1024) //
64 GB<o:p></o:p></p>
<p class=MsoNormal>+#define MAX_PAGES_SUPPORTED ((u32)16
* 1024 * 1024) //
64 GB<o:p></o:p></p>
<p class=MsoNormal> #endif<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> #define FREE_LIST_TRESHOLD 256 //
max number of pages in free list<o:p></o:p></p>
<p class=MsoNormal>@@ -63,13 +64,9 @@<o:p></o:p></p>
<p class=MsoNormal> //<o:p></o:p></p>
<p class=MsoNormal> ///////////////////////////////////////////////////////////////////////////<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal>-#define PA_TABLE_ENTRY_SIZE sizeof(pa_table_entry_t)<o:p></o:p></p>
<p class=MsoNormal>-#define PA_TABLE_ENTRY_NUM (PAGE_SIZE
/ PA_TABLE_ENTRY_SIZE)<o:p></o:p></p>
<p class=MsoNormal>-#define PA_TABLE_SIZE (PA_TABLE_ENTRY_SIZE
* PA_TABLE_ENTRY_NUM)<o:p></o:p></p>
<p class=MsoNormal>+#define PA_TABLE_ENTRY_SIZE sizeof(pa_table_entry_t) //
4<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal>-#define PA_DIR_ENTRY_SIZE sizeof(pa_dir_entry_t)<o:p></o:p></p>
<p class=MsoNormal>-#define PA_DIR_ENTRY_NUM (MAX_PAGES_SUPPORTED
/PA_TABLE_ENTRY_NUM)<o:p></o:p></p>
<p class=MsoNormal>-#define PA_DIR_SIZE (PA_DIR_ENTRY_SIZE
* PA_DIR_ENTRY_NUM)<o:p></o:p></p>
<p class=MsoNormal>+#define PA_DIR_ENTRY_SIZE sizeof(pa_dir_entry_t) //
16 for x64<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> ///////////////////////////////////////////////////////////////////////////<o:p></o:p></p>
<p class=MsoNormal>@@ -107,6 +104,11 @@<o:p></o:p></p>
<p class=MsoNormal> DEFINE_MUTEX(g_pa_mutex);<o:p></o:p></p>
<p class=MsoNormal> u64 g_pa[1024];<o:p></o:p></p>
<p class=MsoNormal> pa_cash_t g_cash;<o:p></o:p></p>
<p class=MsoNormal>+u32 g_max_pages_supported = 0;<o:p></o:p></p>
<p class=MsoNormal>+u32 g_pa_table_entry_num = 0;<o:p></o:p></p>
<p class=MsoNormal>+u32 g_pa_table_size = 0;<o:p></o:p></p>
<p class=MsoNormal>+u32 g_pa_dir_entry_num = 0;<o:p></o:p></p>
<p class=MsoNormal>+u32 g_pa_dir_size = 0;<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> ///////////////////////////////////////////////////////////////////////////<o:p></o:p></p>
<p class=MsoNormal>@@ -133,7 +135,7 @@<o:p></o:p></p>
<p class=MsoNormal> g_cash.free_nr_pages--;<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal> else
/* allocate new page */<o:p></o:p></p>
<p class=MsoNormal>- pa_te
= (pa_table_entry_t *)kzalloc( PA_TABLE_SIZE, GFP_KERNEL );<o:p></o:p></p>
<p class=MsoNormal>+ pa_te
= (pa_table_entry_t *)kzalloc( g_pa_table_size, GFP_KERNEL );<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> return
pa_te;<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal>@@ -150,15 +152,15 @@<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> static pa_table_entry_t * pa_get_page(uint32_t ix)<o:p></o:p></p>
<p class=MsoNormal> {<o:p></o:p></p>
<p class=MsoNormal>- pa_table_entry_t
*pa_te = g_cash.pa_dir[ix / PA_TABLE_ENTRY_NUM].pa_te;<o:p></o:p></p>
<p class=MsoNormal>+ pa_table_entry_t
*pa_te = g_cash.pa_dir[ix / g_pa_table_entry_num].pa_te;<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> /*
no this page_table - add a new one */<o:p></o:p></p>
<p class=MsoNormal> if
(!pa_te) {<o:p></o:p></p>
<p class=MsoNormal> pa_te
= pa_alloc_page();<o:p></o:p></p>
<p class=MsoNormal> if
(!pa_te) <o:p></o:p></p>
<p class=MsoNormal> return
NULL;<o:p></o:p></p>
<p class=MsoNormal>- g_cash.pa_dir[ix
/ PA_TABLE_ENTRY_NUM].pa_te = pa_te;<o:p></o:p></p>
<p class=MsoNormal>- g_cash.pa_dir[ix
/ PA_TABLE_ENTRY_NUM].used = 0;<o:p></o:p></p>
<p class=MsoNormal>+ g_cash.pa_dir[ix
/ g_pa_table_entry_num].pa_te = pa_te;<o:p></o:p></p>
<p class=MsoNormal>+ g_cash.pa_dir[ix
/ g_pa_table_entry_num].used = 0;<o:p></o:p></p>
<p class=MsoNormal> g_cash.cur_nr_pages++;<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal>@@ -167,8 +169,8 @@<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> static void pa_put_page(uint32_t ix)<o:p></o:p></p>
<p class=MsoNormal> {<o:p></o:p></p>
<p class=MsoNormal>- pa_free_page(g_cash.pa_dir[ix
/ PA_TABLE_ENTRY_NUM].pa_te);<o:p></o:p></p>
<p class=MsoNormal>- g_cash.pa_dir[ix
/ PA_TABLE_ENTRY_NUM].pa_te = NULL;<o:p></o:p></p>
<p class=MsoNormal>+ pa_free_page(g_cash.pa_dir[ix
/ g_pa_table_entry_num].pa_te);<o:p></o:p></p>
<p class=MsoNormal>+ g_cash.pa_dir[ix
/ g_pa_table_entry_num].pa_te = NULL;<o:p></o:p></p>
<p class=MsoNormal> g_cash.cur_nr_pages--;<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal>@@ -189,9 +191,9 @@<o:p></o:p></p>
<p class=MsoNormal> return
-ENOMEM;<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> /*
register page address */<o:p></o:p></p>
<p class=MsoNormal>- if
(!pa_te[ix % PA_TABLE_ENTRY_NUM].ref_cnt)<o:p></o:p></p>
<p class=MsoNormal>- ++g_cash.pa_dir[ix
/ PA_TABLE_ENTRY_NUM].used;<o:p></o:p></p>
<p class=MsoNormal>- ++pa_te[ix
% PA_TABLE_ENTRY_NUM].ref_cnt;<o:p></o:p></p>
<p class=MsoNormal>+ if
(!pa_te[ix % g_pa_table_entry_num].ref_cnt)<o:p></o:p></p>
<p class=MsoNormal>+ ++g_cash.pa_dir[ix
/ g_pa_table_entry_num].used;<o:p></o:p></p>
<p class=MsoNormal>+ ++pa_te[ix
% g_pa_table_entry_num].ref_cnt;<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> return
0;<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal>@@ -208,7 +210,7 @@<o:p></o:p></p>
<p class=MsoNormal> return
-EFAULT;<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal>- pa_te
= g_cash.pa_dir[ix / PA_TABLE_ENTRY_NUM].pa_te;<o:p></o:p></p>
<p class=MsoNormal>+ pa_te
= g_cash.pa_dir[ix / g_pa_table_entry_num].pa_te;<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> /*
no this page_table - error*/<o:p></o:p></p>
<p class=MsoNormal> if
(!pa_te) {<o:p></o:p></p>
<p class=MsoNormal>@@ -217,13 +219,13 @@<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> /*
deregister page address */<o:p></o:p></p>
<p class=MsoNormal>- --pa_te[ix
% PA_TABLE_ENTRY_NUM].ref_cnt;<o:p></o:p></p>
<p class=MsoNormal>- ASSERT(pa_te[ix
% PA_TABLE_ENTRY_NUM].ref_cnt >= 0);<o:p></o:p></p>
<p class=MsoNormal>+ --pa_te[ix
% g_pa_table_entry_num].ref_cnt;<o:p></o:p></p>
<p class=MsoNormal>+ ASSERT(pa_te[ix
% g_pa_table_entry_num].ref_cnt >= 0);<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> /*
release the page on need */<o:p></o:p></p>
<p class=MsoNormal>- if
(!pa_te[ix % PA_TABLE_ENTRY_NUM].ref_cnt)<o:p></o:p></p>
<p class=MsoNormal>- --g_cash.pa_dir[ix
/ PA_TABLE_ENTRY_NUM].used;<o:p></o:p></p>
<p class=MsoNormal>- if
(!g_cash.pa_dir[ix / PA_TABLE_ENTRY_NUM].used) <o:p></o:p></p>
<p class=MsoNormal>+ if
(!pa_te[ix % g_pa_table_entry_num].ref_cnt)<o:p></o:p></p>
<p class=MsoNormal>+ --g_cash.pa_dir[ix
/ g_pa_table_entry_num].used;<o:p></o:p></p>
<p class=MsoNormal>+ if
(!g_cash.pa_dir[ix / g_pa_table_entry_num].used) <o:p></o:p></p>
<p class=MsoNormal> pa_put_page(ix);<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> return
0;<o:p></o:p></p>
<p class=MsoNormal>@@ -301,7 +303,7 @@<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> void pa_cash_release()<o:p></o:p></p>
<p class=MsoNormal> {<o:p></o:p></p>
<p class=MsoNormal>- int
i;<o:p></o:p></p>
<p class=MsoNormal>+ u32
i;<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> pa_cash_print();<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal>@@ -309,7 +311,7 @@<o:p></o:p></p>
<p class=MsoNormal> return;<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> /*
free cash tables */<o:p></o:p></p>
<p class=MsoNormal>- for
(i=0; i<PA_DIR_ENTRY_NUM; ++i)<o:p></o:p></p>
<p class=MsoNormal>+ for
(i=0; i<g_pa_dir_entry_num; ++i)<o:p></o:p></p>
<p class=MsoNormal> if
(g_cash.pa_dir[i].pa_te) {<o:p></o:p></p>
<p class=MsoNormal> kfree(g_cash.pa_dir[i].pa_te);<o:p></o:p></p>
<p class=MsoNormal> g_cash.cur_nr_pages--;<o:p></o:p></p>
<p class=MsoNormal>@@ -338,24 +340,31 @@<o:p></o:p></p>
<p class=MsoNormal> return
-EFAULT;<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal>- pa_te
= g_cash.pa_dir[ix / PA_TABLE_ENTRY_NUM].pa_te;<o:p></o:p></p>
<p class=MsoNormal>+ pa_te
= g_cash.pa_dir[ix / g_pa_table_entry_num].pa_te;<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> /*
no this page_table */<o:p></o:p></p>
<p class=MsoNormal> if
(!pa_te)<o:p></o:p></p>
<p class=MsoNormal> return
0;<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal>- return
pa_te[ix % PA_TABLE_ENTRY_NUM].ref_cnt;<o:p></o:p></p>
<p class=MsoNormal>+ return
pa_te[ix % g_pa_table_entry_num].ref_cnt;<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> int pa_cash_init()<o:p></o:p></p>
<p class=MsoNormal> {<o:p></o:p></p>
<p class=MsoNormal> void
*pa_dir;<o:p></o:p></p>
<p class=MsoNormal>- pa_dir
= kzalloc(PA_DIR_SIZE, GFP_KERNEL);<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal>+ g_max_pages_supported
= MAX_PAGES_SUPPORTED;<o:p></o:p></p>
<p class=MsoNormal>+ g_pa_table_entry_num
= PAGE_SIZE / PA_TABLE_ENTRY_SIZE;<o:p></o:p></p>
<p class=MsoNormal>+ g_pa_table_size
= PA_TABLE_ENTRY_SIZE * g_pa_table_entry_num;<o:p></o:p></p>
<p class=MsoNormal>+ g_pa_dir_entry_num
= g_max_pages_supported /g_pa_table_entry_num;<o:p></o:p></p>
<p class=MsoNormal>+ g_pa_dir_size
= PA_DIR_ENTRY_SIZE * g_pa_dir_entry_num;<o:p></o:p></p>
<p class=MsoNormal>+<o:p></o:p></p>
<p class=MsoNormal>+ pa_dir
= kzalloc(g_pa_dir_size, GFP_KERNEL);<o:p></o:p></p>
<p class=MsoNormal>+<o:p></o:p></p>
<p class=MsoNormal> if
(!pa_dir)<o:p></o:p></p>
<p class=MsoNormal> return
-ENOMEM;<o:p></o:p></p>
<p class=MsoNormal> g_cash.pa_dir
= pa_dir;<o:p></o:p></p>
<p class=MsoNormal>- g_cash.max_nr_pages
= PA_TABLE_ENTRY_NUM * PA_DIR_ENTRY_NUM;<o:p></o:p></p>
<p class=MsoNormal>+ g_cash.max_nr_pages
= g_pa_table_entry_num * g_pa_dir_entry_num;<o:p></o:p></p>
<p class=MsoNormal> g_cash.free_list_hdr.Next
= NULL;<o:p></o:p></p>
<p class=MsoNormal> g_cash.cur_nr_pages
= 0;<o:p></o:p></p>
<p class=MsoNormal> g_cash.free_nr_pages
= 0;<o:p></o:p></p>
<p class=MsoNormal>@@ -363,4 +372,4 @@<o:p></o:p></p>
<p class=MsoNormal> mutex_init(&g_pa_mutex);<o:p></o:p></p>
<p class=MsoNormal> return
0;<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal>-<o:p></o:p></p>
<p class=MsoNormal>+ <o:p></o:p></p>
</div>
</body>
</html>