一種基于數(shù)據(jù)對(duì)象感知的內(nèi)存庫劃分方法和裝置制造方法及圖紙

本發(fā)明專利技術(shù)公開了一種基于數(shù)據(jù)對(duì)象感知的內(nèi)存庫劃分方法和裝置，所述方法包括：根據(jù)數(shù)據(jù)對(duì)象的規(guī)模標(biāo)識(shí)待分析的數(shù)據(jù)對(duì)象；根據(jù)獲取的子數(shù)據(jù)流，從待分析的數(shù)據(jù)對(duì)象中標(biāo)識(shí)被并行訪問的數(shù)據(jù)對(duì)象，并結(jié)合性能監(jiān)視單元PMU分析被并行訪問的數(shù)據(jù)對(duì)象的訪存沖突開銷，確定沖突源，并量化沖突源對(duì)性能的負(fù)面影響；根據(jù)偽缺頁異常的分析，獲取在多個(gè)時(shí)間片段內(nèi)密集訪問主存的數(shù)據(jù)對(duì)象組合，通過操作系統(tǒng)調(diào)整已經(jīng)標(biāo)識(shí)出的被并行訪問的數(shù)據(jù)對(duì)象在主存中的分布。本發(fā)明專利技術(shù)利用缺頁異常在真實(shí)機(jī)器上評(píng)估應(yīng)用在各執(zhí)行階段的訪存行為并指導(dǎo)內(nèi)存分配，能夠準(zhǔn)確地獲取訪存蹤跡，可以獲得更高的真實(shí)性和精確性。

Method and device for dividing memory base based on data object perception

The invention discloses a data object perception memory partition based method and device, the method comprises the following steps: according to the data object data object to be analyzed according to the scale identification; data acquisition flow of data objects from the data object to be analyzed is identified in the parallel access, and combined with the analysis of the performance monitoring unit PMU the data objects are parallel access memory overhead to determine the source of conflict, conflict, and the negative effect of quantization on the performance of the source of conflict; according to the analysis of pseudo page fault exception, acquiring dense access memory in multiple time segment data on like combination, distribution is parallel access data objects through operating system adjustments have been identified the in memory. The invention utilizes the page fault exception to evaluate the access behavior of the application in the execution phase of the real machine, and guides the memory allocation, and can accurately obtain the traces of the visit, so as to obtain higher authenticity and accuracy.

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于數(shù)據(jù)對(duì)象感知的內(nèi)存庫劃分方法和裝置
本專利技術(shù)涉及一種內(nèi)存庫劃分技術(shù)，尤其涉及一種基于數(shù)據(jù)對(duì)象感知的內(nèi)存庫劃分方法和裝置。
技術(shù)介紹
在對(duì)存儲(chǔ)性能進(jìn)行分析評(píng)測(cè)時(shí)，往往需要獲取數(shù)據(jù)流或指令流。然而，用來獲取的數(shù)據(jù)流或指令流的傳統(tǒng)工具或模擬器存在多種問題。首先，模擬器不能提供真實(shí)的運(yùn)行環(huán)境，因此無法嚴(yán)格保證數(shù)據(jù)的真實(shí)性和精確性，特別是時(shí)間的準(zhǔn)確性無法嚴(yán)格保證。其次，傳統(tǒng)工具可能需要對(duì)應(yīng)用或硬件進(jìn)行修改，才能獲取所需的數(shù)據(jù)流或指令流，而這種方法在很多種情況下是不適用的。主存由多個(gè)內(nèi)存庫(bank)組成，例如主流的單條DDR2/3內(nèi)存條會(huì)包含8或16個(gè)bank。bank數(shù)量會(huì)隨主存的容量同步增長。每個(gè)bank是一個(gè)二位矩陣，包含多個(gè)行，每個(gè)行又劃分為多列。在bank內(nèi)部又包含一個(gè)獨(dú)立的行緩存結(jié)構(gòu)，用于保存最近一次被訪問的整行數(shù)據(jù)。采用上述結(jié)構(gòu)的主存能同時(shí)利用并行性和局部性來提高訪存性能。訪存并行性是指主存能夠利用多bank結(jié)構(gòu)同時(shí)響應(yīng)多個(gè)訪存請(qǐng)求，而多個(gè)訪存請(qǐng)求重疊執(zhí)行，能夠隱藏部分訪存延遲。訪存局部性是指處理器能直接從行緩沖器(rowbuffer)讀取之前被緩存的數(shù)據(jù)，避免額外的預(yù)充電、行選以及列選等操作。一旦多個(gè)訪存請(qǐng)求同時(shí)訪問相同的bank，產(chǎn)生的訪存沖突會(huì)導(dǎo)致兩方面的負(fù)面影響。首先，bank沖突會(huì)使并行的訪存請(qǐng)求串行執(zhí)行，使訪存延遲成倍增長。其次，行緩存沖突使得原本空間局部性較強(qiáng)的數(shù)據(jù)回寫陣列，而頻繁的換行操作會(huì)進(jìn)一步增加訪存的延遲，使處理器的訪存性能惡化。單芯片多處理器(Chipmultiprocessors，CMP，也指多核心)通過復(fù)用傳統(tǒng)的單核處理器設(shè)計(jì)，利用并行的方式進(jìn)一步推進(jìn)計(jì)算機(jī)系統(tǒng)的性能提升。但是，一旦CMP發(fā)起的并行訪存操作爭(zhēng)搶共享bank資源，會(huì)導(dǎo)致訪存沖突并降低訪存性能。相關(guān)研究工作在進(jìn)程間對(duì)bank進(jìn)行劃分，緩解線程級(jí)并行(ThreadLevelParallelism，TLP)導(dǎo)致的訪存沖突。但該類方法忽視了指令級(jí)并行(InstructionLevelParallelism，ILP)引入的訪存沖突。當(dāng)單個(gè)進(jìn)程中共享bank資源的數(shù)據(jù)對(duì)象被同時(shí)訪問時(shí)，仍然會(huì)產(chǎn)生訪存沖突。除處理器外，計(jì)算機(jī)系統(tǒng)中還存在多種訪存設(shè)備(例如：顯卡，磁盤和網(wǎng)卡等)。雖然這些設(shè)備的訪存行為不僅存在巨大的差異，但訪存設(shè)備之間都會(huì)共享主存。因此，這更需要通過操作系統(tǒng)來靈活調(diào)整數(shù)據(jù)布局，在達(dá)到性能優(yōu)化的同時(shí)，兼顧通用性、靈活性和準(zhǔn)確性。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)涉及計(jì)算機(jī)系統(tǒng)的內(nèi)存管理技術(shù)，特別是涉及在不修改硬件和應(yīng)用的前提下，利用缺頁異常在真實(shí)機(jī)器上準(zhǔn)確地獲取訪存蹤跡的方法，評(píng)估應(yīng)用在各執(zhí)行階段的訪存行為，并指導(dǎo)內(nèi)存分配。本專利技術(shù)所要解決的技術(shù)問題是克服目前在進(jìn)程間對(duì)bank進(jìn)行劃分緩解線程級(jí)并行訪存沖突時(shí)所忽視的指令級(jí)并行所引入的訪存沖突的不足。為了解決上述技術(shù)問題，本專利技術(shù)提供了一種基于數(shù)據(jù)對(duì)象感知的內(nèi)存庫劃分方法，包括：根據(jù)數(shù)據(jù)對(duì)象的規(guī)模標(biāo)識(shí)待分析的數(shù)據(jù)對(duì)象；根據(jù)獲取的子數(shù)據(jù)流，從待分析的數(shù)據(jù)對(duì)象中標(biāo)識(shí)被并行訪問的數(shù)據(jù)對(duì)象，并結(jié)合性能監(jiān)視單元PMU分析被并行訪問的數(shù)據(jù)對(duì)象的訪存沖突開銷，確定沖突源，并量化沖突源對(duì)性能的負(fù)面影響；根據(jù)偽缺頁異常的分析，獲取在多個(gè)時(shí)間片段內(nèi)密集訪問主存的數(shù)據(jù)對(duì)象組合，通過操作系統(tǒng)調(diào)整已經(jīng)標(biāo)識(shí)出的被并行訪問的數(shù)據(jù)對(duì)象在主存中的分布。優(yōu)選地，獲取子數(shù)據(jù)流包括：利用偽缺頁異常機(jī)制捕獲所述子數(shù)據(jù)流。優(yōu)選地，利用偽缺頁異常機(jī)制捕獲所述子數(shù)據(jù)流之后還包括：利用偽缺頁異常機(jī)制分析所述子數(shù)據(jù)流。優(yōu)選地，利用偽缺頁異常機(jī)制捕獲所述子數(shù)據(jù)流，包括以下至少之一：進(jìn)程創(chuàng)建階段，通過未分配物理內(nèi)存獲得所述子數(shù)據(jù)流；通過數(shù)據(jù)對(duì)象內(nèi)存初始化分配獲得所述子數(shù)據(jù)流；設(shè)置偽缺頁狀態(tài)，通過標(biāo)記待分析的數(shù)據(jù)對(duì)象獲得所述子數(shù)據(jù)流；通過觸發(fā)偽缺頁異常獲得所述子數(shù)據(jù)流；通過無異常數(shù)據(jù)訪問獲得所述子數(shù)據(jù)流。優(yōu)選地，利用偽缺頁異常機(jī)制分析所述子數(shù)據(jù)流包括：收集偽缺缺頁異常產(chǎn)生的異常地址；結(jié)合PMU分析當(dāng)前代碼片段所訪問的數(shù)據(jù)對(duì)象對(duì)性能的負(fù)面影響采用瞬時(shí)的主存訪問頻度和/或次數(shù)和/或時(shí)間跨度判斷訪存的性能。優(yōu)選地，所述數(shù)據(jù)對(duì)象包括靜態(tài)數(shù)據(jù)對(duì)象或動(dòng)態(tài)數(shù)據(jù)對(duì)象；通過讀取編譯器生成的符號(hào)表來獲取所述靜態(tài)數(shù)據(jù)對(duì)象的規(guī)模，通過捕獲操作系統(tǒng)的動(dòng)態(tài)內(nèi)存分配操作來獲取所述動(dòng)態(tài)數(shù)據(jù)對(duì)象的規(guī)模。優(yōu)選地，標(biāo)識(shí)待分析的數(shù)據(jù)對(duì)象，包括：保存所述待分析的數(shù)據(jù)對(duì)象的起始地址和結(jié)束地址。為了解決上述技術(shù)問題，本專利技術(shù)還提供了一種基于數(shù)據(jù)對(duì)象感知的內(nèi)存庫劃分裝置，包括：標(biāo)識(shí)模塊，設(shè)置為根據(jù)數(shù)據(jù)對(duì)象的規(guī)模標(biāo)識(shí)待分析的數(shù)據(jù)對(duì)象；數(shù)據(jù)流模塊，設(shè)置為根據(jù)獲取的子數(shù)據(jù)流，從待分析的數(shù)據(jù)對(duì)象中標(biāo)識(shí)被并行訪問的數(shù)據(jù)對(duì)象，并結(jié)合PMU分析被并行訪問的數(shù)據(jù)對(duì)象的訪存沖突開銷，確定沖突源，并量化沖突源對(duì)性能的負(fù)面影響；劃分模塊，設(shè)置為根據(jù)偽缺頁異常的分析，獲取在多個(gè)時(shí)間片段內(nèi)密集訪問主存的數(shù)據(jù)對(duì)象組合，通過操作系統(tǒng)調(diào)整已經(jīng)標(biāo)識(shí)出的被并行訪問的數(shù)據(jù)對(duì)象在主存中的分布。優(yōu)選地，所述數(shù)據(jù)流模塊還設(shè)置為利用偽缺頁異常機(jī)制捕獲所述子數(shù)據(jù)流。優(yōu)選地，所述數(shù)據(jù)流模塊還設(shè)置為利用偽缺頁異常機(jī)制分析所述子數(shù)據(jù)流。優(yōu)選地，所述數(shù)據(jù)流模塊利用偽缺頁異常機(jī)制捕獲所述子數(shù)據(jù)流，包括以下至少之一：進(jìn)程創(chuàng)建階段，通過未分配物理內(nèi)存獲得所述子數(shù)據(jù)流；通過數(shù)據(jù)對(duì)象內(nèi)存初始化分配獲得所述子數(shù)據(jù)流；設(shè)置偽缺頁狀態(tài)，通過標(biāo)記待分析的數(shù)據(jù)對(duì)象獲得所述子數(shù)據(jù)流；通過觸發(fā)偽缺頁異常獲得所述子數(shù)據(jù)流；通過無異常數(shù)據(jù)訪問獲得所述子數(shù)據(jù)流。優(yōu)選地，所述數(shù)據(jù)流模塊利用偽缺頁異常機(jī)制分析所述子數(shù)據(jù)流包括：收集偽缺缺頁異常產(chǎn)生的異常地址；結(jié)合PMU分析當(dāng)前代碼片段所訪問的數(shù)據(jù)對(duì)象對(duì)性能的負(fù)面影響采用瞬時(shí)的主存訪問頻度和/或次數(shù)和/或時(shí)間跨度判斷訪存的性能。優(yōu)選地，所述標(biāo)識(shí)模塊通過讀取編譯器生成的符號(hào)表來獲取所述靜態(tài)數(shù)據(jù)對(duì)象的規(guī)模，通過捕獲操作系統(tǒng)的動(dòng)態(tài)內(nèi)存分配操作來獲取所述動(dòng)態(tài)數(shù)據(jù)對(duì)象的規(guī)模。與現(xiàn)有技術(shù)相比，本申請(qǐng)的實(shí)施例不修改硬件和應(yīng)用，利用缺頁異常在真實(shí)機(jī)器上評(píng)估應(yīng)用在各執(zhí)行階段的訪存行為并指導(dǎo)內(nèi)存分配，能夠準(zhǔn)確地獲取訪存蹤跡，可以獲得更高的真實(shí)性和精確性。本專利技術(shù)的其它特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實(shí)施本專利技術(shù)而了解。本專利技術(shù)的目的和其他優(yōu)點(diǎn)可通過在說明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。附圖說明附圖用來提供對(duì)本專利技術(shù)技術(shù)方案的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本申請(qǐng)的實(shí)施例一起用于解釋本專利技術(shù)的技術(shù)方案，并不構(gòu)成對(duì)本專利技術(shù)技術(shù)方案的限制。圖1是本專利技術(shù)實(shí)施例的基于數(shù)據(jù)對(duì)象感知的bank劃分方法的流程圖；圖2是本專利技術(shù)實(shí)施例的基于數(shù)據(jù)對(duì)象感知的bank劃分裝置的結(jié)構(gòu)示意圖；圖3是本專利技術(shù)實(shí)施例使用偽缺頁異常獲取子數(shù)據(jù)流，并標(biāo)識(shí)被并行訪問數(shù)據(jù)對(duì)象的方法的示意圖；圖4是本專利技術(shù)實(shí)施例的基于數(shù)據(jù)對(duì)象感知的bank劃分裝置實(shí)例的結(jié)構(gòu)示意圖。具體實(shí)施方式以下將結(jié)合附圖及實(shí)施例來詳細(xì)說明本專利技術(shù)的實(shí)施方式，借此對(duì)本專利技術(shù)如何應(yīng)用技術(shù)手段來解決技術(shù)問題，并達(dá)成技術(shù)效果的實(shí)現(xiàn)過程能充分理解并據(jù)以實(shí)施。本申請(qǐng)實(shí)施例以及實(shí)施例中的各個(gè)特征在不相沖突前提下的相互結(jié)合，均在本專利技術(shù)的保護(hù)范圍之內(nèi)。另外，在附本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于數(shù)據(jù)對(duì)象感知的內(nèi)存庫劃分方法，其特征在于，包括：根據(jù)數(shù)據(jù)對(duì)象的規(guī)模標(biāo)識(shí)待分析的數(shù)據(jù)對(duì)象；根據(jù)獲取的子數(shù)據(jù)流，從待分析的數(shù)據(jù)對(duì)象中標(biāo)識(shí)被并行訪問的數(shù)據(jù)對(duì)象，并結(jié)合性能監(jiān)視單元PMU分析被并行訪問的數(shù)據(jù)對(duì)象的訪存沖突開銷，確定沖突源，并量化沖突源對(duì)性能的負(fù)面影響；根據(jù)偽缺頁異常的分析，獲取在多個(gè)時(shí)間片段內(nèi)密集訪問主存的數(shù)據(jù)對(duì)象組合，通過操作系統(tǒng)調(diào)整已經(jīng)標(biāo)識(shí)出的被并行訪問的數(shù)據(jù)對(duì)象在主存中的分布。

【技術(shù)特征摘要】
1.一種基于數(shù)據(jù)對(duì)象感知的內(nèi)存庫劃分方法，其特征在于，包括：根據(jù)數(shù)據(jù)對(duì)象的規(guī)模標(biāo)識(shí)待分析的數(shù)據(jù)對(duì)象；根據(jù)獲取的子數(shù)據(jù)流，從待分析的數(shù)據(jù)對(duì)象中標(biāo)識(shí)被并行訪問的數(shù)據(jù)對(duì)象，并結(jié)合性能監(jiān)視單元PMU分析被并行訪問的數(shù)據(jù)對(duì)象的訪存沖突開銷，確定沖突源，并量化沖突源對(duì)性能的負(fù)面影響；根據(jù)偽缺頁異常的分析，獲取在多個(gè)時(shí)間片段內(nèi)密集訪問主存的數(shù)據(jù)對(duì)象組合，通過操作系統(tǒng)調(diào)整已經(jīng)標(biāo)識(shí)出的被并行訪問的數(shù)據(jù)對(duì)象在主存中的分布。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取子數(shù)據(jù)流包括：利用偽缺頁異常機(jī)制捕獲所述子數(shù)據(jù)流。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，利用偽缺頁異常機(jī)制捕獲所述子數(shù)據(jù)流之后還包括：利用偽缺頁異常機(jī)制分析所述子數(shù)據(jù)流。4.根據(jù)權(quán)利要求2所述的方法，其特征在于，利用偽缺頁異常機(jī)制捕獲所述子數(shù)據(jù)流，包括以下至少之一：進(jìn)程創(chuàng)建階段，通過未分配物理內(nèi)存獲得所述子數(shù)據(jù)流；通過數(shù)據(jù)對(duì)象內(nèi)存初始化分配獲得所述子數(shù)據(jù)流；設(shè)置偽缺頁狀態(tài)，通過標(biāo)記待分析的數(shù)據(jù)對(duì)象獲得所述子數(shù)據(jù)流；通過觸發(fā)偽缺頁異常獲得所述子數(shù)據(jù)流；通過無異常數(shù)據(jù)訪問獲得所述子數(shù)據(jù)流。5.根據(jù)權(quán)利要求3所述的方法，其特征在于，利用偽缺頁異常機(jī)制分析所述子數(shù)據(jù)流包括：收集偽缺缺頁異常產(chǎn)生的異常地址；結(jié)合PMU分析當(dāng)前代碼片段所訪問的數(shù)據(jù)對(duì)象對(duì)性能的負(fù)面影響采用瞬時(shí)的主存訪問頻度和/或次數(shù)和/或時(shí)間跨度判斷訪存的性能。6.根據(jù)權(quán)利要求1所述的方法，其特征在于：所述數(shù)據(jù)對(duì)象包括靜態(tài)數(shù)據(jù)對(duì)象或動(dòng)態(tài)數(shù)據(jù)對(duì)象；通過讀取編譯器生成的符號(hào)表來獲取所述靜態(tài)數(shù)據(jù)對(duì)象的規(guī)模，通過捕獲操作系統(tǒng)的動(dòng)態(tài)內(nèi)存分配操作來獲取所述動(dòng)態(tài)數(shù)據(jù)對(duì)象的規(guī)模。7.根據(jù)權(quán)利要求1所述的方法，其特征在于：標(biāo)識(shí)待分析的數(shù)據(jù)對(duì)象，包括：...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：程旭，鐘祺，王晶，管雪濤，劉國蒞，
申請(qǐng)(專利權(quán))人：北京北大眾志微系統(tǒng)科技有限責(zé)任公司，
類型：發(fā)明
國別省市：北京,11