使用深度卷積神經網絡的用于醫學圖像的計算機輔助診斷系統技術方案

描述了用于對醫學圖像應用深度卷積神經網絡以生成實時或近實時診斷的系統、介質和方法。

【技術實現步驟摘要】
使用深度卷積神經網絡的用于醫學圖像的計算機輔助診斷系統
技術介紹
疾病診斷是健康檢查中的重要步驟。醫學成像是用于診斷很多疾病和提供非侵入性診斷的有用工具，非侵入性診斷比其他工具擁有更大優勢。然而，醫學成像生成大量數據，并且分析醫學圖像需要較長的過程。在疾病診斷的早期階段，即使在高分辨率成像模式下，異常組織也可能并不突出。由此，解決問題的新技術是必要的。
技術實現思路
用于醫學圖像的計算機輔助診斷(CAD)系統目的是幫助醫生通過減少檢查時間，增加診斷準確度，并且減少由于經驗和個人條件造成的診斷變化而更加有效地診斷疾病。使用先進的計算機技術，CAD系統為醫生突出潛在醫療狀況的區域，以便詳細檢查并且做出最后的診斷決策。本公開內容提供了一種具有高靈敏度和選擇性的成功的CAD系統，使得在不包括很多錯誤分類的區域的情況下，檢測到所有可能的異常。CAD系統可以依賴于手工制作的特征來描述不健康的組織。此類特征的一些示例包括強度、邊緣、2D/3D曲率、形狀和其他2D/3D幾何特性。設計此類特征可能涉及對具體問題的許多領域知識，雖然其大部分仍然是非常啟發式的。一旦考慮到某個特征，就難以適應新的數據和情況。因此，系統經常經受低的檢測率和高的假陽性，并且無法滿足臨床使用的需要。另外，傳統的CAD系統的另一問題是慢的處理速度。很多傳統的CAD系統花費很長時間用于數據處理。然而，一些應用和醫學處理(例如，計算機引導的外科手術)需要獲得實時或近實時結果。本公開內容通過實時自動圖像分析而解決了這些困難。為了創建較快的處理，本文公開的技術將感興趣的區域分割，并且將以下處理應用于該區域而不是整個圖像域。另外，在各2D切片而不是3D體空間(3Dvolumetricspace)上執行初始篩選，以節約計算資源。接下來，對初始篩選結果應用精細檢測步驟。分割和級聯的處理允許快速處理，并且獲得了實時或近實時結果。另一方面，為了獲得高準確度，所公開的技術使用具有隨機優化的卷積神經網絡。所公開的技術包括基于深度學習的解決方案，諸如深度(多層)卷積神經網絡(DCNN)，以通過掃描大量的專家標注的醫學圖像來自動學習關于疾病的關鍵特征及其特性。自動學習的特征比手動選擇的特征更加具有判別力，并且可以更加容易地適應新的數據/情況。在一個方面，本文公開了一種計算機實現的系統，包括數字處理設備，該數字處理設備包括：至少一個處理器，配置用于執行可執行指令的操作系統，存儲器和包括指令的計算機程序，所述指令由所述數字處理設備可執行以創建應用，所述應用對醫學圖像應用深度卷積神經網絡以生成實時或近實時診斷或診斷建議，所述應用包括：a)執行多個醫學圖像的圖像分割的軟件模塊，所述圖像分割包括從每個圖像中隔離感興趣的區域；b)對分割的圖像應用級聯深度卷積神經網絡檢測結構的軟件模塊，所述檢測結構包括：(1)采用第一卷積神經網絡的第一級，其用于通過滑動窗口方法來篩選分割的醫學圖像的每個2D切片中的所有可能位置，以標識一個或多個候選位置；以及(2)采用第二卷積神經網絡的第二級，其用于通過利用隨機尺度(randomscale)和隨機視角在每個體內選擇至少一個隨機位置來篩選由所述候選位置構造的3D體，以標識一個或多個精細位置，并且對所述精細位置進行分類；以及c)自動生成包括診斷或診斷建議的報告的軟件模塊。在一些實施方式中，所述醫學圖像來自于CT掃描、PET/CT掃描、SPECT掃描、MRI、超聲、X射線、乳房X線照片、血管造影片、熒光照片、顯微照片或者其組合。在一些實施方式中，所述應用還包括執行圖像預處理的軟件模塊，所述圖像預處理包括所述多個醫學圖像的歸一化。在一些實施方式中，所述歸一化包括圖像格式、圖像切片間距、圖像強度、圖像對比度和圖像取向的歸一化。在一些實施方式中，所述圖像被歸一化為DICOM格式、NIfTI格式或者原始二進制格式。在一些實施方式中，所述感興趣的區域是器官、器官的一部分或者組織。在一些實施方式中，所述候選位置包括所述分割的醫學圖像的2D切片中的少于10％的位置。在一些實施方式中，所述第一卷積神經網絡具有2-20個卷積層和1-10個完全連接層。在一些實施方式中，所述第一卷積神經網絡具有3-8個卷積層和3-5個完全連接層。在一些實施方式中，所述滑動窗口是小于100像素×小于100像素的窗口。在一些實施方式中，所述滑動窗口是10-40像素×10-40像素的窗口。在一些實施方式中，所述滑動窗口是約31像素×約31像素的窗口。在一些實施方式中，所述滑動窗口是約16像素×約16像素的窗口。在一些實施方式中，所述第一卷積神經網絡包括從多個神經網絡實例中隨機選擇的至少一個神經網絡實例。在一些實施方式中，所述第二卷積神經網絡具有五個或更多個卷積和完全連接層。在一些實施方式中，所述3D體在每個方向少于100個像素。在進一步的實施方式中，所述3D體在每個方向10-40個像素。在又一些實施方式中，所述3D體在每個方向約32個像素。在一些實施方式中，所述3D體在每個方向約16個像素。在一些實施方式中，所述第二卷積神經網絡在每個體內選擇多個隨機位置。在一些實施方式中，所述第二卷積神經網絡在每個位置處選擇多個隨機尺度。在一些實施方式中，所述第二卷積神經網絡針對每個位置選擇多個隨機視角。在一些實施方式中，所述第二卷積神經網絡包括從多個神經網絡實例中隨機選擇的至少一個神經網絡實例。在一些實施方式中，所述應用還包括執行所述精細位置的后處理的軟件模塊。在另一些實施方式中，所述后處理包括表征以下中的一個或多個：質心位置(centroidlocation)、體積(volume)、形狀、強度、密度、透明度和規則性。在又一些實施方式中，所述后處理包括確定兩個或更多個精細位置是否是相同疾病部位的部分。在一些實施方式中，其中所述應用實時地或近實時地運行，并且生成實時或近實時診斷或診斷建議。在一些實施方式中，所述診斷或診斷建議包括確定任何位置是否是疾病部位。在一些實施方式中，所述報告包括所述醫學圖像中的一個或多個上的信息疊加。在進一步的實施方式中，所述疊加包括點位置指示符、區域指示符或輪廓指示符。在一些實施方式中，所述報告包括被顏色編碼以指示疾病類型的一個或多個醫學圖像。在一些實施方式中，所述報告包括被熱映射以指示診斷置信水平一個或多個醫學圖像。在一些實施方式中，所述報告包括通過對在兩個或更多個時間點捕獲的醫學圖像施加所述應用而生成的時間進程。在一些實施方式中，所述第一卷積神經網絡和所述第二卷積神經網絡被訓練成標識疾病的關鍵臨床征象。在進一步的實施方式中，所述第一卷積神經網絡和所述第二卷積神經網絡是使用由人類專家標注并且經過預處理以歸一化圖像格式、圖像切片間距、圖像間距、圖像對比度和圖像取向的醫學圖像來訓練的。在一些實施方式中，所述第一卷積神經網絡和所述第二卷積神經網絡是使用針對正常和疾病位置進行均衡的醫學圖像來訓練的。在另一方面，本文公開了編碼有計算機程序的非暫時性計算機可讀存儲介質，所述計算機程序包括用于創建應用的處理器可執行的指令，所述應用對醫學圖像應用深度卷積神經網絡以生成實時或近實時診斷或診斷建議，所述應用包括：(a)執行多個醫學圖像的圖像分割的軟件模塊，所述圖像分割包括從每個圖像隔離感興趣的區域；(b)對本文檔來自技高網...

【技術保護點】
一種計算機實現的系統，包括數字處理設備，該數字處理設備包括：至少一個處理器，配置用于執行可執行指令的操作系統，存儲器和包括指令的計算機程序，所述指令由所述數字處理設備可執行以創建應用，所述應用對醫學圖像應用深度卷積神經網絡以生成實時或近實時診斷或診斷建議，所述應用包括：a)執行多個醫學圖像的圖像分割的軟件模塊，所述圖像分割包括從每個圖像中隔離感興趣的區域；b)對分割的圖像應用級聯深度卷積神經網絡檢測結構的軟件模塊，所述檢測結構包括：i)采用第一卷積神經網絡的第一級，其用于通過滑動窗口方法來篩選分割的醫學圖像的每個2D切片中的所有可能位置，以標識一個或多個候選位置；以及ii)采用第二卷積神經網絡的第二級，其用于通過利用隨機尺度和隨機視角在每個3D體內選擇至少一個隨機位置來篩選由所述候選位置構造的多個所述3D體，以標識一個或多個精細位置，并且對所述精細位置進行分類；以及c)自動生成包括診斷或診斷建議的報告的軟件模塊。

【技術特征摘要】
2016.08.01 US 15/225,5971.一種計算機實現的系統，包括數字處理設備，該數字處理設備包括：至少一個處理器，配置用于執行可執行指令的操作系統，存儲器和包括指令的計算機程序，所述指令由所述數字處理設備可執行以創建應用，所述應用對醫學圖像應用深度卷積神經網絡以生成實時或近實時診斷或診斷建議，所述應用包括：a)執行多個醫學圖像的圖像分割的軟件模塊，所述圖像分割包括從每個圖像中隔離感興趣的區域；b)對分割的圖像應用級聯深度卷積神經網絡檢測結構的軟件模塊，所述檢測結構包括：i)采用第一卷積神經網絡的第一級，其用于通過滑動窗口方法來篩選分割的醫學圖像的每個2D切片中的所有可能位置，以標識一個或多個候選位置；以及ii)采用第二卷積神經網絡的第二級，其用于通過利用隨機尺度和隨機視角在每個3D體內選擇至少一個隨機位置來篩選由所述候選位置構造的多個所述3D體，以標識一個或多個精細位置，并且對所述精細位置進行分類；以及c)自動生成包括診斷或診斷建議的報告的軟件模塊。2.如權利要求1所述的系統，其中所述應用實時地或近實時地運行，并且生成實時或近實時診斷或診斷建議。3.如權利要求1所述的系統，其中所述診斷或診斷建議包括確定任何位置是否是疾病部位。4.如權利要求1所述的系統，其中所述醫學圖像來自于CT掃描、PET/CT掃描、SPECT掃描、MRI、超聲、X射線、乳房X線照片、血管造影片、熒光照片、顯微照片或者其組合。5.如權利要求1所述的系統，其中所述應用還包括執行圖像預處理的軟件模塊，所述圖像預處理包括所述多個醫學圖像的歸一化。6.如權利要求5所述的系統，其中所述歸一化包括圖像格式、圖像切片間距、圖像強度、圖像對比度和圖像取向的歸一化。7.如權利要求1所述的系統，其中所述感興趣的區域是器官、器官的一部分或者組織。8.如權利要求1所述的系統，其中所述候選位置包括所述分割的醫學圖像的2D切片中的少于10％的位置。9.如權利要求1所述的系統，其中所述第一卷積神經網絡具有2-20個卷積層和1-10個完全連接層。10.如權利要求1所述的系統，其中所述滑動窗口包括小于100像素×小于100像素的窗口。11.如權利要求10所述的系統，其中所述滑動窗口包括約31像素×約31像素或者約16像素×約16像素的窗口。12.如權利要求1所述的系統，其中所述第一卷積神經網絡包括從多個神經網絡實例中隨機選擇的至少一個神經網絡實例，并且其中所述第二卷積神經網絡包括從多個神經網絡實例中隨機選擇的至少一個神經網絡實例。13.如權利要求1所述的系統，其中所述第二卷積神經網絡具有五個或更多個卷積和完全連接層。14.如權利要求1所述的系統，其中所述3D體在每個方向少于100個立體像素。15.如權利要求1所述的系統，其中所述第二卷積神經網絡在每個3D體內選擇多個隨機位置。16.如權利要求1所述的系統，其中所述第二卷積神經網絡在每個位置處選擇多個隨機尺度。17.如權利要求1所述的系統，其中所述第二卷積神經網絡針對每個位置選擇多個隨機視角。18.如權利要求1所述的系統，其中所述應用還包括執行...

【專利技術屬性】
技術研發人員：高大山，鐘新，
申請(專利權)人：一二西格瑪控股有限公司，
類型：發明
國別省市：開曼群島,KY