一種基于人工神經網絡的刺激圖像重建方法及系統技術方案

本發明專利技術屬于腦機接口領域，具體涉及一種基于人工神經網絡的刺激圖像重建方法及系統，該方法包括：首先處理由腦電儀器采集得到的由視覺刺激誘發的腦電數據，并利用人工神經網絡學習腦電信號中的可分類特征形成腦電特征編碼；利用預訓練的圖像分類模型提取視覺刺激對應的圖像特征編碼，并通過編碼信息和類別信息訓練得到一個可以生成圖像的生成器模型；通過訓練一個神經網絡構建對應類別的腦電特征分布和圖像特征分布間的映射關系；通過端到端的方式構建腦電特征與圖像特征的映射關系，從而實現基于腦電信號重建圖像刺激的方法；本發明專利技術提高了訓練的并行度，使得整個方法識別率高，訓練難度小，訓練速度快。訓練速度快。訓練速度快。

【技術實現步驟摘要】
一種基于人工神經網絡的刺激圖像重建方法及系統


[0001]本專利技術屬于腦機接口視覺圖像重建領域，具體涉及一種基于人工神經網絡的刺激圖像重建方法及系統。

技術介紹

[0002]隨著認知神經科學的不斷發展，過去出現在科幻小說中的“讀心術”現在已經成為現實。通過神經影像技術，人們可以觀察各種認知任務下的大腦活動狀態，從而學習認知行為與大腦活動之間的神經編碼邏輯。腦電圖(Electroencephalogram，EEG)是一種成熟的神經影像技術，已經被廣泛用于解碼情緒，運動想象等認知活動，但是在圖像重建領域依然處于探索階段。目前領域內的圖像重建方法基本依賴于傳統生成對抗網絡，這種方法存在傳統卷積結構對空間位置不敏感而損失特征信息，網絡結構復雜導致訓練難度大耗時長，訓練數據量受實驗難度局限等問題。

技術實現思路

[0003]為解決上述技術問題，本專利技術提出一種基于人工神經網絡的刺激圖像重建方法及系統，包括：
[0004]一方面，本專利技術提供一種基于人工神經網絡的刺激圖像重建方法，包括以下步驟：
[0005]S1：獲取用戶觀察刺激圖像時的腦電信號和眼電信號，并通過眼電信號對腦電信號進行預處理，得到視覺腦電信號；
[0006]S2：構建腦電數據編碼網絡、圖像編碼網絡、映射網絡和圖像生成網絡，并對腦電數據編碼網絡、圖像編碼網絡、映射網絡和圖像生成網絡進行訓練；
[0007]S3：通過訓練后的腦電數據編碼網絡對視覺腦電信號進行腦電特征編碼，并根據編碼后的腦電特征進行類別識別；/>[0008]S4：通過訓練后的圖像編碼網絡對刺激圖像進行圖像特征編碼，并根據編碼后的圖像特征進行類別識別；
[0009]S5：通過訓練后的映射網絡建立對應類別的腦電特征分布和圖像特征分布間的映射關系，根據對應類別的腦電特征分布和圖像特征分布間的映射關系通過訓練后的圖像網絡生成重建圖像。
[0010]優選的，對腦電信號進行預處理，包括：
[0011]對原始腦電信號使用Butterworth低通濾波器濾去頻段在70Hz以上的信號，并使用獨立成分分析方法結合眼電信號去除腦電信號中的眼電偽跡；對去除眼電后的信號使用Butterworth帶通濾波器截取了頻段在1～40Hz之間的信號；對濾波后的信號進行降采樣將信號頻率將至250Hz；對降采樣后的信號進行切片處理，截取保留刺激出現后0.5s以內的信號段。
[0012]優選的，構建腦電數據編碼網絡、圖像編碼網絡、映射網絡和圖像生成網絡，包括：
[0013]所述腦電數據編碼網絡，包括：編碼器和分類器，編碼器包括卷積模塊、膠囊模塊；
[0014]所述圖像編碼網絡，包括：編碼器和分類器；
[0015]所述映射網絡：一層全連接層作為隱藏層的淺層神經網絡網絡；
[0016]所述圖像生成網絡，包括：圖像生成器。
[0017]優選的，對腦電數據編碼網絡、圖像編碼網絡、映射網絡和圖像生成網絡進行訓練，包括：
[0018]將imagenet數據集中的圖像數據分為訓練集和驗證集，將訓練數據集分別輸入到各個網絡中得到訓練結果，根據訓練結果使用各個網絡的損失函數計算損失值，并通過反向傳播算法對各個網絡參數進行訓練；將驗證集輸入到訓練后的各個網絡中得到實際結果；確定實際結果是否達到預期效果，即網絡在過擬合現象發生時達到的最佳效果優于基線網絡的最佳效果；當所述實際結果達到預期效果時，固定網絡參數得到訓練完成后的各個網絡。
[0019]優選的，通過訓練后的腦電數據編碼網絡對視覺腦電信號進行腦電特征編碼，并根據編碼后的腦電特征進行類別識別，包括：
[0020]將視覺腦電信號輸入卷積模塊，提取視覺腦電的淺層特征信息，對視覺腦電的淺層特征信息進行編碼，得到淺層的腦電信號特征編碼；將淺層腦電信號特征編碼輸入膠囊模塊，提取視覺腦電的深層特征信息，對視覺腦電的深層特征信息進行編碼，得到深層的腦電信號特征編碼；將深層的腦電信號特征編碼輸入分類器，得到對應類別的編碼向量，計算對應類別的編碼向量的長度得到分類概率，選取概率最高的類別得到分類結果。
[0021]優選的，通過訓練后的圖像編碼網絡對刺激圖像進行圖像特征編碼，并根據編碼后的圖像特征進行類別識別，包括：
[0022]將刺激圖像輸入訓練后的圖像編碼網絡，通過編碼器對刺激圖像進行圖像特征編碼，將編碼后的圖像特征輸入分類器，得到分類結果。
[0023]優選的，通過訓練后的映射網絡建立對應類別的腦電特征分布和圖像特征分布間的映射關系，包括：
[0024]使用聚類算法計算對應類別的腦電特征分布和圖像特征分布的聚類中心，將對應類別的腦電特征分布和圖像特征分布的聚類中心輸入映射網絡，得到映射后的腦電特征分布和圖像特征分布的聚類中心向量。
[0025]優選的，通過訓練后的圖像生成網絡進行圖像重建，包括：
[0026]將腦電特征分布下的某一類別的聚類中心向量映射為圖像特征分布下的該類別的聚類中心向量，將圖像特征分布下的該類別的聚類中心向量添加隨機噪聲向量形成該類別下的圖像特征編碼，將該圖像特征編碼輸入訓練后的圖像生成網絡，通過生成器將其解碼成該類別的圖像數據。
[0027]另一方面，本專利技術提供一種基于人工神經網絡的刺激圖像重建系統，包括：數據采集模塊、信號處理模塊、圖像處理模塊、圖像重建模塊；
[0028]所述數據采集模塊用于采集用戶觀察圖像時產生的腦電信號和眼電信號，并通過眼電信號對腦電信號進行預處理，得到視覺腦電信號；
[0029]所述信號處理模塊用于對視覺腦電信號進行腦電特征編碼，并根據編碼后的腦電特征進行類別識別；
[0030]圖像處理模塊用于對刺激圖像進行圖像特征編碼，并根據編碼后的圖像特征進行
類別識別；
[0031]所述圖像重建模塊根據圖像特征編碼腦電特征編碼生成圖像信號。
[0032]優選的，信號處理模塊，包括：信號預處理單元，信號特征編碼單元，信號映射轉換單元；
[0033]所述信號預處理單元用于對用戶的視覺腦電信號進行預處理并送入信號特征編碼單元；
[0034]所述的信號特征編碼單元用于將預處理后的腦電信號進行特征編碼，并送入信號映射轉換單元；
[0035]所述的信號映射轉換單元用于將腦電信號的特征編碼映射到圖像特征編碼的分布內，并送入圖像重建模塊中。
[0036]本專利技術的有益效果：
[0037]本專利技術通過解析使用者觀察刺激圖像時的腦電信號生成具有相同語義的圖像，解析使用的網絡模型中膠囊網絡結構代替了卷積結構，彌補了卷積結構的不足，腦電特征編碼到圖像特征編碼的映射采用分布映射的方式，忽視單個樣本的影響，注重整體的映射效果，降低了模型之間的依賴程度，提高了訓練的并行度，使得整個方法識別率高，訓練難度小，訓練速度快。
附圖說明
[0038]圖1為本專利技術提供的一種基于腦電信號還原刺激圖像的人工神經網絡方法的流程圖；
[0039]圖2為本專利技術的系本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于人工神經網絡的刺激圖像重建方法，其特征在于，包括：S1：獲取用戶觀察刺激圖像時的腦電信號和眼電信號，并通過眼電信號對腦電信號進行預處理，得到視覺腦電信號；S2：構建腦電數據編碼網絡、圖像編碼網絡、映射網絡和圖像生成網絡，并對腦電數據編碼網絡、圖像編碼網絡、映射網絡和圖像生成網絡進行訓練；S3：通過訓練后的腦電數據編碼網絡對視覺腦電信號進行腦電特征編碼，并根據編碼后的腦電特征進行類別識別；S4：通過訓練后的圖像編碼網絡對刺激圖像進行圖像特征編碼，并根據編碼后的圖像特征進行類別識別；S5：通過訓練后的映射網絡建立對應類別的腦電特征分布和圖像特征分布間的映射關系，根據對應類別的腦電特征分布和圖像特征分布間的映射關系通過訓練后的圖像網絡生成重建圖像。2.根據權利要求1所述的一種基于人工神經網絡的刺激圖像重建方法，其特征在于，對腦電信號進行預處理，包括：對原始腦電信號使用Butterworth低通濾波器濾去頻段在70Hz以上的信號，并使用獨立成分分析方法結合眼電信號去除腦電信號中的眼電偽跡；對去除眼電后的信號使用Butterworth帶通濾波器截取了頻段在1～40Hz之間的信號；對濾波后的信號進行降采樣將信號頻率將至250Hz；對降采樣后的信號進行切片處理，截取保留刺激出現后0.5s以內的信號段。3.根據權利要求1所述的一種基于人工神經網絡的刺激圖像重建方法，其特征在于，構建腦電數據編碼網絡、圖像編碼網絡、映射網絡和圖像生成網絡，包括：所述腦電數據編碼網絡，包括：編碼器和分類器，編碼器包括卷積模塊、膠囊模塊；所述圖像編碼網絡，包括：編碼器和分類器；所述映射網絡：一層全連接層作為隱藏層的淺層神經網絡網絡；所述圖像生成網絡，包括：圖像生成器。4.根據權利要求1所述的一種基于人工神經網絡的刺激圖像重建方法，其特征在于，對腦電數據編碼網絡、圖像編碼網絡、映射網絡和圖像生成網絡進行訓練，包括：將imagenet數據集中的圖像數據分為訓練集和驗證集，將訓練數據集分別輸入到各個網絡中得到訓練結果，根據訓練結果使用各個網絡的損失函數計算誤差值，并通過反向傳播算法對各個網絡參數進行訓練；將驗證集輸入到訓練后的各個網絡中得到實際結果；確定實際結果是否達到預期效果，即網絡在過擬合現象發生時達到的最佳效果優于基線網絡的最佳效果；當所述實際結果達到預期效果時，固定網絡參數得到訓練完成后的各個網絡。5.根據權利要求1所述的一種基于人工神經網絡的刺激圖像重建方法，其特征在于，通過訓練后的腦電數據編碼網絡對視覺腦電信號進行腦電特征編碼，并根據編碼后的腦電特征進行類別識別，包括：將視覺腦電信號輸入卷積模塊，提取視覺腦電的淺層特征信息，對視覺腦...

【專利技術屬性】
技術研發人員：鄧欣，王中寅，肖斌，劉柯，高紅偉，樊旭峰，孫開偉，
申請(專利權)人：重慶郵電大學，
類型：發明
國別省市：