用于對訓練的和未訓練的神經網絡進行組織的方法、系統和裝置，包括編碼在計算機存儲介質中的計算機程序。在一個方面，神經網絡裝置包括由集間連接互連的節點集的集合，每個節點集本身包括由多個集內連接互連的節點的網絡，其中每個集間連接和集內連接都有相關的權重，每個權重體現由相關連接連接的節點之間的連接強度，與連接到其他節點集內的節點相比，每個集內的節點更可能連接到該集內其他節點。
【技術實現步驟摘要】
【國外來華專利技術】對神經網絡進行組織相關申請的交叉引用根據美國法典第35篇第119條第(e)項，本申請要求享有2010年2月5日提交的第61/301，781號美國專利申請的權益，該美國專利申請的內容以引用的方式納入本文。
技術介紹
本說明書涉及對訓練的和未訓練的神經網絡進行組織的方法，以及對神經網絡進行組織的方法。神經網絡是受生物神經元網絡的結構和功能方面啟發的裝置。具體地，神經網絡使用被稱為“節點”的互連結構的系統來模擬生物神經元網絡的信息編碼和其他處理能力。神經網絡中節點之間連接的排列和強度決定神經網絡的信息處理或信息儲存的結果。神經網絡可以被“訓練”以產生需要的網絡內信號流并且達到需要的信息處理或信息儲存的結果。一般來說，在學習過程中訓練神經網絡可改變節點間連接的排列和/或強度。當神經網絡達到對給出的輸入組有足夠合適的處理結果時，可以認為所述神經網絡是“訓練的”。神經網絡可以用于多種不同的裝置中來進行非線性數據處理和分析。非線性數據處理不滿足疊加原理，即需要確定的變量不能表示為獨立成分的線性和。其中可用非線性數據處理的情況的實例包括模式和序列識別、新穎性檢測和序貫決策作出、復雜系統建模以及多種其他情況中的系統和技術。
技術實現思路
本說明書描述了對訓練的和未訓練的神經網絡進行組織的方法，以及對神經網絡進行組織的方法。對大鼠新皮質中生物神經元進行組織的研究已經給出了關于神經網絡中節點可以如何被有利地組織的線索。具有模擬大鼠新皮質中對生物神經元進行組織的互連的神經網絡可以被訓練以提高信息處理和/或信息儲存。在本說明書所述的主題的第一個方面，神經網絡裝置可以在硬件、軟件或兩者的結合中實施。所述神經網絡裝置包括由集間連接互連的節點集的集合，每個節點集本身包括由多個集內連接互連的節點的網絡，其中每個集間連接和集內連接都有相關的權重，每個權重體現由相關連接連接的節點之間的連接強度，與連接到其他節點集內的節點相比，每個集內的節點更可能連接到該集內的其他節點。在本說明書所述的主題的第二個方面，形成神經網絡裝置的機器實施方法包括，形成在硬件、軟件或兩者的結合中實施的節點網絡，通過以體現節點共有的共同鄰點數目的概率來連接或斷開節點而分配或再分配網絡節點間的連接。這些方面和其他方面可以包括以下特征中的一個或多個。與集間連接相關的權重可以體現出于具體目的對神經裝置的訓練。集內連接可以體現出于具體目的對神經網絡裝置的訓練至比集間連接小的程度。可根據兩兩連接關系連接節點并形成節點集。對于具有更多連接數目的節點集，每個節點集內平均權重的方差通常減小。隨著各個節點集內連接數超過所述各自節點集內節點數，所述各個節點集的平均互連強度可以漸近地達到各自的極限。例如，所述各自的極限基本相同。對于集內連接數小于同一節點集內的節點數的節點集，集內連接的權重大小可以與一套水平中的不同水平顯著相關。例如，每個不同的水平可以與所述集內的不同節點數目相關。神經網絡裝置可以包括被配置以基于每個集內連接的集內其他節點數目來改變所述集內連接各自的權重大小的適配器組件。例如，在對所述神經網絡裝置訓練前，可以配置適配器組件以改變各自權重的大小。這樣的神經網絡裝置可以是未訓練的。神經網絡裝置可以包括被配置以基于節點集內節點數目來改變每個節點集內節點之間連接概率的適配器組件。例如，在對所述神經網絡裝置訓練前，可以配置適配器組件以改變每個權重的大小。連接可以包括相互連接和非相互連接。非相互連接大約兩倍于相互連接。集內的節點與該集內的其他節點連接可能性是與其他節點集內的節點連接的兩倍。具有10到100個節點的節點集的數目可以大于具有少于10個和多于100個節點的節點集的數目。神經網絡裝置可以具有10到100個節點集。可以重復分配或再分配直到達到準穩態。可根據兩兩連接關系連接節點。可以對節點的網絡進行訓練，例如通過以 相對穩定的權重來確定節點集內連接的權重，并確定節點集之間的連接的權重以體現所述訓練，同時保持所述節點集內連接的權重相對不變。基于共同連接到第一和第二節點的節點數目，可以對第一和第二節點間的每個連接分配權重。可根據隨機分配過程或者根據其中依照兩個節點連接的可能性進行連接分配的過程，來分配初始組的連接。通過所述方法可以形成未訓練的神經網絡裝置。可以重復分配或再分配，直到各個節點集內的連接數目超過該各個節點集內的節點數目。可以以隨著連接數目超過節點數目達到極限的權重來確定各個節點集內的連接的權重。不同大小節點集的極限基本相同。本說明書所述主題的一個或多個實施方案的細節在以下的附圖和說明書中給出。所述主題的其他特征、方面和優點通過所述說明書、附圖以及權利要求書將變得明顯。附圖說明圖I是神經網絡裝置的示意圖。圖2A-2F的圖呈現的示例性實例是不同數目的節點的組中出現不同數目的連接的頻率。圖3A-3F的圖呈現的示例性實例是連接可以在圖2A-2F的組中出現的頻率和預期要出現的連接是隨機分配的連接的頻率之間的差異。圖4A、4B的圖呈現的示例性實例是體現共有不同數目的共同鄰點的給定節點對自連的可能性的不同概率。圖5A、5B的圖呈現的示例性實例是在6個節點的組或集內節點之間互連的不同平均強度。圖6的圖呈現的示例性實例是具有不同數目互連的節點之間互連強度的不同概率密度分布。圖7A、7B的圖呈現的示例性實例是在6個節點的組或集內節點之間平均互連強度的不同方差。圖8的圖呈現的示例性實例是在一個節點集內的節點對和在兩個不同節點集內的節點對連接的概率。圖9A、9B的圖呈現的示例性實例是訓練的或未訓練的神經網絡裝置中節點集大小的不同分布。圖10的圖呈現的示例性實例是包含節點集連接性的神經網絡裝置的集聚系數。圖11的圖1100呈現的示例性曲線1105是包括節點集連接性的神經網絡裝置的輸入連接的累積分布。圖12的圖呈現的示例性實例是包括節點集連接性的神經網絡裝置的節點對共有的共同鄰點數目的概率密度分布曲線。在各圖中同樣的參考編號和命名指示相同的要素。具體實施例方式圖I是神經網絡裝置100的示意圖。神經網絡裝置100是使用互連節點的系統來模擬生物神經元網絡的信息編碼和其他處理能力的裝置。神經網絡裝置100可以在硬件、軟件或兩者的結合中實施。神經網絡裝置100包括通過多個連接110互連的多個節點105。節點105是類似于生物網絡中的神經元的離散信息處理構件。節點105通常處理經一個或多個連接110接收的一個或多個輸入信號，以產生經一個或多個連接110輸出的一個或多個輸出信號。例如，在一些實施中，節點105可以是對多個輸入信號加權并求和的人工神經元，將所述和代入一個或多個非線性活動函數，并輸出一個或多個輸出信號。神經網絡裝置100中的節點105被組織成多個節點集115、120、125、130。每個節點集115、120、125、130都是節點的集合。各個節點集115、120、125、130內的節點105與相同各個節點集115、120、125、130內的其他節點比與節點集115、120、125、130中的其他節點集內的節點更有可能建立連接110。例如，在一些實施中，各個節點集115、120、125、130內的節點105與相同各個節點集115、120、125、130內其他節點建立連接110的可能性I. 5倍于或2本文檔來自技高網...
【技術保護點】
【技術特征摘要】
【國外來華專利技術】...
【專利技術屬性】
技術研發人員：H·馬克拉姆，R·德坎波斯佩林，T·K·伯格，
申請(專利權)人：洛桑聯邦理工學院EPFL，
類型：
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。