神經(jīng)網(wǎng)絡(luò)技術(shù)演變

• 曾理偉 2023年8月3日 來(lái)源：中研網(wǎng) 417 20
• 繁體

人工神經(jīng)網(wǎng)絡(luò)是由大量的簡(jiǎn)單基本元件—神經(jīng)元相互聯(lián)接而成的自適應(yīng)非線性動(dòng)態(tài)系統(tǒng)。每個(gè)神經(jīng)元的結(jié)構(gòu)和功能比較簡(jiǎn)單，但大量神經(jīng)元組合產(chǎn)生的系統(tǒng)行為卻非常復(fù)雜。人工神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)模仿人腦，反映了人腦功能的若干基本特性，能夠自身適應(yīng)環(huán)境、總結(jié)規(guī)律、完成某種

欲了解更多神經(jīng)網(wǎng)絡(luò)行業(yè)的未來(lái)發(fā)展前景，可以點(diǎn)擊查看中研普華產(chǎn)業(yè)院研究報(bào)告《2022年版5G通信技術(shù)背景下邊緣計(jì)算+AI發(fā)展趨勢(shì)及應(yīng)用專項(xiàng)研究報(bào)告》

人工神經(jīng)網(wǎng)絡(luò)是由大量的簡(jiǎn)單基本元件—神經(jīng)元相互聯(lián)接而成的自適應(yīng)非線性動(dòng)態(tài)系統(tǒng)。每個(gè)神經(jīng)元的結(jié)構(gòu)和功能比較簡(jiǎn)單，但大量神經(jīng)元組合產(chǎn)生的系統(tǒng)行為卻非常復(fù)雜。人工神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)模仿人腦，反映了人腦功能的若干基本特性，能夠自身適應(yīng)環(huán)境、總結(jié)規(guī)律、完成某種運(yùn)算、識(shí)別或過(guò)程控制。人工神經(jīng)網(wǎng)絡(luò)具有并行處理特征，可以大大提高工作速度。

1943年，心理學(xué)家W·Mcculloch和數(shù)理邏輯學(xué)家W·Pitts在分析、總結(jié)神經(jīng)元基本特性的基礎(chǔ)上首先提出神經(jīng)元的數(shù)學(xué)模型。此模型沿用至今，并且直接影響著這一領(lǐng)域研究的進(jìn)展。因而，他們兩人可稱為人工神經(jīng)網(wǎng)絡(luò)研究的先驅(qū)。1945年馮·諾依曼領(lǐng)導(dǎo)的設(shè)計(jì)小組試制成功存儲(chǔ)程序式電子計(jì)算機(jī)，標(biāo)志著電子計(jì)算機(jī)時(shí)代的開(kāi)始。

1948年，他在研究工作中比較了人腦結(jié)構(gòu)與存儲(chǔ)程序式計(jì)算機(jī)的根本區(qū)別，提出了以簡(jiǎn)單神經(jīng)元構(gòu)成的再生自動(dòng)機(jī)網(wǎng)絡(luò)結(jié)構(gòu)。但是，由于指令存儲(chǔ)式計(jì)算機(jī)技術(shù)的發(fā)展非常迅速，迫使他放棄了神經(jīng)網(wǎng)絡(luò)研究的新途徑，繼續(xù)投身于指令存儲(chǔ)式計(jì)算機(jī)技術(shù)的研究，并在此領(lǐng)域作出了巨大貢獻(xiàn)。雖然，馮·諾依曼的名字是與普通計(jì)算機(jī)聯(lián)系在一起的，但他也是人工神經(jīng)網(wǎng)絡(luò)研究的先驅(qū)之一。

50年代末，F(xiàn)·Rosenblatt設(shè)計(jì)制作了“感知機(jī)”，它是一種多層的神經(jīng)網(wǎng)絡(luò)。這項(xiàng)工作首次把人工神經(jīng)網(wǎng)絡(luò)的研究從理論探討付諸工程實(shí)踐。當(dāng)時(shí)，世界上許多實(shí)驗(yàn)室仿效制作感知機(jī)，分別應(yīng)用于文字識(shí)別、聲音識(shí)別、聲納信號(hào)識(shí)別以及學(xué)習(xí)記憶問(wèn)題的研究。然而，這次人工神經(jīng)網(wǎng)絡(luò)的研究高潮未能持續(xù)很久，許多人陸續(xù)放棄了這方面的研究工作，這是因?yàn)楫?dāng)時(shí)數(shù)字計(jì)算機(jī)的發(fā)展處于全盛時(shí)期，許多人誤以為數(shù)字計(jì)算機(jī)可以解決人工智能、模式識(shí)別、專家系統(tǒng)等方面的一切問(wèn)題，使感知機(jī)的工作得不到重視；其次，當(dāng)時(shí)的電子技術(shù)工藝水平比較落后，主要的元件是電子管或晶體管，利用它們制作的神經(jīng)網(wǎng)絡(luò)體積龐大，價(jià)格昂貴，要制作在規(guī)模上與真實(shí)的神經(jīng)網(wǎng)絡(luò)相似是完全不可能的；另外，在1968年一本名為《感知機(jī)》的著作中指出線性感知機(jī)功能是有限的，它不能解決如異或這樣的基本問(wèn)題，而且多層網(wǎng)絡(luò)還不能找到有效的計(jì)算方法，這些論點(diǎn)促使大批研究人員對(duì)于人工神經(jīng)網(wǎng)絡(luò)的前景失去信心。60年代末期，人工神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了低潮。

另外，在60年代初期，Widrow提出了自適應(yīng)線性元件網(wǎng)絡(luò)，這是一種連續(xù)取值的線性加權(quán)求和閾值網(wǎng)絡(luò)。后來(lái)，在此基礎(chǔ)上發(fā)展了非線性多層自適應(yīng)網(wǎng)絡(luò)。當(dāng)時(shí)，這些工作雖未標(biāo)出神經(jīng)網(wǎng)絡(luò)的名稱，而實(shí)際上就是一種人工神經(jīng)網(wǎng)絡(luò)模型。隨著人們對(duì)感知機(jī)興趣的衰退，神經(jīng)網(wǎng)絡(luò)的研究沉寂了相當(dāng)長(zhǎng)的時(shí)間。

80年代初期，模擬與數(shù)字混合的超大規(guī)模集成電路制作技術(shù)提高到新的水平，完全付諸實(shí)用化，此外，數(shù)字計(jì)算機(jī)的發(fā)展在若干應(yīng)用領(lǐng)域遇到困難。這一背景預(yù)示，向人工神經(jīng)網(wǎng)絡(luò)尋求出路的時(shí)機(jī)已經(jīng)成熟。美國(guó)的物理學(xué)家Hopfield于1982年和1984年在美國(guó)科學(xué)院院刊上發(fā)表了兩篇關(guān)于人工神經(jīng)網(wǎng)絡(luò)研究的論文，引起了巨大的反響。人們重新認(rèn)識(shí)到神經(jīng)網(wǎng)絡(luò)的威力以及付諸應(yīng)用的現(xiàn)實(shí)性。隨即，一大批學(xué)者和研究人員圍繞著Hopfield提出的方法展開(kāi)了進(jìn)一步的工作，形成了80年代中期以來(lái)人工神經(jīng)網(wǎng)絡(luò)的研究熱潮。

神經(jīng)網(wǎng)絡(luò)的云集成模式還不是很成熟，應(yīng)該有發(fā)展?jié)摿Γ窠?jīng)網(wǎng)絡(luò)有自己的硬傷，不知道能夠達(dá)到怎樣的效果，所以決策支持系統(tǒng)中并不是很熱門(mén)，但是神經(jīng)網(wǎng)絡(luò)無(wú)視過(guò)程的優(yōu)點(diǎn)也是無(wú)可替代的，云網(wǎng)絡(luò)如果能夠?qū)ι窠?jīng)網(wǎng)絡(luò)提供一個(gè)互補(bǔ)的輔助決策以控制誤差的話，也許就能使神經(jīng)網(wǎng)絡(luò)成熟起來(lái)人工神經(jīng)網(wǎng)絡(luò)產(chǎn)生的背景自古以來(lái)，關(guān)于人類(lèi)智能本源的奧秘，一直吸引著無(wú)數(shù)哲學(xué)家和自然科學(xué)家的研究熱情。

生物學(xué)家、神經(jīng)學(xué)家經(jīng)過(guò)長(zhǎng)期不懈的努力，通過(guò)對(duì)人腦的觀察和認(rèn)識(shí)，認(rèn)為人腦的智能活動(dòng)離不開(kāi)腦的物質(zhì)基礎(chǔ)，包括它的實(shí)體結(jié)構(gòu)和其中所發(fā)生的各種生物、化學(xué)、電學(xué)作用，并因此建立了神經(jīng)元網(wǎng)絡(luò)理論和神經(jīng)系統(tǒng)結(jié)構(gòu)理論，而神經(jīng)元理論又是此后神經(jīng)傳導(dǎo)理論和大腦功能學(xué)說(shuō)的基礎(chǔ)。在這些理論基礎(chǔ)之上，科學(xué)家們認(rèn)為，可以從仿制人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能出發(fā)，研究人類(lèi)智能活動(dòng)和認(rèn)識(shí)現(xiàn)象。另一方面，19世紀(jì)之前，無(wú)論是以歐氏幾何和微積分為代表的經(jīng)典數(shù)學(xué)，還是以牛頓力學(xué)為代表的經(jīng)典物理學(xué)，從總體上說(shuō)，這些經(jīng)典科學(xué)都是線性科學(xué)。然而，客觀世界是如此的紛繁復(fù)雜，非線性情況隨處可見(jiàn)，人腦神經(jīng)系統(tǒng)更是如此。復(fù)雜性和非線性是連接在一起的，因此，對(duì)非線性科學(xué)的研究也是我們認(rèn)識(shí)復(fù)雜系統(tǒng)的關(guān)鍵。為了更好地認(rèn)識(shí)客觀世界，我們必須對(duì)非線性科學(xué)進(jìn)行研究。人工神經(jīng)網(wǎng)絡(luò)作為一種非線性的、與大腦智能相似的網(wǎng)絡(luò)模型，就這樣應(yīng)運(yùn)而生了。所以，人工神經(jīng)網(wǎng)絡(luò)的創(chuàng)立不是偶然的，而是20世紀(jì)初科學(xué)技術(shù)充分發(fā)展的產(chǎn)物。

人工神經(jīng)網(wǎng)絡(luò)的發(fā)展人工神經(jīng)網(wǎng)絡(luò)的研究始于40年代初。半個(gè)世紀(jì)以來(lái)，經(jīng)歷了興起、高潮與蕭條、高潮及穩(wěn)步發(fā)展的遠(yuǎn)為曲折的道路。1943年，心理學(xué)家W.S.Mcculloch和數(shù)理邏輯學(xué)家W.Pitts提出了M—P模型，這是第一個(gè)用數(shù)理語(yǔ)言描述腦的信息處理過(guò)程的模型，雖然神經(jīng)元的功能比較弱，但它為以后的研究工作提供了依據(jù)。

1949年，心理學(xué)家提出突觸聯(lián)系可變的假設(shè)，根據(jù)這一假設(shè)提出的學(xué)習(xí)規(guī)律為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了基礎(chǔ)。1957年，計(jì)算機(jī)科學(xué)家Rosenblatt提出了著名的感知機(jī)模型，它的模型包含了現(xiàn)代計(jì)算機(jī)的一些原理，是第一個(gè)完整的人工神經(jīng)網(wǎng)絡(luò)，第一次把神經(jīng)網(wǎng)絡(luò)研究付諸工程實(shí)現(xiàn)。由于可應(yīng)用于模式識(shí)別，聯(lián)想記憶等方面，當(dāng)時(shí)有上百家實(shí)驗(yàn)室投入此項(xiàng)研究，美國(guó)軍方甚至認(rèn)為神經(jīng)網(wǎng)絡(luò)工程應(yīng)當(dāng)比“原子彈工程”更重要而給予巨額資助，并在聲納信號(hào)識(shí)別等領(lǐng)域取得一定成績(jī)。

1960年，B.Windrow和E.Hoff提出了自適應(yīng)線性單元，它可用于自適應(yīng)濾波、預(yù)測(cè)和模式識(shí)別。至此，人工神經(jīng)網(wǎng)絡(luò)的研究工作進(jìn)入了第一個(gè)高潮。

1969年，美國(guó)著名人工智能學(xué)者M(jìn).Minsky和S.Papert編寫(xiě)了影響很大的Perceptron一書(shū)，從理論上證明單層感知機(jī)的能力有限，諸如不能解決異或問(wèn)題，而且他們推測(cè)多層網(wǎng)絡(luò)的感知機(jī)能力也不過(guò)如此，他們的分析恰似一瓢冷水，很多學(xué)者感到前途渺茫而紛紛改行，原先參與研究的實(shí)驗(yàn)室紛紛退出，在這之后近10年，神經(jīng)網(wǎng)絡(luò)研究進(jìn)入了一個(gè)緩慢發(fā)展的蕭條期。這期間，芬蘭學(xué)者T.Kohonen提出了自組織映射理論，反映了大腦神經(jīng)細(xì)胞的自組織特性、記憶方式以及神經(jīng)細(xì)胞興奮刺激的規(guī)律；美國(guó)學(xué)者S.A.Grossberg的自適應(yīng)共振理論（ART）；日本學(xué)者K.Fukushima提出了認(rèn)知機(jī)模型；ShunIchimari則致力于神經(jīng)網(wǎng)絡(luò)有關(guān)數(shù)學(xué)理論的研究等，這些研究成果對(duì)以后的神經(jīng)網(wǎng)絡(luò)的發(fā)展產(chǎn)生了重要影響。美國(guó)生物物理學(xué)家J.J.Hopfield于1982年、1984年在美國(guó)科學(xué)院院刊發(fā)表的兩篇文章，有力地推動(dòng)了神經(jīng)網(wǎng)絡(luò)的研究，引起了研究神經(jīng)網(wǎng)絡(luò)的又一次熱潮。

1982年，他提出了一個(gè)新的神經(jīng)網(wǎng)絡(luò)模型——hopfield網(wǎng)絡(luò)模型。他在這種網(wǎng)絡(luò)模型的研究中，首次引入了網(wǎng)絡(luò)能量函數(shù)的概念，并給出了網(wǎng)絡(luò)穩(wěn)定性的判定依據(jù)。1984年，他又提出了網(wǎng)絡(luò)模型實(shí)現(xiàn)的電子電路，為神經(jīng)網(wǎng)絡(luò)的工程實(shí)現(xiàn)指明了方向，他的研究成果開(kāi)拓了神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶的優(yōu)化計(jì)算的新途徑，并為神經(jīng)計(jì)算機(jī)研究奠定了基礎(chǔ)。

1984年Hinton等人將模擬退火算法引入到神經(jīng)網(wǎng)絡(luò)中，提出了Boltzmann機(jī)網(wǎng)絡(luò)模型，BM網(wǎng)絡(luò)算法為神經(jīng)網(wǎng)絡(luò)優(yōu)化計(jì)算提供了一個(gè)有效的方法。

1986年，D.E.Rumelhart和J.LMcclelland提出了誤差反向傳播算法，成為至今為止影響很大的一種網(wǎng)絡(luò)學(xué)習(xí)方法。

1987年美國(guó)神經(jīng)計(jì)算機(jī)專家R.Hecht—Nielsen提出了對(duì)向傳播神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有分類(lèi)靈活，算法簡(jiǎn)練的優(yōu)點(diǎn)，可用于模式分類(lèi)、函數(shù)逼近、統(tǒng)計(jì)分析和數(shù)據(jù)壓縮等領(lǐng)域。

1988年L.Ochua等人提出了細(xì)胞神經(jīng)網(wǎng)絡(luò)模型，它在視覺(jué)初級(jí)加工上得到了廣泛應(yīng)用。為適應(yīng)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展，1987年成立了國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)，并決定定期召開(kāi)國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議。1988年1月NeuralNetwork創(chuàng)刊。1990年3月IEEETransactiononNeuralNetwork問(wèn)世。

我國(guó)于1990年12月在北京召開(kāi)了首屆神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)大會(huì)，并決定以后每年召開(kāi)一次。1991年在南京成立了中國(guó)神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)。IEEE與INNS聯(lián)合召開(kāi)的IJCNN92已在北京召開(kāi)。這些為神經(jīng)網(wǎng)絡(luò)的研究和發(fā)展起了推波助瀾的作用，人工神經(jīng)網(wǎng)絡(luò)步入了穩(wěn)步發(fā)展的時(shí)期。

90年代初，諾貝爾獎(jiǎng)獲得者Edelman提出了Darwinism模型，建立了神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論。同年，Aihara等在前人推導(dǎo)和實(shí)驗(yàn)的基礎(chǔ)上，給出了一個(gè)混沌神經(jīng)元模型，該模型已成為一種經(jīng)典的混沌神經(jīng)網(wǎng)絡(luò)模型，該模型可用于聯(lián)想記憶。Wunsch在90OSA年會(huì)上提出了一種AnnualMeeting，用光電執(zhí)行ART，學(xué)習(xí)過(guò)程有自適應(yīng)濾波和推理功能，具有快速和穩(wěn)定的學(xué)習(xí)特點(diǎn)。

1991年，Hertz探討了神經(jīng)計(jì)算理論，對(duì)神經(jīng)網(wǎng)絡(luò)的計(jì)算復(fù)雜性分析具有重要意義；Inoue等提出用耦合的混沌振蕩子作為某個(gè)神經(jīng)元，構(gòu)造混沌神經(jīng)網(wǎng)絡(luò)模型，為它的廣泛應(yīng)用前景指明了道路。1992年，Holland用模擬生物進(jìn)化的方式提出了遺傳算法，用來(lái)求解復(fù)雜優(yōu)化問(wèn)題。

1993年方建安等采用遺傳算法學(xué)習(xí)，研究神經(jīng)網(wǎng)絡(luò)控制器獲得了一些結(jié)果。1994年Angeline等在前人進(jìn)化策略理論的基礎(chǔ)上，提出一種進(jìn)化算法來(lái)建立反饋神經(jīng)網(wǎng)絡(luò)，成功地應(yīng)用到模式識(shí)別，自動(dòng)控制等方面；廖曉昕對(duì)細(xì)胞神經(jīng)網(wǎng)絡(luò)建立了新的數(shù)學(xué)理論和方法，得到了一系列結(jié)果。HayashlY根據(jù)動(dòng)物大腦中出現(xiàn)的振蕩現(xiàn)象，提出了振蕩神經(jīng)網(wǎng)絡(luò)。

1995年Mitra把人工神經(jīng)網(wǎng)絡(luò)與模糊邏輯理論、生物細(xì)胞學(xué)說(shuō)以及概率論相結(jié)合提出了模糊神經(jīng)網(wǎng)絡(luò)，使得神經(jīng)網(wǎng)絡(luò)的研究取得了突破性進(jìn)展。Jenkins等人研究光學(xué)神經(jīng)網(wǎng)絡(luò)，建立了光學(xué)二維并行互連與電子學(xué)混合的光學(xué)神經(jīng)網(wǎng)絡(luò)，它能避免網(wǎng)絡(luò)陷入局部最小值，并最后可達(dá)到或接近最理想的解；SoleRV等提出流體神經(jīng)網(wǎng)絡(luò)，用來(lái)研究昆蟲(chóng)社會(huì)，機(jī)器人集體免疫系統(tǒng)，啟發(fā)人們用混沌理論分析社會(huì)大系統(tǒng)。

1996年，ShuaiJW’等模擬人腦的自發(fā)展行為，在討論混沌神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上提出了自發(fā)展神經(jīng)網(wǎng)絡(luò)。1997、1998年董聰?shù)葎?chuàng)立和完善了廣義遺傳算法，解決了多層前向網(wǎng)絡(luò)的最簡(jiǎn)拓樸構(gòu)造問(wèn)題和全局最優(yōu)逼近問(wèn)題。

2006年之后的進(jìn)展人們用CMOS創(chuàng)造了用于生物物理模擬和神經(jīng)形態(tài)計(jì)算的計(jì)算設(shè)備。最新的研究顯示了用于大型主成分分析和卷積神經(jīng)網(wǎng)絡(luò)的納米設(shè)備具有良好的前景。如果成功的話，這會(huì)創(chuàng)造出一種新的神經(jīng)計(jì)算設(shè)備，因?yàn)樗蕾囉趯W(xué)習(xí)而不是編程，并且它從根本上就是模擬的而不是數(shù)字化的，雖然它的第一個(gè)實(shí)例可能是數(shù)字化的CMOS設(shè)備。

在2009到2012年之間，Jürgen Schmidhuber在Swiss AI LabIDSIA的研究小組研發(fā)的循環(huán)神經(jīng)網(wǎng)絡(luò)和深前饋神經(jīng)網(wǎng)絡(luò)贏得了8項(xiàng)關(guān)于模式識(shí)別和機(jī)器學(xué)習(xí)的國(guó)際比賽。例如，Alex Gravesetal.的雙向、多維的LSTM贏得了2009年ICDAR的3項(xiàng)關(guān)于連筆字識(shí)別的比賽，而且之前并不知道關(guān)于將要學(xué)習(xí)的3種語(yǔ)言的信息。IDSIA的DanCiresan和同事根據(jù)這個(gè)方法編寫(xiě)的基于GPU的實(shí)現(xiàn)贏得了多項(xiàng)模式識(shí)別的比賽，包括IJCNN2011交通標(biāo)志識(shí)別比賽等等。他們的神經(jīng)網(wǎng)絡(luò)也是第一個(gè)在重要的基準(zhǔn)測(cè)試中（例如IJCNN2012交通標(biāo)志識(shí)別和NYU的揚(yáng)·勒丘恩（Yann LeCun）的MNIST手寫(xiě)數(shù)字問(wèn)題）能達(dá)到或超過(guò)人類(lèi)水平的人工模式識(shí)別器。

類(lèi)似1980年Kunihiko Fukushima發(fā)明的neocognitron和視覺(jué)標(biāo)準(zhǔn)結(jié)構(gòu)（由DavidH.Hubel和Torsten Wiesel在初級(jí)視皮層中發(fā)現(xiàn)的那些簡(jiǎn)單而又復(fù)雜的細(xì)胞啟發(fā)）那樣有深度的、高度非線性的神經(jīng)結(jié)構(gòu)可以被多倫多大學(xué)杰弗里·辛頓實(shí)驗(yàn)室的非監(jiān)督式學(xué)習(xí)方法所訓(xùn)練。

2012年，神經(jīng)網(wǎng)絡(luò)出現(xiàn)了快速的發(fā)展，主要原因在于計(jì)算技術(shù)的提高，使得很多復(fù)雜的運(yùn)算變得成本低廉。以Alex Net為標(biāo)志，大量的深度網(wǎng)絡(luò)開(kāi)始出現(xiàn)。

2014年出現(xiàn)了殘差神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)極大解放了神經(jīng)網(wǎng)絡(luò)的深度限制，出現(xiàn)了深度學(xué)習(xí)的概念。構(gòu)成典型的人工神經(jīng)網(wǎng)絡(luò)具有以下三個(gè)部分：1、結(jié)構(gòu)（Architecture）結(jié)構(gòu)指定了網(wǎng)絡(luò)中的變量和它們的拓?fù)潢P(guān)系。例如，神經(jīng)網(wǎng)絡(luò)中的變量可以是神經(jīng)元連接的權(quán)重（weights）和神經(jīng)元的激勵(lì)值（activities of the neurons）。2、激勵(lì)函數(shù)（Activation Rule）大部分神經(jīng)網(wǎng)絡(luò)模型具有一個(gè)短時(shí)間尺度的動(dòng)力學(xué)規(guī)則，來(lái)定義神經(jīng)元如何根據(jù)其他神經(jīng)元的活動(dòng)來(lái)改變自己的激勵(lì)值。一般激勵(lì)函數(shù)依賴于網(wǎng)絡(luò)中的權(quán)重（即該網(wǎng)絡(luò)的參數(shù)）。3、學(xué)習(xí)規(guī)則（Learning Rule）學(xué)習(xí)規(guī)則指定了網(wǎng)絡(luò)中的權(quán)重如何隨著時(shí)間推進(jìn)而調(diào)整。這一般被看做是一種長(zhǎng)時(shí)間尺度的動(dòng)力學(xué)規(guī)則。一般情況下，學(xué)習(xí)規(guī)則依賴于神經(jīng)元的激勵(lì)值。它也可能依賴于監(jiān)督者提供的目標(biāo)值和當(dāng)前權(quán)重的值。例如，用于手寫(xiě)識(shí)別的一個(gè)神經(jīng)網(wǎng)絡(luò)，有一組輸入神經(jīng)元。輸入神經(jīng)元會(huì)被輸入圖像的數(shù)據(jù)所激發(fā)。在激勵(lì)值被加權(quán)并通過(guò)一個(gè)函數(shù)（由網(wǎng)絡(luò)的設(shè)計(jì)者確定）后，這些神經(jīng)元的激勵(lì)值被傳遞到其他神經(jīng)元。這個(gè)過(guò)程不斷重復(fù)，直到輸出神經(jīng)元被激發(fā)。最后，輸出神經(jīng)元的激勵(lì)值決定了識(shí)別出來(lái)的是哪個(gè)字母。

• 相關(guān)深度報(bào)告REPORTS

  

  2023-2028年生食行業(yè)市場(chǎng)深度分析及發(fā)展規(guī)劃咨詢綜合研究報(bào)告

  生食即刺生（魚(yú)蝦，海鮮，生牛肉），蔬果，谷類(lèi)，不經(jīng)過(guò)烹飪直接生吃。生的食物保留毒素和營(yíng)養(yǎng)，促進(jìn)人體新陳代謝正?；?，除去各種廢棄物，幫助預(yù)防糖尿病、癌癥、肥胖、便秘等成人疾病，恢復(fù)并...

  查看詳情

延伸閱讀

推薦閱讀

猜您喜歡