技術(shù)
導(dǎo)讀:神經(jīng)網(wǎng)絡(luò)可以說(shuō)是 AI 熱潮中最璀璨的一顆明珠,它可以處理大量的數(shù)據(jù),也可以識(shí)別語(yǔ)音或者圖像,而且都可以達(dá)到幾乎完美的精度。
神經(jīng)網(wǎng)絡(luò)可以說(shuō)是 AI 熱潮中最璀璨的一顆明珠,它可以處理大量的數(shù)據(jù),也可以識(shí)別語(yǔ)音或者圖像,而且都可以達(dá)到幾乎完美的精度。
但目前神經(jīng)網(wǎng)絡(luò)的問(wèn)題在于:這種基于人腦結(jié)構(gòu)的網(wǎng)絡(luò)模型是構(gòu)建在軟件而非硬件上的,而軟件在傳統(tǒng)的計(jì)算機(jī)芯片上運(yùn)行。換句話說(shuō),相對(duì)緩慢的傳統(tǒng)硬件架構(gòu)限制了神經(jīng)網(wǎng)絡(luò)的發(fā)揮。
圖丨筆跡數(shù)據(jù)集
而 IBM 研究表明,將神經(jīng)網(wǎng)絡(luò)的關(guān)鍵部分直接構(gòu)建在硅晶體上可以將效率提升百倍。這種直接將神經(jīng)網(wǎng)絡(luò)包含在硬件上的芯片在未來(lái)幾年或?qū)O大促進(jìn)機(jī)器學(xué)習(xí)的發(fā)展。
與寫(xiě)在軟件里的神經(jīng)網(wǎng)絡(luò)類(lèi)似,IBM 芯片亦是模仿生物大腦中連接各個(gè)神經(jīng)元的突觸,通過(guò)調(diào)節(jié)突觸連接的強(qiáng)度來(lái)讓神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。在生物大腦中,神經(jīng)元間的連接會(huì)隨著時(shí)間生長(zhǎng)或消亡,這正是學(xué)習(xí)的過(guò)程。這個(gè)過(guò)程很容易在軟件中實(shí)現(xiàn),但難以在硬件中實(shí)現(xiàn)。而 IBM 芯片的出現(xiàn)改變了這一現(xiàn)狀。
在《自然》雜志發(fā)表的一篇研究論文中,IBM 研究人員展示了微電子突觸。他們的研究靈感來(lái)自神經(jīng)科學(xué),通過(guò)使用長(zhǎng)期和短期兩種突觸,長(zhǎng)期突觸用于記憶,短期突觸用于計(jì)算。美國(guó)科學(xué)和技術(shù)研究院的研究員 Michael Schneider 目前從事受神經(jīng)科學(xué)啟發(fā)的計(jì)算機(jī)硬件的研究。他說(shuō)這種雙類(lèi)突觸的方法解決了一些在硅晶體中構(gòu)建神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問(wèn)題,其中最值得注意的是精度過(guò)低的問(wèn)題,正是這些問(wèn)題過(guò)去耗費(fèi)了研究者們大量的時(shí)間和精力。
研究人員測(cè)試了用兩個(gè)簡(jiǎn)單的圖像識(shí)別任務(wù)來(lái)構(gòu)建的神經(jīng)網(wǎng)絡(luò),一個(gè)是手寫(xiě)文字識(shí)別,另一個(gè)是彩色圖片分類(lèi)。測(cè)試結(jié)果表明硬件神經(jīng)網(wǎng)絡(luò)的精度與軟件神經(jīng)網(wǎng)絡(luò)相當(dāng),但其耗能僅為軟件神經(jīng)網(wǎng)絡(luò)的百分之一。
這項(xiàng)研究發(fā)現(xiàn)的意義并不只在 AI 技術(shù)而已。如果這項(xiàng)研究最終能用于生產(chǎn),意味 IBM 下對(duì)了賭注。盡管目前 IBM 不銷(xiāo)售計(jì)算機(jī)芯片,但他們一直在投資研究計(jì)算機(jī)硬件,試圖發(fā)明出全新微電子元件,并推動(dòng)公司進(jìn)一步的發(fā)展。這項(xiàng)神經(jīng)網(wǎng)絡(luò)的新技術(shù)或許就是第一步,它使機(jī)器學(xué)習(xí)更加高效,并且更易于部署在智能手機(jī)等小型設(shè)備上。
Schneider 表示:“能耗有一百倍的優(yōu)化,對(duì)于全連接層的訓(xùn)練速度也快一百倍,這樣的目標(biāo)當(dāng)然值得進(jìn)一步的努力。”然而,并非每個(gè)人都買(mǎi)這項(xiàng)研究發(fā)現(xiàn)的賬。斯坦福大學(xué)計(jì)算機(jī)體系結(jié)構(gòu)研究員 Kwabena Boahen 說(shuō),這項(xiàng)研究讓他想起一種名為“憶阻器”的可調(diào)式晶體管,這種晶體管有點(diǎn)類(lèi)似于突觸,曾幾何時(shí)也有鋪天蓋地的宣傳和熱度,然而十多年來(lái)這項(xiàng)技術(shù)卻無(wú)甚發(fā)展。
IBM 芯片的設(shè)計(jì)相對(duì)笨重,它由五個(gè)晶體管和三個(gè)其他組件組成,如果是普通芯片就只會(huì)有一個(gè)晶體管。另外,迄今為止該系統(tǒng)的某些部分僅進(jìn)行了仿真測(cè)試,IBM 仍然需要制作一個(gè)完整的芯片并進(jìn)行實(shí)際測(cè)試才行。雖然有一些問(wèn)題亟待解決,但對(duì)于實(shí)現(xiàn)“AI 芯片計(jì)算機(jī)”來(lái)說(shuō),這項(xiàng)研究仍然可能是重要的一步,也是受生物學(xué)啟發(fā)的一步。