參與者說出50句話時會收集他們的神經活動。機器學習算法可以預測所收集數據的含義。該系統(tǒng)的精度各不相同，但結果令人鼓舞。

這只是一個開始，但是卻非常令人興奮：將大腦活動轉化為文本的系統(tǒng)。對于那些無法說話的人，例如患有鎖定綜合征的人，這將改變生活。目前，這有點像看大霧，但是舊金山加利福尼亞大學Chang實驗室的研究人員已經訓練了一種機器學習算法，可以從神經元數據中提取含義。該研究的合著者約瑟夫·馬金(Joseph Makin)告訴《衛(wèi)報》：“我們還沒有到那兒，但是我們認為這可能是言語假肢的基礎。”該研究發(fā)表在《自然神經科學》雜志上。

為了訓練他們的AI，Makin和合著者Edward F. Chang試聽了四名參與者的神經活動。作為癲癇病患者，每個參與者都植入了腦電極以監(jiān)測癲癇發(fā)作。

向參與者提供了至少要朗讀三遍的50句話。正如他們所做的那樣，研究人員收集了神經數據。(還進行了錄音。)

該研究列出了參與者列舉的少數句子，其中包括：

“那些音樂家和諧地融為一體。”“她穿著溫暖的羊毛羊毛工作服。”“那些小偷偷走了三十顆珠寶。”“廚房里亂七八糟。”

該算法的任務是分析收集的神經數據，并預測何時生成數據。(與參與者音頻記錄中捕獲的非語言聲音相關的數據首先被剔除。)

研究人員的算法很快就學會了預測與神經數據塊相關的單詞。AI預測說出“一只小鳥在看著騷動”時生成的數據將意味著“那只小鳥在看著騷動”非常接近，而“用梯子救貓和那只男人”被預測例如，“將使用哪個梯子來營救貓和人?！?/p>

準確性因參與者而異。Makin和Chang發(fā)現，基于一個參與者的算法在訓練另一個參與者方面具有先機，這表明隨著時間的推移和重復使用AI的訓練會變得更加容易。

衛(wèi)報與專家克里斯蒂安·赫爾夫(Christian Herff)進行了交談，后者發(fā)現該系統(tǒng)令人印象深刻，因為它為每個參與者使用不到40分鐘的訓練數據，而不是其他嘗試從神經數據中提取文本所需的大量時間。他說：“通過這樣做，它們可以達到迄今為止尚未達到的精確度?！?/p>

先前從神經活動中獲取語音的嘗試主要集中在構建語音的音素上，而Makin和Chang則專注于整體單詞。該研究說，盡管肯定有比音素更多的單詞，因此這構成了更大的挑戰(zhàn)，“連續(xù)語音中任何特定音素的產生都受到其前音素的強烈影響，從而降低了其可分辨性?！?為了最大程度地降低基于單詞的方法的難度，口頭句子總共使用了250個單詞。

顯然，還有改進的空間。AI還預言“那些音樂家很棒的和諧”是“菠菜是著名的歌手”?！八┲鴾嘏难蛎蛎ぷ鞣北徽`認為“綠洲是海市rage樓”?！澳切┬⊥低底吡巳w珠寶”被誤解為“哪個劇院放映了鵝媽媽”，而算法預測的數據“廚房里亂了”表示“有幫助他偷了餅干”。

當然，這項研究涉及的詞匯是有限的，句子范例也是如此。Makin指出，“如果您嘗試使用的[50個句子]之外，解碼會變得更加糟糕。” 另一個明顯的警告來自這樣一個事實，即AI是根據每個參與者大聲說出的句子來訓練的，這對于被鎖定的患者是不可能的。

Makin和Chang的研究仍然令人鼓舞。對于其中一位參與者的預測，只需進行3%的微小修正即可。這實際上比人類轉錄中發(fā)現的5%錯誤率要好。