人工智能讀心術

大數據文摘出品

編譯：張秋玥、笪潔瓊

對於許多無法發出聲音的人來說，他們想說的話會通過某種信號隱藏在大腦中。

人類無法直接破譯這些信號。但是，最近有三個研究小組在“破譯”這種大腦語言密碼上取得了一定進展。

Science雜誌最新報導了哥倫比亞大學（Columbia University）、德國不萊梅大學（Bremen）和加州大學舊金山分校的三個研究小組的相關研究：通過手術，他們在大腦上放置電極，搜集電極產生的數據，再將其通過電腦變成語音資訊；接著通過神經網絡模型，他們重建了在某些情況下，可以被人類聽眾所理解的單詞和語句。

通過電腦讓失去語言能力的人表達自己並不罕見，物理學家史蒂芬·霍金在世時，就會通過拉緊他的臉頰肌肉，以觸發安裝在眼鏡上的開關。對於經歷中風或其他疾病失去說話能力的人，他們可以使用他們的眼睛或做出其他小幅動作用來控制游標或選擇螢幕上的字母。

但是，如果腦機接口直接重塑語音，這樣的患者可能會重新獲得更多曾經喪失的能力：例如，控制音調變化，或者介入一個快速的對話。

研究該問題的路線困難重重。哥倫比亞大學（Columbia University）電腦科學家Nima Mesgarani說：“我們正試圖找出在不同時間點打開與關閉神經元的模式，並由此推斷語音內容。” “神經元間的映射並不淺顯直白。” 這些信號如何轉換為語音聲音因人而異，因此模型必須針對每個人進行獨特“訓練”。

這些模型將在非常精確的數據上表現最好——而搜集這些精準的數據需要打開我們的頭蓋骨。

研究人員只能在極少數情況下才會進行此類危險性記錄：一種情況是在移除腦腫瘤期間，暴露在外的大腦產生的電讀數能夠幫助外科醫生定位以避開關鍵的語音及運動區；另一種情況是在手術前為癲癇患者植入電極並保持數天以確定癲癇發作起因。

瑞士日內瓦大學神經工程師Stephanie Martin表示說，“我們最多只有20分鐘，最多30分鐘來收集數據——真的非常非常受限。”

新論文背後的研究組盡量最大化利用數據、將資訊提供給神經網絡；神經網絡通過將資訊傳遞到計算“節點”層來處理複雜的行為模式。網絡通過調整節點之間的連接來學習。本實驗則使用人類產生或聽到的語音以及與此同時大腦活動的數據來訓練神經網絡。

Mesgarani的團隊的研究使用了五名癲癇患者的數據。

隨著病人們聽到故事錄音以及0至9數字錄音，他們的神經網絡同步分析其聽覺皮層（該皮層在語音和聽力過程中都很活躍）活動。隨後電腦僅根據神經數據來重新生成數字。有一組聽眾會在電腦“說出”數字同時對其進行評估；其精確度大約為75%。

聲音聽起來有些可怕，

但是仔細聽仍可以辨認出數字

基於人類聽到口述數字時腦活動記錄的電腦重建

由德國不萊梅大學（Bremen）電腦科學家Tanja Schultz長官的另一個團隊使用了六名接受腦腫瘤手術的人的數據。

他們讓被測試者朗讀單音單詞，用麥克風捕捉他們的聲音。同時，大腦的語音規劃區和運動區產生的電極會被記錄下來（這些電極向聲道發送命令以清楚地表達單詞）。

現在正與馬斯特裡赫特大學（Maastricht）合作的電腦科學家Miguel Angrick和Christian Herff訓練了一個將電極讀數映射到錄音然後從以前看不見的大腦數據中重建單詞神經網絡。根據一項電腦評分系統，大約40％的電腦生成單詞是可以理解的。

最後，加州大學舊金山分校的神經外科醫生Edward Chang和他的團隊根據由三名癲癇患者大聲朗讀語音引起的、從語言及運動區域捕獲的大腦活動，重建了整個句子。

在線上測試中，有166人聽懂了其中一個句子，並從10項文字選項中進行選擇。超過80％的情況下模型都能夠正確識別句子。研究人員還進一步改進了模型：他們使用它根據人類的唇語來重新創建句子。Herff說，這是一項重要的結果——“離我們所有人都設想到的‘語言修複’更近了一步。”

然而，“我們真正想知道的是當患者不能說話時，（這些方法）將能夠如何起作用”，加州聖地亞哥州立大學研究語言生成的神經科學家Stephanie Riès說。

一個人默默說話或在自己腦中聽到自己聲音時的信號，與真正說話或聽到某些內容時產生的信號並不是完全相同的。如果沒有外部聲音來匹配大腦活動，電腦甚至可能連理清內部語音開始與結束位置這種任務都很難完成。

奧爾巴尼紐約州衛生部國家自適應神經技術中心的神經工程師Gerwin Schalk說，解碼大腦中的演講將需要“科學大躍進”：“根本不清楚如何做到這一點。”

Herff說，有一種可能的方法，是向大腦-電腦互動界面的用戶提供反饋：如果他們能夠實時聽到電腦的語音解釋，他們可能能夠即時調整他們的想法以獲得理想結果。

通過對用戶和神經網絡的充分訓練，大腦和電腦可能最終能達成一致。

相關報導：

https://www.sciencemag.org/news/2019/01/artificial-intelligence-turns-brain-activity-speech?fbclid=IwAR0bYvZRQQArCULCmbmboMNUDOw9lONPiJGObWagma6tDNuNQIl5oHhHKw4

志願者介紹