科學家通過訓練神經假體植入物來解碼一名不會說話的中風幸存者的雙語大腦活動，使其能夠用西班牙語和英語進行交流。
這項研究發表在《自然生物醫學工程》上，來自加利福尼亞大學舊金山分校教授 Dr. Edward Chang 博士的實驗室，它建立在他 2021 年對同一名患者進行的開創性研究的基礎上，該研究證明了將嚴重癱瘓患者的大腦活動轉化為文字的功效。
在最新的研究中，神經假體解碼了同一個人——Pancho——的大腦活動，并使用雙語人工智能模型將大腦活動轉化為西班牙語或英語單詞，這取決于 Pancho 打算用哪種語言交流，然后，他的單詞和句子被投影到計算機屏幕上。
這兩項研究都為無法說話或依賴觸摸屏或眼動監測設備進行交流的人提供了遠不那么繁重的交流承諾。這些結果也是在潘喬身上神經假體最初植入四年后得出的，突顯了該技術的壽命及其潛在的長期影響。
這項研究的一個關鍵組成部分是 Pancho 的雙語能力。為了區分他打算用西班牙語和英語進行的交流，研究人員使用了一個用兩種語言訓練的人工智能模型來跟蹤 Pancho 大腦中負責發音的部分的神經活動。
研究人員使用NVIDIA cuDNN-加速的 PyTorch 框架和NVIDIA V100 GPUs。神經假體植入 Pancho 的大腦表面，但不植入大腦內部，用于區分西班牙語或英語交流的大腦活動。
當潘喬先用西班牙語然后用英語閱讀并試圖發音單詞時，科學家們記錄了他的大腦活動，并訓練模型將西班牙語單詞的大腦活動翻譯成英語單詞，反之亦然。或者，正如他們在論文中所寫，他們使用一種語言記錄的神經數據來改進另一種語言的解碼。
在對潘喬的大腦活動進行訓練后，人工智能模型以 75%的準確率解碼了他的句子。
隨著時間的推移，該模型使研究人員和 Pancho 能夠進行無腳本的對話。該研究的主要作者 Alexander Silva 告訴《自然》雜志，“在我們第一次做這些句子后，有幾分鐘我們都在微笑。”
這項研究的一個重要發現是，它對理解大腦在試圖通過語言交流時的功能有著重要意義。早期的神經科學研究表明，不同語言的交流起源于大腦的不同部分，但是這項研究表明，不同語言的語音產生源于大腦的同一區域。
這項研究還強調了生成性人工智能模型如何隨著時間的推移學習、改進和適應新的訓練數據，在將大腦活動準確轉化為口語方面發揮關鍵作用。
閱讀《自然生物醫學工程》雜志上的完整研究論文。
閱讀張博士的原創研究，關于將腦電波轉化為文字：將腦電波轉化為文字。
在《自然》雜志的文章中了解更多關于張博士的研究。
使用GitHub上的可用數據重新創建研究中的主要圖形。
