BCI腦機介面意念打字準確率超99%，想為這項技術預留USB介面
腦機介面（BCI）又有新動態 ！
上次是馬斯克 Neuralink 公司實現了猴子用意念控制游標打遊戲。這次，斯坦福大學、霍華德休斯醫學研究所（HHMI）、布朗大學等團隊用 BCI 實現了癱瘓患者將腦中的 “筆跡” 轉化成螢幕字句。
“這項研究代表了 BCI 和機器學習技術發展的重要里程碑 ，相關研究正在揭示人腦如何控制像通訊這樣複雜的過程，為改善神經損傷和癱瘓者的生活提供了重要基礎。”
美國國立衛生研究院腦科學計劃（NIH BRAIN Initiative）主任約翰恩蓋（John Ngai）博士在接受媒體採訪時說道。
圖丨腦機介面 “手寫輸入” 過程（來源：Twitter）
研究人員開發了一種皮質內 BCI，首次對癱瘓患者書寫字母相關的神經訊號進行遞迴神經網路解碼，然後在電腦螢幕上實時顯示這些字母的打字版本。
圖丨
Nature
封面圖（來源：
Nature
）
5 月 12 日，相關研究以《透過手寫實現高效能意識文字轉換》“High-performance brain-to-text communication via handwriting” 為題發表在
Nature
，並且登上
Nature
封面。
該研究為 BCI 開闢了一種新方法，並證明了癱瘓患者在神經麻痺多年後仍可實現精準解碼、快速、靈巧運動。
圖丨相關論文截圖（來源：
Nature
）
首次實現解碼手寫 “筆跡”
該研究論文作者之一、HHMI 研究員克里希納謝諾伊（Krishna Shenoy）在接受媒體採訪時表示，
“此次研究的最大的創新是首次破譯了與手寫筆跡有關的大腦訊號，可以讓癱瘓患者不用手也能快速打字。”
據瞭解，該團隊的研究參與者是一位 65 歲的截癱患者，其手因脊髓損傷而癱瘓。透過使用該 BCI 技術，其字母輸入線上原始精度為 94。1％，離線通用精度為 99％以上。
圖丨實時手寫嘗試的神經解碼 （來源：
Nature
）
那麼，該技術是如何做到 “解讀” 大腦訊號的呢？
該技術的作用原理是 “兩個微小的植入電極陣列將控制手和手臂的大腦區域資訊傳遞給相關演算法”，該演算法將其轉換為出現在螢幕上的字母。
圖丨受試者手寫筆跡（來源：
NPG Press
）
首先，要求參與者複製螢幕上顯示的字母，其中包括 26 個小寫字母以及一些標點符號：“>” 用作空格，“” 用作句號。同時，植入的電極記錄了大約 200 個體神經元的大腦活動，這些神經元在大腦 “寫” 每個個體特徵時反應不同。
經過一系列培訓後，BCI 的計算機演算法學習瞭如何識別與單個字母相對應的神經模式，從而使參與者可以 “編寫” 以前未列印過的新句子，並且計算機可以實時顯示字母。
斯坦福大學 HHMI 研究科學家弗蘭克威利特（ Frank Willett）博士在接受媒體採訪時說：“這種方法是對現有通訊 BCI 的顯著改進，後者依賴於使用大腦在螢幕上移動游標來‘鍵入’單詞。嘗試寫每個字母會在大腦中產生獨特的活動模式，使計算機更容易以更高的準確性和速度來識別所寫的內容。”
圖丨嘗試手寫的神經表徵（來源：
Nature
）
其實，該技術的底層演算法邏輯與 Siri 有相似之處。例如，問 Siri “今天天氣如何”，Siri 經多次系統訓練、識別、解讀，最後做出反應。
簡單來講，首先提取腦電波訊號，然後生成視覺化影象處理，再對視覺化的影象對應進行訊號識別。
密西根州立大學生物醫學工程系助理教授李金星告訴 DeepTech，原始的視覺化影象並不代表就是最後識別的結果，研究人員透過一系列訓練，不斷對訊號進行修正和改善。識別的精準度從試驗初期的 30% 提升到了 99%。
李金星認為，該技術最大的突破是首次實現了用腦電波手寫打字。他進一步解釋，
“實現手寫字母的輸出是對非常靈巧的動作的解碼，使用者在想象字母的手寫筆跡時，腦電波的訊號比移動游標更加豐富，因此也更加精準。”
圖丨時間變化的增加可以使運動更容易解碼（來源：
Nature
）
除此之外，該技術還具有輸入速度快、使用靈活的優點。
速度快。
華中科技大學 AI 與自動化學院腦機介面與機器學習實驗室主任伍冬睿表示，該技術輸入速度是一大進步，可接近正常人在智慧手機的打字速度。研究中試驗者輸入速度是 90 字元 / 分鐘，而正常人在智慧手機的打字速度是 115 字元 / 分鐘。
目前，基於頭皮腦電（EEG）的 P300 或運動想象正規化的文字輸入速度約為 1-5 個字元 / 分鐘，穩態視覺誘發電位（SSVEP）正規化的速度可達 60 字元 / 分鐘。植入式腦機介面系統可控制二維游標移動來輸入文字，但是速度不超過 40 字元 / 分鐘。
使用靈活。
穩態視覺誘發電位輸入速度雖然也比較快，但是需要顯示器，而且使用者要非常專注地注視顯示器上閃爍的字元，而且眼睛被完全佔用，也易疲勞。
一般來說，其輸入速度（即每個字元閃爍多長時間）也是系統預先設定好的，而不是由使用者自主控制的。
“該技術可以讓使用者自己控制輸入速度，無需其他外在裝置配合，也可以把眼睛完全解放出來，因此更為靈活。”
伍冬睿說。
圖丨受試者實驗中（來源：
NPG Press
）
該技術雖然優勢明顯，但是在使用時還有一些困難需要克服。例如，怎樣識別 2 和 Z 這種非常相近的字元。
伍冬睿認為，解決該問題的的途徑可考慮以下兩點：
首先，對於比較相近的字元，可以設計一些替代字元。
比如，論文中提出了最佳化的字元，讓字元間差異儘量大一點，以更容易區分。如果 2 被設計成類似 “∩” 的形狀，就很容易與 Z 區分。
其次，結合上下文區分相近字元。
比如，字母 Z 的前後一般是其他英文字母，而 2 的前後可能是其他數字或空格。藉助這些上下文資訊，也有助於區分這兩個字元。
未來 BCI 有望實現更快、更精準
據媒體報道，研究團隊下一步將嘗試新系統，將手寫輸入文字作為新系統的一部分，該系統還包括點選導航，類似於當前智慧手機上使用的導航，包括嘗試語音解碼。
腦陸科技合夥人、AI 演算法負責人馬鵬程認為，BCI 意念打字可落地的方向與目標群體可明確分為兩類：
第一類是針對有運動障礙的群體，透過腦機介面裝置的輔助，利用意念打字功能實現與外界無障礙交流與溝通，解決核心的通訊與控制問題；
第二類是正常人群的高效互動工具需求，意念打字成為與文字輸入、語音輸入並行的新的互動方式，
或許會成為社會變革、推動下一輪技術革命最重要的導火索。
圖丨腦機介面（來源：Pixabay）
而該研究想要進一步落地發展，從技術角度，還需要不斷完善。
該研究目前只在一位使用者上實驗成功，能否推廣到更多使用者還需要進一步驗證。
實際上，該研究中的 T5 使用者是之前實驗中 3 個使用者中效果最好的使用者，所以被用來做這個實驗。“如果其他使用者也參與本實驗的話，可能效果會差一些。” 伍冬睿說。
李金星表示，該技術的未來研究需要考慮個體差異性。每個人的腦電波訊號可能不太一樣，所以，未來需要深度學習和技術資料不斷升級以及更多的臨床案例研究。
字元精準度需進一步提升。
本研究使用了 26 個英文字元和 5 個特殊字元，共 31 個字元。“實際中常用的字元比這些要多，比如 10 個數字就沒有被考慮進去。更大的字符集應該會降低準確度。” 伍冬睿說。
實現輸入的複雜功能。
當前實驗不管結果對錯，使用者都繼續輸入。而正常的文字編輯中，使用者需要糾正錯誤。如何實現游標跳轉、刪除、插入等更復雜的功能，是需要進一步考慮的問題。
腦電訊號易用性的提升。
腦電訊號並非平穩，該系統每次使用前需要重新校準，會花費使用者的時間和精力。該技術需要更好的演算法以縮短甚至消除校準，提高易用性。
提高電極質量，降低手術風險。
該技術需要精密手術植入式電極，但是因為人體排異反應，該類電極並非一勞永逸，使用一段時間後訊號質量會下降，需要重新植入，增加了手術風險和使用者花費。“提高電極質量，降低排異反應，對該技術大規模應用是非常重要的。” 伍冬睿表示。
裝置的小型化與無線。
裝置小型化和無線化將有利於使用者運動、操作的便利性。
伍冬睿認為，
未來三到五年，隨著電極壽命、靈敏度和密度的進一步提高，以及解碼演算法的進一步發展，該技術有望更快、更準確。
談及產業化落地，馬鵬程表示，以我們在各行業 AI+BCI 的大規模實際應用經驗角度來看，AI 結合腦機介面技術（侵入式及非侵入式）實現意念打字，在構建高質量的大規模模型訓練資料集後，結合實際的意念打字需求的使用場景進行產品設計。
“我認為，應該能很快研發出可實際應用的腦機意念打字產品。未來產業化的速度有可能超出我們所有人的想象。”
圖｜植入大腦的微型電極陣列（來源：BrainGate）
如果未來腦機介面技術成熟，將會怎麼樣呢？
李金星表示，短期來看，腦機介面的下一個突破也許會在非侵入的輸入技術發展，透過腦刺激將外界訊號傳遞給大腦，從而實現對神經系統損傷疾病（如帕金森、癲癇等）以及心理疾病（如抑鬱症、自閉症等）的緩解作用。
他認為，從長遠來看，也許人類只需要大腦而存在，可能會真正實現“人機共融”。
