如何利用BCI來進行大腦想象手寫進行文本輸出

如何利用BCI來進行大腦想象手寫進行文本輸出，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。

腦機接口(BCI)可以幫助失去行動或說話能力的患者恢復交流能力。迄今為止，腦機接口研究的一個主要熱點是恢復身體肌肉動作技能，例如用觸摸和握緊或2D電腦光標點擊輸入。然而，高度靈巧的行為(如手寫或觸摸打字)可能需要更快的通信速度。

靠意念輸入漢字

此前有報道表示香港中文大學成功研發出一個“腦機界面”系統，它能將腦電波轉換成繁體中文字，讓全身癱瘓無法說話的病人，有機會“打開心窗”。這套系統在香港中央圖書館首次展出，吸引了大批好奇的市民。

病人戴上有16個接觸面的無線腦電波接收器，盯住電腦屏幕，橫豎撇捺勾五個筆畫輪流閃亮，病人心里想著要寫的筆畫，接收器便能收到選擇筆畫的指令，將中文字逐筆寫出來。

看似神奇的“意念輸入法”，原理其實很簡單。詹姆斯介紹，人看到自己想要輸入的筆畫閃亮時，會產生心理刺激，此時大腦會釋放出腦電波。譬如想輸入一個“橫”，當屏幕上的“—”亮起時，大腦就釋放腦電波，系統捕捉腦電波并反饋給電腦軟件，完成輸入一筆“橫”。然后再依次輸入其他筆畫，依靠軟件的聯想功能，屏幕上也會不斷出現文字或詞組，供使用者選擇。

2013年發的一篇文章，發現了人們在處理不同的文字和信息的時候，大腦中的不同腦區會有組合性的不同反應。就是《Nature》上面發過的一篇文章，說我們人類在想一個單詞或者是文字的時候，我們大腦的不同腦區是有一個不同的對應。現在也開發了一些簡單的應用，可以用大腦直接輸入一個簡單的數字，在通過大量的訓練的情況下。

導讀

在一項研究中，研究人員展示了一種腦皮層內腦機接口，它可以利用一種新的遞歸神經網絡解碼方法，從運動皮層的神經活動中解碼想象的書寫動作，并將其實時翻譯成文本。憑借這個BCI，該項研究的參與者(手癱瘓)的打字速度超過了其他任何一個BCI的打字速度:每分鐘90個字符，準確率達到99%，并且具有通用自動校正功能。

可以說，這樣的打字速度與項目中參與者所在年齡組的健全智能手機打字速度(每分鐘115個字符)相媲美了，并且大大縮小了啟用BCI的打字速度與智能打字速度之間的差距。

研究人員表示，該項目的研究結果為BCI打開了一種新的方法，并證明了在癱瘓數年后能夠精確解碼，快速、靈巧動作的可行性。

實驗過程

研究人員經過對BCI領域大量的調研發現，癱瘓后運動皮質中的運動意圖（例如抓取或移動電腦光標）仍通過神經編碼。諸如手寫之類的靈巧運動技能也保持不變。研究人員通過記錄中央前回手“knob”區域中兩個微電極陣列的神經活動來測試這一點，同時項目實驗的參與者T5嘗試手寫單個字母和符號(圖1A)。T5有高位脊髓損傷，從頸部以下癱瘓。我們指導T5“嘗試”像他的手沒有癱瘓一樣寫字(同時想象他拿著一支筆在一張格子紙上)。

研究人員使用主成分分析將記錄的神經活動(multiunit threshold crossing rates，多閾值交叉率)降低到包含最大方差的前3個維度(圖1B)。盡管各個試驗中神經活動的高峰和低谷時間不同（可能是由于書寫速度的波動），但神經活動似乎很強且可重復。

研究者讓參與者T5嘗試按照電腦屏幕上的指示一次手寫一個字符，如下圖1A中所示，下面的面板按照時間線描述屏幕上顯示的內容。并通過調整神經活動的時間來消除書寫速度的反復變化，研究者發現每個字母的活動模式是一致的。

圖1 手寫運動時的神經編碼

上圖1為手寫操作的神經編碼。

(A)參與者T5嘗試按照電腦屏幕上的指示一次手寫一個字符。

(B) 顯示了三個示例字母(d, e和m)和每個字母的27次重復(“試驗”)的前3個主成分(PCs)的神經活動。顏色尺度在每個面板中分別歸一化，以便可視化。

(C)通過調整神經活動的時間來消除書寫速度的反復變化。在C上方的插圖中，示例時間翹曲函數顯示為字母“m”，并且相對接近于恒等線(每次試驗的翹曲函數用不同顏色的線繪制)。

實驗中顯示31個測試字符的解碼鋼筆軌跡:26個小寫字母、逗號、撇號、問號、斜杠(~)和大于號(>)，如下圖D所示。預期的2D筆尖速度通過交叉驗證從神經活動中線性解碼(每個字符都被顯示出來)。解碼后的速度在整個試驗中平均，并進行整合以計算筆軌跡(橙色圓圈表示軌跡的開始)。

(E)利用t-SNE繪制的神經活動的二維可視化圖。每個圓圈都是一個單獨的試驗(31個字符中的每一個對應27個試驗)。

圖1 手寫運動時的神經編碼

在該項研究中，研究者設計了一套解碼流程，算法示意圖如下圖A。首先，神經活動(多閾值交叉)進行時間分檔（20 ms分檔）并在每個電極上進行平滑處理。然后，遞歸神經網絡（RNN）將此神經種群時間序列(xt)轉換為描述每個字符的可能性和任何新字符開始的可能性的概率時間序列(pt-d)。 RNN有一秒鐘的輸出延遲（d），它有時間觀察完整字符，然后在進行識別。最后，對字符概率進行閾值處理，以產生用于實時使用的“原始輸出”(當“新字符”概率在t時刻超過一個閾值時，最有可能在t+0.3時刻發出字符)。在一個離線的回顧性分析中，字符概率與一個大詞匯量的語言模型結合在一起來解碼參與者最可能寫的文本(研究人員使用一個定制的50,000字的雙向字符模型)。

圖2.手寫嘗試的實時神經解碼

在上圖B中，顯示了兩個實時示例試驗，表明RNN能夠解碼從未訓練過的句子中易于理解的文本。錯誤以紅色突出顯示，空格用“>”表示。 (C)顯示錯誤率(編輯距離)和打字速度，為期5天，每個階段有4個block，每個block包含7-10個句子（每個block用一個圓圈表示）。該速度是第二快的皮質內BCI7的兩倍以上。

研究人員分析了16個手寫字符(持續1秒)和16個手寫直線運動(持續0.6秒)對應神經活動的時空模式如下圖A，并通過對給定運動的所有試驗(aftertime-warping to align the trials in time)進行平均，發現了時空神經模式。然后，神經活動被重新采樣以平衡每組動作的持續時間(否則直線運動的持續時間會更短)，得到每個動作的192 x 100矩陣(192個電極和100個時間步)，如圖3B。

上圖(C)為每一組計算神經模式之間的成對歐幾里得距離，揭示字符更大的最近鄰距離(但不是平均距離)。每個圓圈代表一個移動，條形高度表示平均值。(D)較大的最近鄰距離使字符比直線更容易分類。噪聲以標準偏差為單位，并且與距離的大小匹配。(E) 字符和直線的空間維數相似，但字符的時間維數高兩倍，表明更復雜的時序模式構成最近鄰距離的增加和更好的分類性能。誤差條顯示了95% CI (bootstrap百分位數法)。維度被定義為參與比率，它近似等于解釋80%的變量所需的維度數。(F,G, H)一個玩具例子可以直觀地說明增加的時間維度如何使神經軌跡更加可分離。畫出了四個神經軌跡(N1和N2是兩個假設的神經元，它們的活動被限制在一個空間維度，即單位對角線上)。通過增加一個彎曲允許軌跡隨時間變化(將時間維度從1增加到2)，可以實現更大的最近鄰居距離(G)和更好的分類(H)。

研究結論

這些結果表明，時變運動模式（例如手寫字母）從根本上比點對點運動更容易解碼，因此可以實現更高的通信速率。這個概念可以更廣泛地應用于改進任何BCI，使其能夠在一組選項之間進行離散選擇(通過將這些選項與隨時間變化的手勢相關聯，而不是簡單的動作)。利用最大化運動之間最近鄰距離的原則，為了便于分類，可以優化一組軌跡(就像以前優化目標位置時所做的那樣)。

研究人員為此進行了相應的探索，并設計了一個字母表，理論上比拉丁字母表中的字母更容易分類(圖4)。研究人員的發現，從神經解碼的角度揭示了拉丁字母的一個缺點：大量的冗余字母以相似的方式書寫（大多數字母以向下筆劃或逆時針的旋開始）。

看完上述內容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注億速云行業資訊頻道，感謝您對億速云的支持。