眨眼就能照相？哈佛從神經信號提取出圖像，成果登Nature|天天亮點

將肉眼直接用來“照相”，也許將成為可能……

哈佛團隊推出的新模型能夠分析神經信號，甚至從視覺皮層中直接提取影像。

相比于傳統神經解析工具，這項成果大大提高了識別效率和連續性。

【資料圖】

Nature的編輯也評價它“十分優雅”：

這款模型名叫CEBRA（發音同zebra），是將對比式學習與非線性獨立分析相結合的產物。

一名團隊成員表示，這個名字十分貼切，因為CEBRA可以把信息“條紋化”，就像斑馬一樣。

在小鼠身上進行的實驗中，CEBRA視頻解析的準確率超過了95%。

團隊還發現，CEBRA在跨越大鼠和小鼠兩個物種時的表現具有一致性。

所以可以展望CEBRA在其他物種上的應用，說不定人眼攝像機也會成為可能。

論文通訊作者也表示，未來的目標是將CEBRA集成到腦機接口中：

本質上，CEBRA是一個神經信號解析模型。

所以它的技能不只有圖像獲取，只要和神經信號有關的事情，它都能做。

比如根據神經活動來預測肢體的運動行為。

還可以根據神經信號判斷肢體活動是主動還是被動做出。

對比式非線性學習

行為或神經數據的降維壓縮一直是神經信號識別中不可缺少的一環。

研究團隊將對比式學習引入非線性獨立成分分析模型，提出了新的框架。

對比式學習是一種強大的自驅動學習方式，使用呈現對比關系的樣本進行訓練，以發現數據間的共性與個性。

用CEBRA的模型訓練神經網絡，可以得到一種編碼器。

這種編碼器則可以生成由動作或時間調控的低維嵌入空間。

具體而言，是通過將離散或連續的變量與時間相結合使數據對得到分布，然后再交由編碼器處理。

CEBRA獲取神經活動嵌入時同時使用用戶定義（監督驅動、假設式）和只帶有時間（自驅動、發現式）的標簽。

這一過程中，CEBRA將行為及時間標簽與神經信號一并優化，映射到低維嵌入空間。

根據數據集大小的不同，優化計算可以采用批量計算、隨機梯度下降等不同方式。

優化后得到的低維嵌入既可以用于數據可視化，也可以在解碼等下游工作中使用。

相比于傳統的非線性降維方式，對比式訓練無需生成模型，適用廣泛性更強。

魯棒性與實用性兼具

在事實信息重構的測試中，CEBRA的表現顯著優于pi-VAE。

然后，團隊又使用了一個海馬數據集進行測試，該數據集被用來作為神經嵌入算法的基準。

在這一輪測試中，團隊賦予了pi-VAE卷積網絡加持，但最終結果仍是CEBRA更勝一籌。

魯棒性方面，團隊使用了代數拓撲學方法進行測試。

將CEBRA生成的低維嵌入投影到球面，團隊發現了一個環形拓撲結構。

通過計算Eilenberg-MacLane坐標發現，CEBRA的環形拓撲結構與（真實）空間跨維度匹配。

至于跨個體甚至物種的表現，團隊在訓練時就使用了包含多種動物的數據集。

測試結果也表明，CEBRA生成的結果具有很高的個體間和種間一致性。

與完全在未見過的個體上進行訓練相比，CEBRA的結果錯誤更少、效率也更高。

實際應用中，團隊在小鼠身上進行了實驗。

他們讓小鼠反復觀看幾段視頻，并與小鼠視覺皮層的信號一并作為訓練數據。

另有一些視頻則用作測試數據，結果顯示，CEBRA視頻解析的準確率超過了95%，遠高于其他模型。

論文地址：https://www.nature.com/articles/s41586-023-06031-6

項目主頁：https://github.com/AdaptiveMotorControlLab/CEBRA

關鍵詞：