本文來自微信公眾號：未盡研究（ID：Weijin_Research），作者：周健工，原文標題：《谷歌做出了使喚機器人的ChatGPT，一個具身智能的大模型 | 預研》，題圖來自：《人工智能（2001）》

【資料圖】

此岸的ChatGPT還沒有出來，彼岸開始盯著下一代ChatGPT了。

這就是對物理世界有感知的ChatGPT。它可以直接接受人類的語言指令，就像與人類自然地對話那樣，用動作與人類互動。

谷歌在被ChatGPT偷襲，被微軟挑戰戲弄，并且自賦“紅碼”三個月之后，放出了的一個大招。它推出了一個視覺語言模型PaLM-E，參數達到5620億個，集成了視覺和語言，用于機器人控制。

相比大語言模型（LLM），它被稱為視覺語言模型（VLM）。VLM與LLM不同之處，在于它對物理世界有感知。

從楊立昆到馬庫斯，都一直在批評ChatGPT并非人工智能的發展方向，因為它只是一個“單詞預測的機器”，并不理解語言的含義，不了解物理世界，也不知道什么是真相。

1950年，圖靈在他的論文《Computing Machinery and Intelligence》中首次提出了具身智能的概念。去年10月，楊立昆和本吉奧兩位圖靈獎獲得者，聯名一批致力于機器學習與神經科學結合研究的科學家，發表了催化NeuroAI革命的宣言：《通往下一代人工智能》。

他們提出具身圖靈測試（The Embodied Turing Test）作為NeuroAI的終極挑戰，其核心在于高級感覺運動能力，具體包括與世界互動、動物行為的靈活性、能源效率等特征。

所謂具身智能，是指具有身體體驗的智能。所有的生物都是通過身體逐步產生智能的，只有沿著具身智能的方向，才會接近智能的本質。

當人工智能不僅僅是“耍嘴皮子”，而是身體力行地與周邊環境互動，并且不斷適應時，才形成了完整的智能。思想實驗的“缸中之腦”，只能給人帶來驚悚。

根據谷歌的說法，當給出一個高級命令時，比如“把抽屜里的米片拿給我”，PaLM-E可以為一個有手臂的移動機器人平臺（由谷歌機器人開發）生成一個行動計劃，然后機器人親自執行。

PaLM-E分析來自機器人相機的數據，而無需預先處理好的場景表示。這樣人類沒有必要再預處理或標注數據，讓機器人更自主地控制自己。

機器會產生韌性，并對環境做出反應。例如，PaLM-E模型會指導一個機器人去廚房取一袋米片，它在執行任務時，還能對付阻攔。當有人試圖從機器人手中拿走米片并移走時，機器人能找到米片，再抓到手中。

被稱為“PaLM-E”，是因為它基于谷歌現有的PaLM大型語言模型。谷歌通過添加感官信息和機器人控制，使PaLM“具身化”。

由于它基于語言模型，PaLM-E會進行連續觀察，例如圖像或傳感器數據，并將它們編碼為一系列與語言標記大小相同的向量。這樣模型“理解”感官信息的方式，與處理語言相同。

除了RT-1機器人Transformer之外，PaLM-E還借鑒了谷歌之前在ViT-22B上的成果，這是 2 月份公布的視覺Transformer模型。ViT-22B 已經接受過各種視覺任務的訓練，例如圖像分類、對象檢測、語義分割和圖像字幕。

使用神經網絡進行機器人控制，Google Robotics并不是唯一的研究團隊。微軟最近的ChatGPT for Robotics論文，嘗試以類似的方式，將視覺數據和大型語言模型結合起來進行機器人控制。

除了機器人技術，谷歌研究人員還觀察到一些有趣的效果，使用大型語言模型的PaLM-E，表現出“正遷移”，可以將從一項任務中學到的知識和技能遷移到另一項任務中，與單任務機器人模型相比具有“顯著更高的性能”。

此外，他們還觀察到模型的規模效應：“語言模型越大，在視覺語言和機器人任務訓練時就越能保持其語言能力——從數量上講，562B PaLM-E模型幾乎保留了其所有語言能力?！?/p>

研究人員發現，盡管只接受了單圖像提示的訓練，PaLM-E展示了涌現能力，如多模態思維鏈推理（允許模型分析包括語言和視覺信息的一系列輸入）和多圖像推理（使用多個圖像作為輸入來做出推理或預測）。從這個意義上說，隨著深度學習模型變得越來越復雜，PaLM-E涌現驚喜的趨勢似乎會持續下去。

谷歌研究人員計劃探索PaLM-E在現實世界場景中的更多應用，例如家庭自動化或工業機器人。他們希望PaLM-E能夠激發更多關于多模態推理和具身AI的研究。

“多模態”在AI圈內流行，因為具身智能通向兩個方向，一個是人形機器人，一個是通用人工智能。

本文來自微信公眾號：未盡研究（ID：Weijin_Research），作者：周健工

關鍵詞：