來源:天天炫技
本文來自微信公眾號:Founder Park (ID:Founder-Park),作者:FounderPark,頭圖來自:視覺中國
(資料圖片僅供參考)
AI Labs 正在卷土重來,產業界比以往幾十年都更加重視 AI 研究。
短短半年前,AI Labs 還是一個幾乎被互聯網大廠和科技公司們放棄的組織。
除了發論文,給公關部提供 PR 業績,個別頂級學者加入帶動技術人才招聘等抽象務虛的收益以外,AI Lab 較少給企業帶來實際的利益,但是它的成本又高,高得離譜,企業給研究人員開的薪酬,往往會比學界高一個數量級。
在從激進狼性的卡蘭尼克手里接過 Uber 之后,新任 CEO Dara Khosrowshahi 立刻取消了 Uber AI Lab。類似的事件在過去幾年屢屢發生。
如果要列出一個 AI Lab 最成功的公司,那一定是 Google。
你沒有任何理由否認,AlphaGo、AlphaFold、TensorFlow、Transformer 等等這些 Google Brain 和 DeepMind 為科學和技術世界帶來的價值。并且,Google 自身的業務又比其他任何大公司都更能夠盡快與研究成果相結合。
但現在是 2023 年,spark of AGI 初現。曾經領先的 Google Brain 成為背景板之一。
OpenAI 最終帶來了引發世紀革命的大模型產品。一些篤信 AI 的人不求回報資助創立的研究機構(謝謝難得當韭菜的馬斯克的 1 億美元)——它最初就是為了對抗 Google 的 AI 霸權。
放在五年前都難以置信,它居然真的做到了。現在微軟只花了動視暴雪 1/6 的成本,收割了這些想象空間無窮的技術成果。
回過頭看,曾經在 AI 和深度學習領域風光無限的 Google Brain 團隊,全世界 AI Lab 的榜樣,為什么會淪落到失去領先優勢還被外部團隊兼并的境況呢?
合并:好事還是壞事?
當地時間 4 月 20 日,Google 宣布將 Google Brain 和 DeepMind 團隊合并,成為新的 Google DeepMind 部門,新部門將由 DeepMind 的聯合創始人& CEO Demis Hassabis 領導,Jeff Dean 擔任 Google Research 和 Google DeepMind 的首席科學家。
2011 年,Google Brain 因為一項斯坦福大學與 Google 的聯合研究項目而誕生;2014 年,Google 以大約 5 億美元的價格收購 DeepMind。
前 Google Brain 高級研究員李基薰對于這次架構調整的看法:
Google 高層認為 DeepMind 的名聲超過 Google Brain 團隊,同時 Demis Hassabis 也完全不同意 Google 在合并后放棄 DeepMind 的名字。
這樣的合并可能只是開始,未來我們或許能看到 Google 內部研究團隊更大規模的架構調整。
這樣的合并也許并不是雙贏的,很多項目會取消、合并,人員會重新分配,自然也會帶來大量研究員和管理人員的離職。
兩支團隊的組織文化也有區別,這會導致很多內耗和動蕩,最終可能會影響整個 Google 研究團隊的效率。
前 Google 科學家、出門問問創始人李志飛是這么看這次架構調整的:
合并后的部分既做研究,也有產品部分,解決了以往各自為政、算力和人力浪費的問題,也會緩解研發和產品部門脫鉤的問題。
Jeff Dean 成為首席科學家,可以充分發揮工程余熱;Demis 還是創業者,更有 AGI 使命感,更有戰斗力。
組織方式上,新的 DeepMind 更獨立,可以盡量遠離 Google 因自身的極度政治正確和機構膨大帶來的效率低下。
大公司的錢,科學家怎么賺?
企業會給從學校里走出來的研究者提供數倍于學校和機構的收入。
Google Brain、OpenAI、Facebook 的 FAIR...... 他們會資助數以百計的機器學習研究人員,從事純粹的研究,至少在挖人時承諾只做純粹的研究。
但現在的情況是,研究人員最終還是要為了業務服務,Google Brain 的團隊就要考慮推薦系統、廣告優化和搜索排名等業務。
機器學習不一定會帶來直接的收益,但有時候它可能會大大縮減企業的成本,比如算力等,這反過來可以總結為研究團隊的 KPI。
最大的價值是品牌影響力
對于 Google Brain 里從事研究的學者來說,Google 會支付高額的報酬。不過前提是你需要從事推薦系統、廣告優化、搜索排名等工作,而不是純粹的研究。Brain 擁有眾多的研究人員和項目,其中許多是直接或間接盈利的。例如,許多研究人員專注于優化器、架構搜索和超參數搜索的改進。這些研究降低了一定的計算成本。
但與此同時,Google Brain(以及 DeepMind、OpenAI 等其他機構)會資助數百名機器學習研究人員從事純粹的研究,看似只是為了研究而研究,而仍然支付比學術界高一個數量級的報酬,Google 為什么會資助這些項目?
Brain 項目為 Google 帶來的首先是公司在學術界的品牌影響力,“Brain 與其他工業研究實驗室競標,聘請最優秀的研究人員,以便成為最具聲望的研究團隊,這反過來又將幫助他們聘請最優秀的研究人員”。畢竟,這就是美國學術界的運作方式:以資金、學生/博士后和首席研究員(PI)的三位一體為基礎。
原則上,資金應該流向最有才華的 PI 和學生/博士后;學生/博士后會去有最有才華的 PI 和資金的地方;PI 會去他們能找到才華橫溢的學生/博士后和資金的地方。大學對于這類的合作研究最有熱情,因為他們可以從所有研究資金中抽成,而一般公司的研究實驗室并不是這樣的機制,這些研究實驗室只會給研究院高薪用來留住他們。
學術行業的品牌影響力有兩個作用:消費領域好的品牌形象、以及更容易招聘到優秀的學術人才。對于機器學習的技術人才來說,Google 顯然是比 Apple 更適合的公司,雖然 Apple 本身肯定也有類似的崗位。對于想要雇傭幾千名機器學習工程師的公司來說,資助一些頂級的機器學習研究人員顯然是一件性價比很高的投資,這也是一種被證實的招聘策略。
當然,在當下整個行業都在削減招聘預算,那么這一項的支出也會被減少了。
催化劑:無往不勝
Google Brain 有一項政策格外引人注意,他們對于頂級學術會議、學術論文以及學術出版的不求回報的支持。
這種資源支持力度是其他公司很少見的,主要有以下原因:
1. 品牌影響力;
2. 本身學術人員就可以隨時離職帶走這些學術成果;
3. 這些學術成果可以成為公司科技實力進步的催化劑。
這里的催化劑理論是指:通過在與 Google 核心業務相關的關鍵研究領域發表學術文章,該研究方向將朝著有益于 Google 的方向發展。例如,Google 一直對更好的 NLP 技術感興趣,而關鍵研究的發表,如 2014 年的 seq2seq 和 2017 年的 Transformers,催化了整個 NLP 領域的增長。Google 是少數幾家擁有消費者觸達能力和計算能力的公司之一,可以將 ML 部署擴展到十億用戶,因此 Google 受益于該領域的整體進步。
圖片來自:Google I/O大會
是科學家,還是打工人?
TensorFlow、TPU、Google 翻譯、Transformer 等等,這些 Google Brain 研究成果給 Google 帶來了難以衡量的商業價值,更不要說這些研究和產品本身對行業和學術界的貢獻——Transformer 最終導致了 LLM 的實現。
從這個角度看,Google Brain 是極具創新能力的,團隊自由開放,形成了自上而下以研究員為中心的組織文化,每個研究員都可以自由對外表達他們的想法,接受采訪,談論成果,沒有任何管理壓力,這是 Jeff Dean 作為領袖和負責人帶來的寬松環境。
可以想象,如果是一個商學院畢業的職業經理人,一個 MBA 出身的高管接管了 Google Brain,團隊一定是另一番境況。
但是最近幾年,Google 內部的經管團隊越來越多地插手 Google Brain。
一方面,互聯網的大環境和 AI 研究的競爭壓力,逼迫 Google 意識到必須為 Google Brain 制定更加細節和具體的方向和目標。
另一方面,行業內逐漸認可了機器學習的價值,區別于數年前沒人知道機器學習能帶來怎樣的價值,越來越多的機器學習研究成果給產業帶來了實實在在的產品進步,管理產品的人們自然希望得到更多。相對的,這意味著研究團隊自由探索的空間收窄了。
曾經 Google 研究員的考核和晉升標準與研究的商業價值無關,但現在,Google 會更加重視研究能夠帶來的商業化價值,對于曾經被承諾自由探索的研究員們來說,自由正在離他們遠去,很快他們的學術價值,會慢慢變成為我們更加熟悉的“大廠打工人”的價值。
曾經最強,可現在呢?
GPT-4 發布時,很多人調侃到人類遇到了“存在危機”。
“我們的存在是虛無、荒謬的,還是真的有什么價值?”
事實上,這樣的問題對于 Google Brain 團隊內的研究員們來說,是一個更加現實的問題,LLM 的成功導致很多深度學習和 AI 的研究變得不再被重視。他們漫長無期的 AGI 理想,似乎在別人手里有了觸手可及的明確路徑。
不只是大語言模型。
Google 一度領先業界超過 10 年,TensorFlow 和 TPU 都是標桿級別的產品,一度被認為是行業最大的希望。
圖片來自:Google I/O大會
但現在,PyTorch 和黃仁勛的 GPU,顯然擁有遠超 Google 的行業價值。
耗費大量資金成本,積累多年的深度學習,它建立的領先優勢正在迅速扁平化。
進擊的Google,守不住家了
這幾年,Google AI 研究的催化劑理論正在失效。
一方面,機器學習給產業帶來經濟效益,是一件行業已有共識的事情。Google 不再像以前一樣,可以輕松進入一個新的領域,帶來革命性的效率迭代。
另一方面,微軟和 OpenAI 的聯盟,其他巨頭對 AI 和機器學習的重視,也意味著 Google 在橫向拓展時面臨著近乎紅海的競爭壓力。
在這樣的背景下,Google 已經從過去的“進攻”轉為了“防守”。進攻性質的原創研究被大量叫停,研究者被調派到防御性質的項目上,維持核心領域的研究領先。
很多研究者因為這樣的調派,選擇離開 Google。
此時此刻 Google 全面轉向大模型研究,也許會導致同樣的問題。
不只是業務層面,人才方面也存在問題。
Google Brain 過去的研究項目包括:醫學影像、天氣建模、神經成像、DNA 變異檢測、音樂藝術、蛋白質等等,這些都是基于深度學習向其他領域探索的研究。
這些跨學科研究有一個前提,它們往往需要更懂專業領域的人,而不只是深度學習專家。其他領域卓越的研究者,掌握深度學習的成本相對較低,遠遠低于深度學習專家去學習生物/化學/醫學/氣象/藝術......
Google 的高管們很難理解這個問題,Google Brain 招聘了大量剛剛拿到博士學位的機器學習專家,但他們很難拓展 Google 的研究邊界。這導致了現在 Google Brain 研究在跨學科領域越來越難以取得突破。
同樣的道理,專業領域的公司尋找機器學習的高端人才,越來越不是一件難事,更何況 Google 早就教給他們機器學習的重要性。
本文來自微信公眾號:Founder Park(ID:Founder-Park),作者:FounderPark
關鍵詞:
還在苦苦尋找優秀經典的名言嗎?為大家整理的關于法律的名言警句
關于法律的名言警句(精選220句)在日常學習、工作或生活中,大家都有令自己印象深刻的名言吧,巧用名言有助于我們正確對待學習、生活、成長
怎樣寫方案才更能起到其作用呢?整理的項目合作實施方案
項目合作實施方案5篇為保證事情或工作高起點、高質量、高水平開展,往往需要預先進行方案制定工作,方案指的是為某一次行動所制定的計劃類
楚辭影響最大的作品 《離騷》全文對照翻譯
《離騷》全文對照翻譯《離騷》是屈原的代表作,創作于楚懷王時期屈原遭讒被疏之時,是楚辭影響最大的作品。下面是《離騷》全文對照翻譯...
寫申請書時理由總是不夠充分?為大家整理的退學申請書
退學申請書(精選12篇)在一步步向前發展的社會中,申請書在現實生活中使用廣泛,申請書不同于其他書信,是一種專用書信。寫申請書時理由總是
都有哪些類型的話語呢?為大家收集的感恩老師的話精選150句
感恩老師的話在生活、工作和學習中,越來越多人喜歡發表話語,話語是特定社會語境中人與人之間從事溝通的具體言語行為。那么都有哪些類...