Meta推出AI語言模型LLaMA，一個有著650億參數的大語言模型

IT之家 2 月 25 日消息，META 在當地時間周五宣布，它將推出一種針對研究社區的基于人工智能 (AI) 的新型大型語言模型，與微軟、谷歌等一眾受到 ChatGPT 刺激的公司一同加入人工智能競賽。

Meta 的 LLaMA 是“大型語言模型 Meta AI”（Large Language Model Meta AI）的縮寫，它可以在非商業許可下提供給政府、社區和學術界的研究人員和實體工作者。

(資料圖片僅供參考)

該公司將提供底層代碼供用戶使用，因此用戶可以自行調整模型，并將其用于與研究相關的用例。Meta 表示，該模型對算力的要求“低得多”。

據介紹，該公司正在開發多種參數（7B、13B、33B 和 65B）的 LLaMA。其中，LLaMA 65B 和 LLaMA 33B 在1.4 萬億個 tokens上訓練，而最小的模型 LLaMA 7B 也經過了1 萬億個 tokens 的訓練。

與其他大型語言模型一樣，LLaMA 的工作原理是將一系列單詞作為“輸入”并預測下一個單詞以遞歸生成文本。為了這套模型，Meta 從使用人數最多的 20 種語言中選擇文本進行訓練，重點是拉丁語和西里爾字母。

當然，與其他模型一樣，LLaMA 也面臨著偏見、有毒評論和幻覺的挑戰，Meta 還需要做更多的研究來解決這類語言模型中的不足。

Meta 表示，LLaMA作為一個基礎模型被設計成多功能的，可以應用于許多不同的用例，而不是為特定任務設計的微調模型。通過開源 LLaMA 的代碼，其他研究人員可以更輕松地找到限制或消除這些問題的新方法。Meta 還在本文中提供了一組評估模型偏差和毒性的基準評估標準，以顯示模型的局限性并支持研究人員在這一關鍵領域的進一步研究。

值得一提的是，Meta 在去年 5 月也曾推出過大型語言模型 OPT-175B。該項目同樣也是針對研究人員的，這構成了其聊天機器人 blenterbot 新迭代的基礎。

后來，該公司還推出了一款名為“卡拉狄加”(Galactica) 的模型，據稱它可以撰寫科學文章和解決數學問題，但其演示版本后來被下架，因為它反復生成“聽起來很權威”的內容。

版權聲明：除特殊說明外，本站所有文章均為 字節點擊 原創內容，采用 BY-NC-SA 知識共享協議。原文鏈接：https://byteclicks.com/46788.html 轉載時請以鏈接形式標明本文地址。轉載本站內容不得用于任何商業目的。本站轉載內容版權歸原作者所有，文章內容僅代表作者獨立觀點，不代表字節點擊立場。報道中出現的商標、圖像版權及專利和其他版權所有的信息屬于其合法持有人，只供傳遞信息之用，非商務用途。如有侵權，請聯系 gavin@byteclicks.com。我們將協調給予處理。

贊

關鍵詞： 語言模型 研究人員 人工智能