狂奔的AI，撞上“內存墻”-天天播資訊

本文來自微信公眾號：與非網eefocus（ID：ee-focus），作者：劉浩然，原文標題：《AI時代，服務器內存轉向GDDR》，題圖來自：視覺中國

(資料圖片僅供參考)

ChatGPT出現后，科技巨頭紛紛下注AI，不同領域的AI大模型你方唱罷我登場。在AI狂歡的背后，服務器芯片算力與通信需求也在不斷攀升。

然而以CPU為主的串行處理架構已經不能滿足 AI 時代的算力需求，CPU+GPU架構的服務器占有率正逐步提高。

不過，在算力向前狂奔時，“內存墻”攔在了路中央。

邊緣計算的需求

人工智能根據應用場景來區分，可以大致分為兩類。

一類是人工智能訓練。

我們訓練人工智能的目的，是希望它可以在數量龐大、雜亂無章的內容中準確地進行識別，最終輸出我們期待的結果，但這一過程并不容易。首先，我們需要利用TensorFlow、pytorch等架構來組建一個初步的神經網絡模型，然后才能進行“訓練”步驟來讓神經網絡變成一個完整的模型。這個過程需要外界輸入大量數據來進行分析計算，需要消耗大量算力與時間，因此這一過程通常是在云端實現。

訓練完成后，則需要將模型集成在邊緣計算或其他應用場景下，這就來到了下面人工智能的第二個場景。

第二類是人工智能推理。

這一過程相比訓練，對算力的需求會大幅下降。但這個階段，往往需要集成在邊緣設備之上。

邊緣，是相對云產生的概念。云計算是將所有數據上傳至計算資源集中的云端數據中心或服務器處理，任何需要訪問該信息的請求都必須先通過云端。而邊緣計算是一種將云服務從網絡核心推向網絡邊緣的模式，它非常適合被應用于物聯網領域，通過具有邊緣計算能力的物聯網提供設備管理控制等服務，解決物聯網通信“最后一公里”的問題。

在AI時代，邊緣計算又可以使人工智能技術得到更廣泛的應用，使智能設備在無需接入云平臺的情況下對輸入做出快速反應。它解決了云端計算帶來的成本、延時、隱私等諸多問題，目前在NLP、數據庫管理等方面已經初具成效。

云與邊緣，來源：華為云

然而，在AI逐漸向邊緣化節點轉移的過程中，服務器內部與外部的交互大量增加，傳統的傳輸控制協議或網際協議技術很難滿足具體應用的需求。為了應對這一挑戰，外部網絡傳輸上，5G、WIFI6等高帶寬、低延遲的傳輸技術為邊緣化提供保障。

服務器內部呢？

近幾年，AI訓練集正以每年10倍左右的速度增長，即使是在邊緣設備中，對芯片算力的要求也在飛增。芯片算力變高了，內存性能卻逐漸拖了后腿。Rambus IP核產品營銷高級總監Frank Ferro表示：“現在我們存在著一個非常重要的誤區，盡管算力的增長非常顯著，但是帶寬上的進步卻無法改善，也就是造成兩者間的不匹配。也就是說，在現有高算力的基礎之上，很多的GPU資源其實并沒有得到充分的占用和利用，這也就造成了現在的困境?！边@時，更高帶寬和更低延遲的內存就成為關鍵。

而GDDR，作為一種專為GPU開發的低延時高頻率內存種類，逐漸走入服務器領域。

DDR VS GDDR

對于電腦組裝發燒友來說，DDR的概念其實更為熟悉。在組裝電腦時，我們購買內存條前都需要辨別它的型號是DDR第幾代。目前市場上流行的內存種類主要為DDR4與DDR5，也有少部分DDR3內存還在服役。

而GDDR，則是在購買顯卡時遇到的參數，但GDDR后面的數字通常會被忽略掉，“顯存”大小往往更能代表這張顯卡性能的高低。

其實，無論是DDR還是GDDR，它們都是動態隨機存儲器（DRAM）的一種，都可以被稱為內存。

DDR的全稱是雙倍速率同步動態隨機存儲（Double Data Rate Synchronous Dynamic Random Access Memory），與之對應的還有SDR（Single Data Rate）和QDR（Quad Data Rate），不過出于成本與性能之間平衡的考慮，目前市場上主流的內存基本全部為DDR。

GDDR的全稱為Graphics Double Data Rate，是顯存的一種。從名字上看出，它比DDR僅多了一個G（graphic），也就是說，它是一種專用于圖形處理的內存。

DDR存儲器的設計延遲極低，它的目的是盡可能快地傳輸少量緩存數據，來配合CPU進行串行計算。而顯卡多為并行任務，有大量重復存取需求，但它對于延時的要求沒有CPU那么高。于是，具有更大帶寬和更高頻率的GDDR出現了。

在GDDR剛誕生的時候，它與DDR并沒有很大區別，僅是DDR的改進版。但隨著GDDR標準與DDR標準的不斷迭代，它們的功能逐漸分道揚鑣。

今天GDDR的標準更新到了第六代，也就是GDDR6。它在顯存位寬、容量、功耗與性能上都有了較大改善。此外，由于顯存可以直接焊接在顯卡的PCB板上，不需要考慮走線、信號傳輸延遲等影響，因此還可以專門做定向優化。目前的GDDR6內存的傳輸速率已經能達到16Gbps（部分廠商可以做到更高），遠高于DDR5的6.4Gbps理論速率，即使在面對AI邊緣計算的時候也能穩定工作。

不過，GDDR強悍的性能也帶來了更高的成本。在前AI時代，更多的廠商出于成本考慮，還是選擇DDR內存。進入AI時代后，GDDR才以更高的資質逐漸收割服務器內存市場。

誰能比GDDR性能更高？

其實，一款更高性能的內存更適用于今天的AI場景，那就是HBM。HBM是高寬帶存儲器（High Bandwidth Memory）的簡稱，是一款由三星電子、超微半導體和SK海力士發起的一種基于3D堆棧工藝的高性能DRAM，適用于對高存儲器帶寬有需求的應用場合。

HBM內存 圖源：CSDN

它將很多個DDR芯片堆疊在一起后和GPU封裝在一起，實現大容量、高位寬的DDR組合陣列，不同層的Die之間用TVS（硅通孔）方式連接。片上HBM的出現使AI完全放到片上成為可能。在提升集成度的同時，還使帶寬不再受制于芯片引腳數量限制，在一定程度上解決了IO瓶頸。

HBM誕生于GDDR5X時代，它通常由4顆Die堆疊而成，其特點就是可以占用更小的空間來放下更多的顆粒。HBM也沿著HBM1、HBM2、HBM3的路線命名與開發。根據JEDEC已經發布的HBM3內存標準，它的帶寬高達819GB/s、每個堆棧最高64GB容量。目前，SK海力士、三星、Rambus等廠商均已經開始生產HBM3內存，目前已經搭載于英偉達H100 GPU上。

不過HBM的缺點也有不少。

首先就是針腳變多，還需要Flip chip與chiplet技術加持，其封裝難度更高了。其次，受限于堆疊的3D結構，其功耗和發熱就必須控制得更好，這就意味著在超高帶寬傳輸的情況下，傳輸頻率必須受到限制。此外，不同Die之間的連接還需要考慮時鐘干擾問題，這也會導致其最高頻率受限。

不過HBM最大的“缺點”還是成本問題。對于服務器來說，HBM還是太貴了。目前英偉達也僅在高端GPU上應用少量HBM顆粒。據業內人士爆料的一項兩年前的數據，彼時HBM成本就高達20美元/GB，已經直逼中央芯片的價格。不過，隨著未來AI的持續發展，HBM或許還將替代GDDR成為新寵。

總結

在這個快速發展的AI時代，邊緣計算的興起催生了服務器對高性能內存的需求。傳統的DDR內存已經無法滿足這一需求，而GDDR內存逐漸成為新的選擇。

但我們也不能忽視HBM的潛力。雖然目前HBM的成本較高，主要應用于高端圖形處理器和專用加速器領域，但隨著技術的進步，未來有望在服務器領域發揮更大的作用?；蛟S隨著技術的不斷突破，會有更多新一代的內存技術出現，為服務器應用帶來更大的突破和創新。

本文來自微信公眾號：與非網eefocus（ID：ee-focus），作者：劉浩然

關鍵詞：