![HIRO image](/files/live/sites/vicor/files/images/resources-library/podcasts/Vicor-podcast-HIRO-medium.jpg?t=767)
HIRO 利用高效能微型資料中心將歐洲推向邊緣運算的前沿
從支持腦部手術到推動節省成本的智慧工廠 —— HIRO 正在利用創新的運算概念將歐洲推向邊緣運算的前沿
雖然人工智慧有望帶來人類生產力的飛躍,但其運行時能耗巨大,導致溫室氣體的排放也顯著增加。如今,Vicor 電源模組與垂直供電架構相結合,為 GenAI 提供了高效的供電方法,實現行業領先的電流密度。
作者:Maury Wood,Vicor 戰略行銷副總裁
訓練生成式人工智慧(GenAI)神經網路模型通常需要花費數月的時間,數千個基於 GPU 並包含數十億個電晶體的處理器、高頻寬 SDRAM 和每秒數太比特的光網路交換機要同時連續運行。雖然人工智慧有望帶來人類生產力的飛躍,但其運行時能耗巨大,所以導致溫室氣體的排放也顯著增加。
據《紐約時報》報導,到 2027 年,人工智慧服務器每年的用電量將達到 85 至 134 太瓦時(terawatt),大致相當於阿根廷一年的用電量。
為了應對日益加劇的能耗挑戰,AI 處理器的供電網絡經歷了多代的發展。這種全面的演進發展涉及電路架構、電源轉換拓撲、材料科學、封裝和機械/熱工程方面的創新。
從 2020 年到 2022 年,熱設計功率(TDP)幾乎翻了一番,從 400W 新增到了 700W。TDP 名額是指生成式人工智慧訓練應用中 GPU 引擎的連續功耗。自 2022 年起,半導體行業的 TDP 水准不斷攀升,到了 2024 年 3 月,市場上甚至出現了一款 TDP 高達 1000W 的 GPU。
用於生成式人工智慧訓練的小晶片(chiplet)處理器複合體集成了一個 GPU 或 ASIC 晶片,以及六到八個高寬頻記憶體(HBM)晶片。採用 4 奈米 CMOS 工藝的 GPU 通常以 0.65V 的內核 VDD 運行,可能包含 1000 億或更多的電晶體。HBM提供 144GB 的存儲容量,其工作電壓一般為 1.1V 或 1.2V。該處理器的一個關鍵供電特性與人工神經網路演算法負載有關。對比處於空閒狀態的 GPU 和演算法滿載狀態的 GPU,瞬態電流消耗(dI/dt)差別可能非常大,可能達到每微秒 2000 安培或更多。此外,該處理器不能容忍較大的電源電壓下沖或過沖幅值;這些負載階躍瞬變必須限制在標稱 VDD 的 10% 以內。設計用於生成式人工智慧訓練處理器的供電解決方案時,由於這些動態操作條件的原因,峰值電流輸送能力通常設計為連續電流輸送能力的兩倍,峰值事件通常持續數十毫秒(圖 1)。
圖 1:基於 GPU 的生成式人工智慧訓練處理器晶片複合體,加速器模組(AM)上安裝有高頻寬記憶體(HBM)。
對於 CPU、FPGA、網路交換機處理器以及現在的 AI 訓練和推理晶片發展最重要的供電架構是負載點(PoL)方法。相較於傳統的多相並聯電源架構,分比式 PoL 電源架構實現了更高的功率和電流密度。這種電源架構借鑒了理想變壓器的“匝數比”概念,通過分壓實現電流倍增。電流倍增的可擴充性使我們能够根據不同的輸出電壓和電流需求,開發一系列全面的 PoL 轉換器。這對客戶來說至關重要,因為高級 AI 訓練處理器的需求正快速變化。
生成式人工智慧電源系統設計面臨的主要挑戰包括:
要解决這種大電流和高密度負載點(PoL)問題,需要採用不同的方法。先進的分比式電源架構將穩壓和變壓/電流倍增功能進行了分解,可將這些供電級放置在最佳位置,從而達到最高的效率和功率/電流密度。
當輸入電壓(VIN)等於輸出電壓(VOUT)時,穩壓器的效率最高,隨著輸入輸出比的新增,效率逐漸降低。 在 36 至 60V 的典型輸入電壓範圍內,最佳輸出母線電壓將是 48V,而不是中繼母線架構(IBA)中常見的傳統 12V 母線電壓。48V 輸出母線所需的電流是 12V 線的四分之一(P=VI),而 PDN 的損耗是電流的平方(P=I2R),這意味著損耗降低至原來的 1/16。因此,先安裝穩壓器並將其調節至 48V 輸出,可以實現最高的效率。穩壓器還必須接受有時低於 48V 的輸入電壓,這就需要一個降壓-升壓的功能來滿足這一設計需求。一旦輸入電壓得到了穩壓,下一步便是將 48V 轉換為 1V。
在需要為 1V 負載供電的情况下,最佳變壓比為 48:1。在這種情況下,穩壓器將輸入電壓降壓或升壓到 48V 輸出,再由變壓器將電壓從 48 降至 1V。降壓變壓器以相同的比率加大電流,因此變壓器組件也可以稱為電流倍增器。在這種情況下,1 安培的輸入電流將倍增至 48 安培的輸出電流。為了最大限度地减少大電流輸出的 PDN 損耗,電流倍增器必須小巧,以便盡可能靠近負載放置。
PRMTM 穩壓器和 VTMTM/MCMTM 模組化電流倍增器結合在一起,構成 Vicor 分比式電源架構。這兩個器件相互合作,各司其職,實現完整的 DC-DC 轉換功能。
PRM 通過調製未穩壓的輸入電源提供穩壓輸出電壓,即“分比式母線電壓”。 該母線供電給 VTM,由 VTM 將分比式母線電壓轉換為負載所需的電平。
與 IBA 不同,FPA 不通過串聯電感器從中繼母線電壓降壓至 PoL。FPA 不通過降低中繼母線電壓來平均電壓,而是使用電流增益為 1:48 或更高的高壓穩壓和電流倍增器模組,以提供更高的效率、更小的尺寸、更快的響應和 1000 安培及以上的可擴充性(圖 2)。
圖 2:分比式電源架構可以提供超過 1000 安培的大電流,並使供電網路的阻抗降低 20 倍
在前幾代大電流生成式人工智慧處理器電源架構中,PoL 轉換器被放在處理器複合體的橫向(旁邊)位置。 由於銅的電阻率和 PCB 上的走線長度,橫向放置的 PoL 供電網路(PDN)的集總阻抗相當高,可能達到 200μΩ 或更高。隨著生成式人工智慧訓練處理器的連續電流需求新增到 1000 安培,這意味著 PCB 本身就會消耗掉 200 瓦的功率。考慮到在 AI 超級電腦中用於大型語言模型訓練的加速器模組(AM)多達數千個,而且幾乎從不斷電,通常會持續運行 10 年或更長時間,這 200 瓦的功率損耗在整體上變得非常龐大。
認識到這種能源浪費後,AI 電腦設計師已經開始評估採用垂直供電(VPD)結構,將 PoL 轉換器直接放置在處理器複合體的下方。在垂直供電網路中,集總阻抗可能降至 10μΩ 或更低,這意味著在內核電壓域 1000 安培的連續電流下,只會消耗 10 瓦的功率。也就是說,通過將 PoL 轉換器從橫向放置改為縱向放置,PCB 的功耗减少了 200–10=190 瓦(WPCB)(圖 3)。
圖 3:生成式人工智慧加速模組從橫向(頂部)供電改為縱向(背部)供電,可將 PDN 損耗降低至 1/20。
VPD 的另一個優點是降低了 GPU 晶片表面電壓梯度,這也有助於節省電力。如前所述,典型的 4 納米 CMOS GPU 的標稱工作電壓為 0.65VDD。使用橫向供電時,將電源提供給處理器複合體的四邊,由於集成電路的配電阻抗較高(通常使用電阻率高於銅的鋁導體),可能需要 0.70V 的電壓,才能確保 GPU 晶片中心的電壓達到標稱值 0.65V。而採用縱向供電時,可以確保整個晶片表面的電壓為 0.65V。0.70–0.65=50mV,這個差值乘以 1000 安培,可額外節省 50 瓦(WVDD)的功率。在本例中,節省的總功率為 190WPCB + 50WVDD = 240 瓦(圖 4)。
圖 4:使用 VPD 時,處理器晶片的表面電壓均勻,有助於最大限度地提高運算效能,同時最小化功率損耗。
根據未來幾年公共領域對加速器模組(AM)需求的預測(2024 年超過 250 萬件),以及對電力成本的合理估計(每兆瓦時75美元),每個 AM 節省 240W 電力,到 2026 年將在全球範圍內實現太瓦時的電力節省,相當於每年節約數十億美元的電力運營成本,而且根據可再生能源的使用比例,每年還能永久性地减少數百萬噸的二氧化碳排放。
Vicor 正引領生成式人工智慧供電技術的創新浪潮。他們提供的分比式負載點轉換器解決方案有助於提升生成式人工智慧處理器的功效,使生成式人工智慧的功耗與社會層面的環境保護和節能目標相一致。Vicor 持續推動電源架構的創新,並開發先進的新產品,致力於解决生成式人工智慧模型訓練帶來的功耗新增問題。通過採用先進的分比式電流倍增器方法進行負載點 DC-DC 轉換,就可以充分發揮生成式人工智慧優勢,同時有效控制全球範圍內的能源消耗。
本文最初由 Power systems Design 發表。
Maury Wood 是 Vicor 公司的戰略行銷副總裁。在加入 Vicor 之前,Maury 曾在 EXFO、 AFL、Broadcom、NXP、Analog Devices 和 Cypress 等光纖測試和電晶體公司擔任高級職務。他擁有密歇根大學電氣工程學士學位,並在東北大學、巴布森學院和麻省理工學院攻讀研究生課程。他熱衷於登山、越野滑雪、騎山地自行車和爵士貝司。
Maury Wood,戰略行銷副總裁