文| Juny編輯| VickyXiao
(資料圖片)
從算力到服務,英偉達在AI賽道上毫不松懈。
在最近風起云涌的AI圈里,每一片英偉達H100 GPU的走向都被大家緊盯著。原因無它,就因為H100是當前進行人工智能訓練的最強引擎。
如今,全球約90%以上的大模型都在使用英偉達的GPU芯片,作為生成式AI時代下最為關鍵的基礎硬件,幾乎所有人工智能企業(yè)都在四處搜尋H100的蹤影。一定程度上來說,誰擁有了更多的H100,誰就在當前AI競賽中占據(jù)著上風。
而今天,在洛杉磯的SIGGRAPH大會上,英偉達宣布了新一代GH200 Grace Hopper超級芯片平臺的到來。GH200專門為加速計算和生成人工智能時代而打造,旨在處理世界上最復雜的生成式人工智能工作負載,涵蓋大型語言模型、推薦系統(tǒng)和矢量數(shù)據(jù)庫,并將提供多種配置。
不僅僅只是超級芯片,圍繞著生成式AI的方方面面,英偉達今天還發(fā)布了一系列更新,包括全新AI服務平臺、推出了4款新顯卡、服務器等等,試圖全方位加速和簡化生成式AI項目的開發(fā)、訓練、部署和應用。
此次,全新的Grace Hopper 超級芯片該平臺配備了全球首款 HBM3e 處理器,通過大幅增加帶寬和內存,將為更大的 AI 模型提供訓練和計算能力。該配置經過優(yōu)化,GH200還可以執(zhí)行 AI 推理功能,從而有效地為 ChatGPT 等生成式 AI 應用程序提供支持。
英偉達之所以稱GH200為“超級芯片”,因為它將基于 Arm 的 Nvidia Grace CPU 與 Hopper GPU 架構結合在了一起。GH200 與目前最高端的 AI 芯片 H100 具有相同的 GPU,H100 擁有 80GB 內存,而新款 GH200 的內存高達141GB同時與 72 核 ARM 中央處理器進行了配對。
新版本的GH200采用了全球最快的內存技術HBM3e。英偉達表示,HBM3e內存技術帶來了50%的速度提升,總共提供了10TB/秒的組合帶寬。因此,新平臺能夠運行比先前版本大倍的模型,并以3倍的內存帶寬提高性能。
擁有更大的內存也意味著未來可以讓模型駐留在單個 GPU 上,而不必需要多個系統(tǒng)或多個 GPU 才能運行。
不僅能力得到了大幅提升,英偉達還Nvidia 還發(fā)布了NVIDIA NVLink?服務器設計對GH200進行了擴展。NVIDIA NVLink?將允許Grace Hopper超級芯片可以與其他超級芯片連接組合,這一技術方案為GPU提供了完全訪問CPU內存的途徑。
英偉達表示,目前正在開發(fā)一款新的雙GH200基礎NVIDIA MGX服務器系統(tǒng),將集成兩個下一代Grace Hopper超級芯片。在新的雙GH200服務器中,系統(tǒng)內的CPU和GPU將通過完全一致的內存互連進行連接,這個超級GPU可以作為一個整體運行,提供144個Grace CPU核心、8千萬億次的計算性能以及282GB的HBM3e內存,從而能夠適用于生成式AI的巨型模型。
GH200還能夠兼容今年早些時候在COMPUTEX上公布的NVIDIA MGX?服務器規(guī)格。有了MGX,制造商可以迅速且經濟高效地將Grace Hopper技術整合到100多種服務器變體中。
NVIDIA首席執(zhí)行官黃仁勛強調,數(shù)據(jù)中心需要應對生成型AI的激增需求,因此也需要有更具針對性的加速計算平臺,GH200平臺正是為滿足這一需求而生。
“你幾乎可以將任何你想要的大型語言模型放入其中,它會瘋狂地進行推理。大型語言模型的推理成本將大幅下降,同時將大幅提高數(shù)據(jù)中心的運作效率和性能。”
目前,英偉達計劃銷售GH200的兩種版本:一種是包含兩個可供客戶集成到系統(tǒng)中的芯片,另一種則是結合了兩種 Grace Hopper 設計的完整服務器系統(tǒng)。
英偉達表示,全新的GH200將大大降低訓練成本和提升訓練速度,預計將于明年第二季度上市。
除了全新的超級芯片平臺,英偉達今天還宣布了推出了一個新的AI服務——AI Workbench,這是一個易于使用的統(tǒng)一工具包,讓開發(fā)人員能夠在 PC 或工作站上快速創(chuàng)建、測試和自定義預訓練的生成式 AI 模型,然后將其擴展到幾乎任何數(shù)據(jù)中心、公共云或NVIDIA DGX? 云。
英偉達認為,當前企業(yè)級AI的開發(fā)過程太過繁瑣和復雜,不僅需要在多個庫中尋找合適的框架和工具,當項目需要從一個基礎設施遷移到另一個基礎設施時,過程可能會變得更加具有挑戰(zhàn)性。
研究機構KDnuggets曾進行過一個調查,80%或更多的項目在部署機器學習模型之前停滯不前。Gartner的另一項研究也顯示,由于基礎設施的障礙,有接近85%的大數(shù)據(jù)項目失敗。
總體來看,企業(yè)模型投入生產的成功率總體較低,世界各地的企業(yè)都在尋找合適的基礎設施來構建生成AI模型和應用。而此次,AI Workbench則為這個過程提供了簡化的路徑。
黃仁勛在會議上表示,為了推動AI技術普惠,必須讓其有可能在幾乎任何地方運行。因此,AI Workbench將支持在本地機器上進行模型的開發(fā)和部署,而不是云服務上。
AI Workbench提供了一個簡單的用戶界面,開發(fā)人員能夠將模型、框架、SDK 和庫從開源資源整合到統(tǒng)一的工作區(qū)中,可以在本地計算機上運行并連接到 HuggingFace、Github以及其他流行的開源或商用 AI 代碼存儲庫。也就是說,開發(fā)人員可以在一個界面上輕松訪問大部分AI開發(fā)所需資源,不用打開不同的瀏覽器窗口。
英偉達表示,使用 AI Workbench 的一些主要優(yōu)勢包括:
易于使用的開發(fā)平臺。AI Workbench 通過提供單一平臺來管理數(shù)據(jù)、模型和計算資源,支持跨機器和環(huán)境的協(xié)作,從而簡化了開發(fā)流程。
與 AI 開發(fā)工具和存儲庫集成。AI Workbench 與 GitHub、NVIDIA NGC 和 Hugging Face 等服務和 Git 服務器集成,用戶可以使用 JupyterLab 和 VS Code 等工具跨平臺和基礎設施進行開發(fā),具有高度的可重復性和透明度。
增強協(xié)作。該項目結構有助于自動化圍繞版本控制、容器管理和處理機密信息的復雜任務,同時還支持跨團隊協(xié)作。
訪問加速計算資源:AI Workbench 部署是客戶端-服務器模型,用戶能夠開始在其工作站中的本地計算資源上進行開發(fā),并隨著訓練作業(yè)的規(guī)模擴大而轉向數(shù)據(jù)中心或云資源。
英偉達表示,目前戴爾、惠普、Lambda、聯(lián)想等人工智能基礎設施提供商已經采用了 AI Workbench服務,并看到了其提升最新一代多 GPU 能力的潛力。在實際用例中,Workbench 可以幫助用戶從單臺 PC 上的開發(fā)轉向更大規(guī)模的環(huán)境,在所有軟件都保持不變的情況下幫助項目投入生產。
此次,圍繞著生成式 AI 和數(shù)字化時代的開發(fā)和內容創(chuàng)作,英偉達還一口氣推出了多項的新產品和服務,可以說是涵蓋了生成式AI開發(fā)的方方面面。
在桌面AI工作站方面,推出了RTX 6000、RTX 5000、RTX 4500和RTX 4000四款新顯卡,旨在為全球專業(yè)人士提供最新的 AI圖形和實時渲染技術。并基于新GPU推出了一套一站式解決方案 RTX Workstation。
針對 AI 訓練和推理、3D 設計和可視化、視頻處理和工業(yè)數(shù)字化等計算密集型應用的需求,推出了配備 Nvidia L40S GPU 的 Nvidia OVX 服務器,旨在加速多個行業(yè)的工作流程和服務。
發(fā)布最新版本的企業(yè)軟件平臺 Nvidia AI Enterprise ,同時引入用于構建和定制生成式 AI 基礎模型的端到端框架 Nvidia NeMo,旨在為企業(yè)提供在其運營中集成和部署生成式 AI 模型的工具,但以安全的方式和穩(wěn)定的 API 連接。
推出了GPU 加速的軟件開發(fā)套件和云原生微服務 Maxine,讓專業(yè)人士、團隊和創(chuàng)作者能夠利用人工智能的力量并創(chuàng)造高質量的音頻和視頻效果,從而改進實時通信服務。此外Nvidia Research 還宣布推出人工智能驅動的 3D 視頻技術,在沉浸式通信領域取得進展。
隨著英偉達一個接一個新產品和新服務的揭曉,我們似乎也看到生成式AI的生產力爆炸時代正在加速到來。
在人工智能的驅動下,英偉達今年的來收益和股價節(jié)節(jié)攀升,公司市值一度突破萬億美元。但越是風光,競爭對手就越是虎視眈眈。隨著人工智能芯片荒的加劇,巨頭們都開始加大投資、奮起直追。
比如,就在今天的大會不久前,AMD剛剛發(fā)布了自己“大模型專用”的AI芯片MI300X,直接對標H100。此外,谷歌、亞馬遜、特斯拉等也都在設計自己的定制人工智能推理芯片。但目前來看,在越來越激烈的賽道上,跑在最前邊的英偉達絲毫沒有松懈。
靠AI“翻身”的英偉達,顯然還想要乘著AI的風跑得更快、更遠。
*參考資料:Nivida Technical Blog