推動AI創新:NVIDIA GPU效能與效率的雙重優勢

推動AI創新:NVIDIA GPU效能與效率的雙重優勢

晶片、系統和軟體的特性使NVIDIA GPU成為機器學習的理想選擇,享有性能和效率,受到數百萬人的青睞。

GPU被稱為人工智慧的稀土金屬——甚至是黃金——因為它們是當今生成式AI時代的基礎。

有三個技術原因,以及許多故事,解釋了這一點。每個原因都有多個值得探索的方面,但從高層次來看:

  • GPU採用並行處理。
  • GPU系統可擴展至超級計算的高度。
  • GPU的AI軟體堆棧既廣泛又深入。

結果是,GPU在技術計算上比CPU更快、更具能源效率。這意味著它們為AI訓練和推理提供領先的性能,以及在使用加速計算的各種應用中的增益。

在其最近的AI報告中,史丹佛的以人為中心的AI小組提供了一些背景。GPU性能“自2003年以來增加了大約7000倍”,性價比“增加了5600倍”。

該報告還引用了Epoch的分析,這是一個獨立的研究小組,測量和預測AI進展。

“GPU是加速機器學習工作負載的主導計算平台,過去五年中大多數(如果不是全部)最大的模型都是在GPU上訓練的……[它們]因此對AI的最近進展做出了核心貢獻,”Epoch在其網站上表示。

一項2020年為美國政府評估AI技術的研究得出了相似的結論。

“我們預計[領先的]AI晶片在計算生產和運營成本時,比領先節點的CPU便宜一到三個數量級,”它說。

NVIDIA的GPU在過去十年中將AI推理的性能提高了1000倍,該公司首席科學家Bill Dally在Hot Chips的一次主題演講中說,這是一年一度的半導體和系統工程師聚會。

ChatGPT傳播消息

ChatGPT提供了一個強有力的例子,展示了GPU如何非常適合AI。這個大型語言模型(LLM),在數千個NVIDIA GPU上訓練和運行,運行著由超過1億人使用的生成式AI服務。

自2018年推出以來,MLPerf——AI的行業標準基準——提供了詳細數據,展示了NVIDIA GPU在AI訓練和推理上的領先性能。

例如,NVIDIA Grace Hopper Superchips在最新一輪的推理測試中實現了全面勝出。自那次測試以來發布的NVIDIA TensorRT-LLM推理軟件,提供了高達8倍的性能提升,以及超過5倍的能源使用和總擁有成本的降低。實際上,自從2019年該基準發布以來,NVIDIA GPU贏得了MLPerf訓練和推理測試的每一輪。

在2月,NVIDIA GPU在推理方面交付了領先的結果,在STAC-ML Markets基準測試中每秒提供數千次推理,這是金融服務行業的一個關鍵技術性能衡量標準。

RedHat軟件工程團隊在博客中簡潔地表示:“GPU已成為人工智慧的基石。”

AI的內部機制

深入瞭解顯示了為什麼GPU和AI是強大的組合。

AI模型,也被稱為神經網絡,本質上是由一層又一層的線性代數方程組成的數學千層麵。每個方程表示一條數據與另一條數據相關的可能性。

就GPU而言,它們擁有成千上萬的核心,這些小型計算器並行工作,切割構成AI模型的數學。這就是AI計算工作的高層次概述。

高度調整的Tensor核心

隨著時間的推移,NVIDIA的工程師已經根據AI模型的演變需求調整了GPU核心。最新的GPU包括Tensor核心,其處理神經網絡使用的矩陣數學的能力比第一代設計強大60倍。

此外,NVIDIA Hopper Tensor Core GPU包括一個Transformer引擎,可以自動調整到處理轉換器模型所需的最佳精度,轉換器模型是生成生成式AI的神經網絡類別。

在此過程中,每一代GPU都增加了更多的記憶體和優化技術,以將整個AI模型存儲在單個GPU或一組GPU中。

模型增長,系統擴展

AI模型的複雜性每年驚人地擴展10倍。

當前的最先進LLM,GPT-4,包含超過一萬億個參數,這是其數學密度的一個衡量指標。這比2018年一個流行的LLM的參數少於1億。

GPU系統通過結合挑戰保持了同步。它們可以擴展到超級計算機,多虧了它們快速的NVLink互連和NVIDIA Quantum InfiniBand網絡。

例如,DGX GH200,一個大記憶體AI超級計算機,將多達256個NVIDIA GH200 Grace Hopper Superchips結合成一個數據中心大小的GPU,擁有144TB的共享記憶體。

每個GH200超級芯片是一個單獨的伺服器,擁有72個Arm Neoverse CPU核心和四千萬億次的AI性能。一種新的四路Grace Hopper系統配置將在單個計算節點中放入令人驚嘆的288個Arm核心和16千萬億次的AI性能,以及高達2.3TB的高速記憶體。

並且在11月宣布的NVIDIA H200 Tensor Core GPU中,包含高達288GB最新的HBM3e記憶體技術。

軟體覆蓋整個領域

自2007年以來,一個不斷擴大的GPU軟體海洋已經演變出來,以支持AI的每個方面,從深層技術特性到高層次應用。

NVIDIA AI平台包括數百個軟體庫和應用程式。CUDA編程語言和cuDNN-X深度學習庫提供了一個基礎,開發人員在其上創建了軟體,如NVIDIA NeMo,一個框架,讓用戶構建、定制和運行他們自己的生成式AI模型。

其中許多元素都作為開源軟體提供,這是軟體開發人員的即插即用基本。超過一百個這樣的元素被打包進NVIDIA AI企業平台,為需要完整安全性和支持的公司提供服務。它們越來越多地也可作為API和服務,通過主要的雲服務提供商在NVIDIA DGX Cloud上提供。

SteerLM,NVIDIA GPU的最新AI軟體更新之一,讓用戶在推理過程中對模型進行微調。

2008年的一篇論文記錄了一個成功故事,這篇論文來自AI先驅Andrew Ng,當時是史丹佛的研究人員。使用兩個NVIDIA GeForce GTX 280 GPU,他的三人團隊在處理一個具有1億參數的AI模型時實現了比CPU快70倍的速度,完成了過去需要幾週才能完成的工作,在一天內完成。

“現代圖形處理器遠遠超過了多核CPU的計算能力,並有可能革新深度非監督學習方法的應用性,”他們報告說。

在2015年NVIDIA GTC的一次演講中,Ng描述了他如何繼續使用更多GPU來擴大他的工作,在Google Brain和百度運行更大的模型。後來,他幫助創立了Coursera,一個在線教育平台,在那裡他教授了數十萬AI學生。

Ng將Geoff Hinton列為他影響的人之一。“我記得去找Geoff Hinton說看看CUDA,我認為它可以幫助構建更大的神經網絡,”他在GTC演講中說。

多倫多大學的教授傳播了這一消息。“2009年,我記得在NIPS(現在是NeurIPS)上發表演講,我告訴大約1000名研究人員他們都應該購買GPU,因為GPU將是機器學習的未來,”Hinton在一份新聞報導中說。

GPU的快速發展

預計AI的收益將在全球經濟中產生波動。

麥肯錫在六月的報告中估計,生成式AI可能每年為它分析的63個使用案例的行業(如銀行、醫療保健和零售)增加相當於2.6萬億至4.4萬億美元。因此,不足為奇的是,史丹佛的2023年AI報告指出,大多數商業領袖預計將增加他們在AI上的投資。

如今,超過40,000家公司使用NVIDIA GPU進行AI和加速計算,吸引了全球400萬開發人員的社群。他們一起在推進科學、醫療保健、金融和幾乎所有行業。

在最新的成就中,NVIDIA描述了使用AI為減緩氣候變化而實現的驚人的700,000倍加速,方法是阻止二氧化碳進入大氣層(見下面的視頻)。這是NVIDIA將GPU的性能應用於AI及其他方面的眾多方式之一。

資料來源
返回網誌

為您推薦