作者
標題 [新聞] 超微推出具192GB記憶體的純GPU之AI晶片MI
時間 Wed Jun 21 08:41:15 2023
標題 [新聞] 超微推出具192GB記憶體的純GPU之AI晶片MI
時間 Wed Jun 21 08:41:15 2023
超微推出具192GB記憶體的純GPU之AI晶片MI300X，搶奪AI市場
https://bit.ly/464WD15
![[圖]](http://iknow.stpi.narl.org.tw/Post/Figures/2023/market/ic_19778_20230616.png)
超微（AMD）為了追趕輝達，於2023年6月13日正式向外介紹一款純高性能GPU的AI晶片
MI300X。
前不久，超微推出結合CPU和GPU雙架構的Instinct MI 300進軍AI訓練晶片，這款晶片在
規格和性能直接對準了輝達的Grace Hopper。不過，為了直接瞄準大型語言模型市場，專
為需要所有記憶體容量來運行最大模型的客戶而設計的MI300X不再是混合使用CPU和GPU，
而是用兩顆CDNA 3 GPU小晶片取代了MI300A的三顆CPU小晶片，從而形成了12顆小晶片設
計，包含：8顆GPU小晶片和另外4顆IO記憶體小晶片。
規格和性能直接對準了輝達的Grace Hopper。不過，為了直接瞄準大型語言模型市場，專
為需要所有記憶體容量來運行最大模型的客戶而設計的MI300X不再是混合使用CPU和GPU，
而是用兩顆CDNA 3 GPU小晶片取代了MI300A的三顆CPU小晶片，從而形成了12顆小晶片設
計，包含：8顆GPU小晶片和另外4顆IO記憶體小晶片。
除了純GPU性能之外，超微的MI300X亦提高記憶體容量，讓當前這一代AI大型語言模型（
LLM）能獲得192GB記憶體。由於AI客戶正在以最快的速度搶購GPU和其他加速器，同時需
要更多記憶體來運行更大的模型。因此，超微提供一個使用8個HBM3記憶體通道的192GB
GPU將成為當前市場上的一個相當大的優勢。
LLM）能獲得192GB記憶體。由於AI客戶正在以最快的速度搶購GPU和其他加速器，同時需
要更多記憶體來運行更大的模型。因此，超微提供一個使用8個HBM3記憶體通道的192GB
GPU將成為當前市場上的一個相當大的優勢。
其實，AI晶片可以分為雲端、終端和邊緣。根據任務劃分又可以分為訓練晶片和推理晶片
。雲端就是在數據中心進行模型訓練，晶片需要支撐大量的數據運算，終端和邊緣對運算
要求稍弱一些，但卻要求快速回應和低功耗。如今輝達H100晶片霸佔了訓練晶片這一領域
，超微似乎想利用MI300X來爭取更多客戶的支持。
。雲端就是在數據中心進行模型訓練，晶片需要支撐大量的數據運算，終端和邊緣對運算
要求稍弱一些，但卻要求快速回應和低功耗。如今輝達H100晶片霸佔了訓練晶片這一領域
，超微似乎想利用MI300X來爭取更多客戶的支持。
除了192GB MI300X公布之外，超微還簡要宣布了他們所謂的AMD Infinity架構平台。 這
是一種允許最多8顆超微的高階GPU互連在一起以處理更大的工作負載的8-way MI300X設計
。
是一種允許最多8顆超微的高階GPU互連在一起以處理更大的工作負載的8-way MI300X設計
。
就如輝達的8-way HGX和英特爾的Ponte Vecchio的x8 UBB那樣，8-way處理器配置目前是
高階伺服器的最佳選擇的架構。
另外值得注意的是，AI開發人員歷來偏愛輝達晶片的一個原因是它有一個名為 CUDA的開
發完善的軟體包，使他們能夠利用晶片的核心硬體功能。超微也推出擁有自己的AI晶片軟
體，稱為ROCm。其希望建構一個強大的軟體堆疊方面取得了真正的巨大進步，讓該軟體堆
疊可與模型、庫、框架和工具的開放生態系統一起使用。
發完善的軟體包，使他們能夠利用晶片的核心硬體功能。超微也推出擁有自己的AI晶片軟
體，稱為ROCm。其希望建構一個強大的軟體堆疊方面取得了真正的巨大進步，讓該軟體堆
疊可與模型、庫、框架和工具的開放生態系統一起使用。
超微認為數據中心之AI加速器市場將從2023年的300億美元左右，以超過50% 的年複合成
長率增長到2027年的1500億美元以上。
雖然超微沒有透露MI300X的價格，但此舉可能會給輝達的GPU帶來價格壓力，畢竟，H100
的價格高達30,000美元或更多，如果超微能夠在性能提升的同時，又給市場更合理的價格
，這有助於降低生成式AI應用程式的高成本，也可為其帶來可觀的市場佔有率。
的價格高達30,000美元或更多，如果超微能夠在性能提升的同時，又給市場更合理的價格
，這有助於降低生成式AI應用程式的高成本，也可為其帶來可觀的市場佔有率。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 203.145.192.245 (臺灣)
※ 作者: stpiknow 2023-06-21 08:41:15
※ 文章代碼(AID): #1aaaSj30 (Tech_Job)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1687308077.A.0C0.html
→ : MI250跑pytorch training 跟A100已經互有勝負了
MI300看來值得一戰R1F 06/21 10:32
MI300看來值得一戰R1F 06/21 10:32
推 : 8顆HBM3 好猛3F 06/21 10:42
噓 : 不能跑Cuda就pass4F 06/21 12:08
→ : Cuda才是核心阿 你AMD要推啥跟Cuda打5F 06/21 12:37
推 : cuda都多久了 誰會自己找麻煩用新語言6F 06/21 12:42
推 : 支援cuda再發新聞好嗎？7F 06/21 13:00
推 : 不是早就能兼容了嗎...8F 06/21 13:31
推 : 99AMD9F 06/21 13:43
→ : 是透過HIP讓AMD能跑 而不是直接搬過去 完整性有差API不兼容的你還要自己重K 光這點就不好推了10F 06/21 14:46
推 : 友x光電還想捨棄CUDA自己寫呢 :) 我直接說不接12F 06/21 15:13
→ : CUDA? OPENCL 不好?13F 06/21 16:12
推 : OpenCL沒有像CUDA那樣能對自家GPU最佳化吧 而且opencl 出來之前 很多科學家程式師都已經習慣CUDA很多年了14F 06/21 17:00
推 : 看不懂 能跑貪食蛇嗎17F 06/21 17:54
--