作者
標題 [新聞] 稱霸 AI 推理性能，NVIDIA B200 晶片海
時間 Mon Sep 2 17:28:39 2024
標題 [新聞] 稱霸 AI 推理性能，NVIDIA B200 晶片海
時間 Mon Sep 2 17:28:39 2024
原文標題：稱霸 AI 推理性能，NVIDIA B200 晶片海放 AMD MI300X
※請勿刪減原文標題
原文連結：
https://bit.ly/4dIpmfq
稱霸 AI 推理性能，NVIDIA B200 晶片海放 AMD MI300X | TechNews 科技新報
![[圖]]()
由產業人士和學術界組成的開放工程聯盟（MLCommons）自 2018 年推出 MLPerf 產業基準，是衡量機器學習性能、提高科技透明度的常見指標。隨著科技大廠針對 MLPerf Inference 4.1 提出測試資料，尤其 NVIDIA 下一代 Blackwell GPU 首次參與測試，讓業界 ...
![[圖]](https://img.technews.tw/wp-content/uploads/2024/09/02162406/NVIDIA-Blackwell-Sets-New-Standard-for-Generative-AI-in-MLPerf-Inference-Debut.jpg)
※網址超過一行過長請用縮網址工具
發布時間：
September 2, 2024 by 陳 冠榮
※請以原文網頁/報紙之發布時間為準
記者署名：September 2, 2024 by 陳 冠榮
※原文無記載者得留空
原文內容：
由產業人士和學術界組成的開放工程聯盟（MLCommons）自 2018 年推出 MLPerf 產業基準
，是衡量機器學習性能、提高科技透明度的常見指標。隨著科技大廠針對 MLPerf Inferenc
e v4.1 提出測試資料，尤其 NVIDIA 下一代 Blackwell GPU 首次參與測試，讓業界看出各
家晶片性能提升至什麼程度。
，是衡量機器學習性能、提高科技透明度的常見指標。隨著科技大廠針對 MLPerf Inferenc
e v4.1 提出測試資料，尤其 NVIDIA 下一代 Blackwell GPU 首次參與測試，讓業界看出各
家晶片性能提升至什麼程度。
MLPerf Inference v 4.1 測試結果有一系列值得關注的新增內容，像是 MLPerf 首次引進
MoE（Mixture of Experts Models，混合專家模型）性能評估，特別採用開源 Mixtral 8×
7B 模型。這一輪基準測試更展示一些令業界關注的晶片和系統，有些還是首次公開測試結
果，比方說 AMD MI300X、Google TPU v6e（Trillium）、英特爾 Granite Rapids、Unteth
er AI speedAI 240 等，還有最受市場矚目的 NVIDIA B200。
雖然 Blackwell GPU 交付到客戶手中還需要幾個月時間，但 MLPerf Inference 4.1 測試
結果可讓客戶一窺即將到來的強大性能。Blackwell GPU 由於使用 NVIDIA 第二代 Transfo
rmer 引擎和 FP4 Tensor 核心，處理 MLPerf 設定的 Llama 2 70B 模型，首次測試結果顯
示性能較自家 Hopper 架構的 H100 高出 4 倍之多。
結果可讓客戶一窺即將到來的強大性能。Blackwell GPU 由於使用 NVIDIA 第二代 Transfo
rmer 引擎和 FP4 Tensor 核心，處理 MLPerf 設定的 Llama 2 70B 模型，首次測試結果顯
示性能較自家 Hopper 架構的 H100 高出 4 倍之多。
而在單一 B200、H200 及競爭對手 MI300X 的比較，MLPerf Inference v 4.1 測試結果運
用 Llama 2 70B 計算每秒生成 token 數，可看出 B200 的表現遙遙領先 H200 和 MI300X
，性能平均達到 H200 約 2.5 倍，更是 MI300X 的 4 倍左右。可見主流的 H200 明顯勝過
MI300X，換成下一代 B200 更是大勝。
用 Llama 2 70B 計算每秒生成 token 數，可看出 B200 的表現遙遙領先 H200 和 MI300X
，性能平均達到 H200 約 2.5 倍，更是 MI300X 的 4 倍左右。可見主流的 H200 明顯勝過
MI300X，換成下一代 B200 更是大勝。
值得關注的是，MI300X 規格如電晶體、HBM 等比起 H200 複雜，封裝複雜度更高，可推測
AMD 這款 AI 晶片成本高昂，卻要賣得更便宜才能與 NVIDIA 競爭。信昕產研從這一輪 MLP
erf 測試結果分析，MI300X 合理價格可能要比目前 H200 低約 30%。
AMD 這款 AI 晶片成本高昂，卻要賣得更便宜才能與 NVIDIA 競爭。信昕產研從這一輪 MLP
erf 測試結果分析，MI300X 合理價格可能要比目前 H200 低約 30%。
換個角度來看，市場可能對於 NVIDIA 產品毛利高有些意見，一旦性能強大的 NVIDIA GPU
價格再低一點，恐無對手與之競爭。
心得/評論：
https://i.imgur.com/DhaD9B1.jpeg
![[圖]](https://i.imgur.com/DhaD9B1h.jpeg)
蘇媽24年初之前不是號稱贏 黃的H100
結果只在伯仲之間，還小輸
現在看起來黃的B200提升驚人。雖然現在晚一點才會來。但看來護城河已經建好了
※必需填寫滿30正體中文字，無意義者板規處分
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.137.84.182 (臺灣)
※ 作者: enouch777 2024-09-02 17:28:39
※ 文章代碼(AID): #1crOL9_8 (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1725269321.A.FC8.html
→ : 太晚我們就不要了1F 09/02 17:29
![[圖]](https://i.imgur.com/NcX8cbHh.jpeg)
→ : 意思就是 B200足夠開發好一陣子了3F 09/02 17:35
→ : 已反應4F 09/02 17:35
→ : b200就狂電 明年gb200連車尾燈都看不見5F 09/02 17:41
→ : MI350才是蘇嬤的殺手鐧，這樣老黃就開心還太早6F 09/02 17:41
推 : b200是怎樣 超強XDD7F 09/02 17:43
![[圖]](https://i.imgur.com/W5M8lO1h.jpeg)
![[圖]](https://i.imgur.com/nsL11U5h.jpeg)
→ : 奧特曼：你相信輝達嗎？11F 09/02 17:52
推 : 老黃請你們吃富霸王豬腳12F 09/02 17:54
推 : 果然買越多越賺？13F 09/02 18:01
推 : 怎會拿B200對標MI300X... 不同世代14F 09/02 18:22
推 : 持續內捲化，直到有人實現普通鏟子也挖得到黃金15F 09/02 18:24
→ : Mi325 才是對標 H200，Mi350 才是對B20016F 09/02 18:30
推 : 買來挖礦喔17F 09/02 18:31
→ : GB200才是老黃的殺手鐧18F 09/02 18:38
推 : 老黃沒對手了!不管遊戲卡還是AI19F 09/02 19:09
--
作者 enouch777 的最新發文:
![]()
台灣今天（21日）凌晨0時17分發生芮氏規模6.4的地震，震央位於嘉義縣大埔鄉，地震深度 為9.7公里。此次地震導致嘉義縣地區震度達到6弱，台南市和高雄市震度達到5弱。其他縣 市震度也有不同程度的影 …78F 47推 3噓![]()
輝達執行長黃仁勳日前表示，三星高頻寬記憶體（HBM）產品「必須重新設計」，才能符合 輝達的驗證標準。韓媒指出，目前尚不清楚是三星技術力不足，還是輝達要求過於嚴格，由 於三星對於重新設計感到不耐煩，可能 …71F 42推 5噓![]()
台積電的亞利桑那州晶圓廠2021年動工以來，幾經爭議與延宕，運作漸上軌道，日本媒體指 出，在整個過程中，美國退伍軍人扮演關鍵角色。 台積電亞利桑那州晶圓廠的學習曲線比預期還長，2020年5月宣布建廠 …103F 64推 1噓![]()
半導體業去年底就傳出美國總統拜登卸任前擬擴大對中國晶片管制，美國商務部部長雷蒙多 召見台積電董事長魏哲家告知此事，製程技術管制範圍從7奈米先進製程擴及到較成熟的16 奈米。16奈米製程去年佔台積電（ …91F 49推 2噓![]()
〔財經頻道／綜合報導〕輝達（NVIDIA）執行長黃仁勳日前出席美國消費性電子展（CES） ，並談到三星（Samsung）HBM（高寬頻記憶體）的驗證程序問題，表示「三星必須重新設計 」，不過他也對三 …40F 23推
點此顯示更多發文記錄