顯示廣告
隱藏 ✕
※ 本文轉寄自 ptt.cc 更新時間: 2023-05-30 16:56:53
看板 Stock
作者 neone (neone)
標題 [請益] AI伺服器成本分析——記憶體是最大的輸家
時間 Mon May 29 22:13:34 2023


剛看到半導體產業分析機構semianalysis的這篇新文章:
https://www.semianalysis.com/p/ai-server-cost-analysis-memory-is

雖然沒付費只能看到部分

bing摘要:
這篇文章的核心內容是分析人工智能伺服器的成本。文章指出,隨著數據中心建設的瘋狂
,市場也隨之瘋狂。但是,有許多公司並不應該因此而受益。文章還提到,IT預算有限,
因此Nvidia銷售額的增長主要來自於購買較少的非GPU伺服器。文章中還提供了一個標準
CPU伺服器的成本分解,顯示內存佔伺服器成本的近40%。文章最後指出,在人工智能時代
,普通伺服器的百分比將會下降,並且在數據中心轉向加速計算時,各組件的成本分配也
會發生重大變化。


分析cpu server和ai server的成分價格 概念不錯

https://i.imgur.com/mHf654R.png
[圖]
但intel server沒把gpu+switch baseboard部分的價格抓出來來比
就說憶體幾乎是伺服器成本的40%
問號?

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.226.155.185 (臺灣)
※ 作者: neone 2023-05-29 22:13:34
※ 文章代碼(AID): #1aTBCGg4 (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1685369616.A.A84.html
appledick   : AI伺服器會走AWS那種營運模式啦,真以為每家公司自1F 05/29 22:17
appledick   : 己架設自己要的AI伺服器喔?頭殼壞才這樣搞,就連Op
appledick   : enAI 微軟都砸多少錢花了幾年
YU1225      : 尬死空軍總部4F 05/29 22:17
wingstar    : 這篇文章的成本計算好奇妙,5F 05/29 22:17
jiansu      : 大老黃買越多(Gpu)省越多(cpu) 應該是真的server總6F 05/29 22:19
jiansu      : 數量可能下降 Ai server佔比大提升…
Kleiza      : 這樣GG是受益者還是受害者啊?8F 05/29 22:30
ip102       : 把原本記憶體的費用轉向高速運算了9F 05/29 22:33
Buddy       : SmartNIC成本是過去的16倍 那間台廠不就賺爆10F 05/29 22:33
popo123456  : 所以爽到韓國hbm記憶體11F 05/29 22:34
william7713 : memory這麼貴是用CXL嗎... 這誰算的啊12F 05/29 22:36
stosto      : 爽到海力士13F 05/29 22:37
easygo      : 99旺宏14F 05/29 22:39
nangaluchen : 最近確實這種論述蠻多的15F 05/29 22:39
nangaluchen : 但這個論述的邏輯是有漏洞的
nangaluchen : 基本上建立在AI伺服器和一般伺服器是替代品
nangaluchen : 但其實並不是
nangaluchen : 若一般伺服器能做到AI伺服器能做的事
nangaluchen : 那不會有人願意買AI伺服器
nangaluchen : 2023的預算已經訂了 短期確實會這樣搞
nangaluchen : 但2024後 其實應該是整體資本支出往上噴
nangaluchen : AI伺服器的資本支出是額外往上加的
nangaluchen : 而非用於取代一般伺服器
nangaluchen : 拿AI伺服器來做一般伺服器能做的事
nangaluchen : 也很不合邏輯
mooto       : 老黃今天不是有說嗎 cpu伺服器又貴又耗能 你可以買27F 05/29 22:46
mooto       : 低階的gpu 一顆gpu就抵n顆cpu 這樣還是比較省阿
nangaluchen : cpu跟gpu適合的任務是不同的29F 05/29 22:48
nangaluchen : 如果gpu能完美取代cpu 那nv早年不會那麼慘
nangaluchen : 很多東西不能只看算力和能耗
saygogo     : 狙擊槍跟散彈槍不能拿來比較32F 05/29 22:50
mooto       : 你講的是"伺服器" 你如果是要做其他用途 譬如儲存33F 05/29 22:50
mooto       : 你就買NAS阿  cpu當然不可能消失 只是在算力上面
nfsong      : 今天新的 gh200 直接存取記憶體用很兇35F 05/29 22:52
nfsong      : 低電壓記憶體
nfsong      : 特點是今天有賣高級switch
nfsong      : 而且全部走光纖
mooto       : gpu是更好的選擇 沒有人說不能買籃球鞋跑步39F 05/29 22:53
nfsong      : Spectrum-X    4奈米40F 05/29 22:53
nfsong      : 64port 800G光纖速度
nangaluchen : 你搞錯意思了 一般伺服器也不會配備gpu42F 05/29 22:55
nangaluchen : 兩顆cpu就能解決的事 何必多配gpu?
nangaluchen : 特別是你加gpu 要拿來幹嘛?
nangaluchen : 就沒適合的任務給他算啊
nfsong      : 順邊做網通46F 05/29 22:55
aegis43210  : H100還是要用到SPR,i皇還是有得賺47F 05/29 22:56
nangaluchen : 絕大部分的應用 根本不需要那麼高的算力48F 05/29 22:56
nangaluchen : 反而是cpu更適合多功處理 取代個毛
nfsong      : DGX GH200  , 144TB 直接存取記憶體 !!!50F 05/29 22:57
mooto       : 已經沒人會叫兩顆cpu的機器伺服器了 那個是個人電腦51F 05/29 22:57
nfsong      : 1 ExaFLOPS52F 05/29 22:57
nfsong      : 一台大概2000多顆 記憶體顆粒  三家買 大概6000多個
nangaluchen : 而且老實講啦 nv就最沒資格講低功耗 低成本54F 05/29 22:58
nangaluchen : 就算不用ai chip
nangaluchen : 消費級的gpu 也快跟server cpu差不多貴了 省個毛
mooto       : 你要抬槓就去抬槓吧 XD 誰不知道cpu的指令集更泛用57F 05/29 22:58
nfsong      : 其實還是個人電腦市場 的記憶體用量比較大58F 05/29 22:59
mooto       : 如果沒人care你說的這種應用要怎麼配置了 講難聽一59F 05/29 22:59
mooto       : 點就是很多x86能做的事情arm也能做 那你買手機還會
mooto       : 去想要怎麼配嗎 買PC還會去文書機怎麼組嗎
nangaluchen : 目前絕大部分的伺服器 仍是配備2顆62F 05/29 23:01
aegis43210  : 記憶體是輸家??未來CXL3.0普及就更需要大量記憶體,63F 05/29 23:02
aegis43210  : 加上記憶體內運算是未來趨勢
la8day      : 記憶體 又是你 你最爛65F 05/29 23:03
aegis43210  : 如果只是講Flash,那的確是輸家66F 05/29 23:03
s860134     : 買越多越省錢67F 05/29 23:04
nfsong      : 恩  單一個GH200的小型server 576G的記憶體68F 05/29 23:04
nfsong      : 有1000多家合作廠商 人人買一台小型的 也不少
nfsong      : the more u buy the more u save指的是AI算力
nfsong      : 而且老黃今天說  算力還在往上衝
nfsong      : 要用傳統的server 跟他的cuda tensor cores
nfsong      : 已經被甩到看不到車尾燈了
nfsong      : 10年前就1台抵10台了
mooto       : 我不覺得flash會是輸家~別忘了flash成本下降也是很75F 05/29 23:07
Kobe5210    : 感謝分享76F 05/29 23:07
mooto       : 快的 有個說法再5年 SSD就會取代傳統的HDD77F 05/29 23:07
jiansu      : 模型目前越來越大 記憶體需求增加 training 你限制78F 05/29 23:08
jiansu      : 只能用Nv 但目前還是有很多inference 用Cpu70%?,
jiansu      :  chatgpt 給你用的就只是inference 如果一堆infer
jiansu      : ence都有Gpu或asic加速 確實server需求可能會降
ben811018   : 伺服器要建置成本超高82F 05/29 23:08
hihjktw     : 我怎沒看到20T的SSD83F 05/29 23:09
nangaluchen : 目前 llm inference 也是用 ai server84F 05/29 23:10
nangaluchen : 只是不用配到H100 但主流應仍配備A100
bobjohns    : 看起來 三星記憶體又要大賺  晶圓代工滿血復活。86F 05/29 23:13
mooto       : 你問這之前要不要先google....2年前就在賣100T了87F 05/29 23:14
nfsong      : 老黃除了拉抬gg一把  還救了三星和美光阿!!88F 05/29 23:17
pisu        : 目前伺服器類股都噴出89F 05/29 23:20
a000000000  : semianalysis的東西看看就好  不過也沒啥人認真研究90F 05/29 23:21
a000000000  : 然後一樓那葛論點=糞   smci這一年多噴多少
a000000000  : 4說原po尼到底有沒看他整篇  他下面94加ai卡的成本
a000000000  : inference用cpu是牙膏的論點
a000000000  : 牙膏說九成的ai行為是inference  然後inference
susanmm     : 基本上他就不是消費性電子產品95F 05/29 23:24
a000000000  : 60%在cpu上面96F 05/29 23:25
a000000000  : 詳細數據可能有些錯   不過牙膏那論點跟大便依樣
FlynnZhang  : 感謝教主開示98F 05/29 23:25
a000000000  : 因為簡單的ai像照相抓人臉那種  手雞cpu就做掉惹99F 05/29 23:26
a000000000  : 跟牙膏也無關
mamorui     : 美光真的感恩 上週快摸到75 香噴噴101F 05/29 23:26
a000000000  : 接下來的時代重點是生成型ai會普及  運算需求爆炸102F 05/29 23:27
a000000000  : 從server到手機   半導體需求也會大爆炸
a000000000  : dram廠也會受惠
neone       : 謝教主哥提點 偶是被那空一欄不計誤導了105F 05/29 23:32
TaiwanUp    : 我快要知道金富力士等11個人如何可以製作貪婪之島106F 05/29 23:34
bnn         : 有在跑運算的 記憶體不會省107F 05/29 23:36
bnn         : 只能說 記憶體不是gating 也不會爆發多少
julyjuly    : $1T用小錢買麻花卷 再多也做一樣的事 就too much109F 05/29 23:37
TaiwanUp    : 一級玩家的綠洲看起來似乎也是由劇中哈勒戴一人製作110F 05/29 23:37
Liberl      : 定錨昨天就有說 用GPU做AI伺服器只是初步階段111F 05/29 23:50
Liberl      : 未來還是會回歸CPU
madeinheaven: 未來AI運算還有MRAM記憶體內運算 三星已做出原型113F 05/29 23:52
easyman     : 所有扯到inference HW, 都要多吃RAM114F 05/30 00:00
easyman     : 不管是 notebook, 手機, 甚至 藍芽audio, GPS ..
easyman     : 這種小到不行的MCU要跑AI都要加RAM
fortesv     : 所以美國黃董會跟台灣惶懂合作嗎?117F 05/30 00:16
b0117       : 我預估記憶體內運算至少還要等三年118F 05/30 00:18
b0117       : AI列車早就開了,誰還跟你等記憶體內運算,而且SoC
b0117       : 的command要不要變都還是個問題,PIM也會造成capac
b0117       : ity下降
b0117       : IO BW足夠支撐算力,其實PIM不見得是市場趨勢
easyman     : 記憶體內運算...你要確定model改了你還算得出來123F 05/30 00:25
sachung28   : 很久前gpu吃浮點尾數的小問題不知改正沒有 舊cpu版124F 05/30 00:28
sachung28   : 程式除非遇到嚴重效能瓶頸 修改的成本還是高 gpu推
sachung28   : 了十多年才終於冒出頭
sachung28   : 記憶體內運算記得也做好一陣子了 跟gpu/cpu二回事吧
sachung28   :  那是省寫硬碟的時間
b0117       : 不過dram需求一定會跟著AI發展水漲船高129F 05/30 00:50
b0117       : 記憶體會是成本輸家?這邏輯我無法參透
bring777    : 記憶體高階技術成本降不下來嗎?學一下晶片131F 05/30 01:02
protoss     : 記憶體內運算是啥意思?運算永遠在處理器裏吧...還是132F 05/30 02:54
protoss     : 說馮紐曼的架構大改了?頂多就把整顆硬碟塞進Ram...
protoss     : 就開機的時候特別久...不過記憶體分層發展至今應該
protoss     : 差不了那點IO了吧...
protoss     : 記憶體一直是效能的gating啊...不足就等著慢...不過
protoss     : 超過的確是不會爆發什麼...就是不卡系統運算天限...
AmigoSin    : 樓上PIM參考一下138F 05/30 04:00
bj45566     : GDDR6-AiM -- SK hynix 在 ISSCC 2022 發表的論文(&139F 05/30 04:36
bj45566     : 展示晶片),人類在半導體技術的進步將帶領電腦突破
bj45566     :  von Neumann bottleneck
bj45566     : tinyurl.com/5n6unnby
kidd100     : 人工智慧143F 05/30 07:47
awss1971    : https://i.imgur.com/X0Kto9H.jpg144F 05/30 07:58
[圖]
k85564      : 為啥是輸家? 因為%下降?145F 05/30 08:25
k85564      : AI伺服器哪有可能回到CPU為主...
zhi5566     : 雲端AI越來越強 手機有必要升級嗎? 不是都丟到雲嗎147F 05/30 08:49
aegis43210  : 邊緣運算,因為資安因素,終端設備也要有一定算力148F 05/30 09:37
b0117       : 邊緣運算市場一定會有,資安問題是一點。再來就是b149F 05/30 10:57
b0117       : usiness問題,edge端的產品可以玩的公司比較多
snoopy790428: 什麼都要訂閱一下以為人人受得了嗎151F 05/30 11:42
mrWillyyang : 圖應該是一般server吧 一般的泛指沒裝GPU152F 05/30 12:52

--
※ 看板: Stock 文章推薦值: 0 目前人氣: 0 累積人氣: 123 
作者 neone 的最新發文:
  • +42 [請益] AI伺服器成本分析——記憶體是最大的輸家 - Stock 板
    作者: 36.226.155.185 (台灣) 2023-05-29 22:13:34
    剛看到半導體產業分析機構semianalysis的這篇新文章: 雖然沒付費只能看到部分 bing摘要: 這篇文章的核心內容是分析人工智能伺服器的成本。文章指出,隨著數據中心建設的瘋狂 ,市場也隨之瘋 …
    152F 44推 2噓
  • +30 [新聞] 微軟正在研發自己的AI晶片 - Stock 板
    作者: 118.169.20.152 (台灣) 2023-04-18 23:00:25
    原文標題:Microsoft reportedly working on its own AI chips that may rival Nvidia's 原文連結: 發布時間:Apr 18 …
    72F 30推
分享網址: 複製 已複製
guest
x)推文 r)回覆 e)編輯 d)刪除 M)收藏 ^x)轉錄 同主題: =)首篇 [)上篇 ])下篇