顯示廣告
隱藏 ✕
※ 本文轉寄自 ptt.cc 更新時間: 2023-07-02 22:59:21
看板 PC_Shopping
作者 hugh509 ((0_ 0))
標題 [閒聊] M2Ultra在AI比intel+nVIDIA有架構優勢?
時間 Sat Jul  1 17:17:31 2023


先說我不懂AI運算
只是看了林亦的新影片
https://youtu.be/UsfmqTb2NVY

不想點的,說個大概
意思是
由於M2 Ultra的記憶體是CPU與GPU共用
而且GPU調取記憶體沒啥限制(?
等於有著超大容量和高速頻寬的顯存

對比的是i9 12900+3080TI
中間跑什麼運算什麼訓練,我是不懂

但他的結論、標題
都表明Mac PRO具有極高性價比(他是說最高
可是這套方案要30萬欸
他更是呼籲老黃要出大容量的顯卡

如果蘋果是真的有這麼大優勢
會影響未來PC遊戲卡迭代速度嗎?

--
「我看不到」
「欸 我真的看不到」
「                 」
「我還是什麼都看不到啊...」
「我看不到我看不到我看不到!」

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.253.194.31 (臺灣)
※ 作者: hugh509 2023-07-01 17:17:31
※ 文章代碼(AID): #1ad-ylzP (PC_Shopping)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1688203055.A.F59.html
kivan00: 沒生態你要用什麼跑?手刻API嗎1F 223.138.207.31 台灣 07/01 17:19
kalarotia: 又在吹蘋果,不累嗎2F 42.75.153.202 台灣 07/01 17:22
hugh509: 林亦當然是吹,我關心的是PC卡會不會影響3F 111.253.194.31 台灣 07/01 17:23
SunFox58: 不影響 end4F 111.249.161.157 台灣 07/01 17:27
ducamao: 你如果連他吹的用途都看不懂的話,那換句5F 1.172.237.112 台灣 07/01 17:35
ducamao: 話說。兩個沒交集的領域要怎麼影響
raider01: 問題兩邊GPU性能差多少,花同樣的錢可以7F 42.72.191.32 台灣 07/01 17:37
raider01: 買到等級不低的運算卡了吧
raider01: 3080Ti一張也才多少怎麼會拿來比?
scarbywind: 只比硬體你拿AMD不是更便宜10F 223.141.96.189 台灣 07/01 17:39
E6300: 3080ti回血阿11F 61.227.209.144 台灣 07/01 17:41
as134679258: 互不影響 遊戲卡要的是運算 AI要的12F 125.228.131.13 台灣 07/01 17:46
as134679258: 是大容量跟傳輸帶寬 前面展示的大容
as134679258: 量帶來得訓練優勢 後面展示大語言模
as134679258: 型在local執行的能力
as134679258: 說可以抵8張主要是拿顯存放模型
as134679258: 跟需不需要那些算力沒直接關係
fishworm: 你花30萬都已經能買到a100了,好歹也拿18F 114.36.185.115 台灣 07/01 17:48
fishworm: 價格近似的東西來比吧
s78513221: 老黃的大顯存是資料中心的專業卡20F 114.136.113.95 台灣 07/01 17:50
s78513221: 民用想要的是大顯存的遊戲卡兼學習
aegis43210: 老黃又不是傻子,為什麼要出大容量的22F 123.204.13.213 台灣 07/01 17:52
aegis43210: 顯示卡,蘋果這個能算的模型又不多
s78513221: 但目前的務實之選是…接人家現成的24F 114.136.113.95 台灣 07/01 17:53
aegis43210: 能玩的遊戲也少,看不出有什麼競爭力25F 123.204.13.213 台灣 07/01 17:54
hugh509: 所以大容量並不是遊戲卡和計算卡共同方向26F 111.253.194.31 台灣 07/01 17:54
hugh509: 還以為計算卡被打擊,遊戲卡也會間接受益
hugh509: 因為看到這代頻寬開砍有點傻眼
hugh509: 價格漲上那麼多規格還有倒退嚕的喔
Arbin: SoC在記憶體頻寬上絕對有優勢30F 111.71.218.44 台灣 07/01 18:00
Arbin: 但Core ML的生態系太疲軟了
tony1768: 先要有人要支援32F 223.139.17.165 台灣 07/01 18:01
aegis43210: 繪圖卡的強項是渲染和成像,這塊才是33F 123.204.13.213 台灣 07/01 18:02
aegis43210: 老黃最大的護城河
spfy: 30萬比12900+3080ti?35F 203.121.243.239 台灣 07/01 18:12
fishworm: 不過蘋果M2的確是workstation上cp好36F 114.36.185.115 台灣 07/01 18:14
fishworm: 如果有軟體支援,M2目前的確是性價比最
Alwen: 不過沒人會拿顯卡跑訓練吧= =38F 118.232.100.36 台灣 07/01 18:17
commandoEX: 一張3080不夠強你能上兩張啊39F 118.171.101.225 台灣 07/01 18:19
kira925: 老黃跟蘇媽:歐40F 42.72.32.24 台灣 07/01 18:19
commandoEX: M2Ultra就沒有擴充性了41F 118.171.101.225 台灣 07/01 18:19
Alwen: 然後一般用戶也買不起也拿不到Grace hopper42F 118.232.100.36 台灣 07/01 18:20
fishworm: 如果你的模型夠輕量就可以用消費級跑43F 114.36.185.115 台灣 07/01 18:22
fishworm: 通常在於概念驗證,或是edge端上使用
fishworm: 蘋果這格會影響的是小型工作站原本會買
fishworm: 1~2張消費級顯卡,現在改買M2
fishworm: 但要說動搖老黃AI霸權,或消費級PC
fishworm: 可以說幾乎沒有
Alwen: 其實真能幹翻老黃,新聞早就滿天飛惹= =49F 118.232.100.36 台灣 07/01 18:31
Alwen: 現在消費級PC端 老黃都快一統天下= =
Alwen: 影片測試AI繪圖...M2好慘..
raider01: 可是拿a100打遊戲也不會弱到哪去,肯定52F 42.72.191.32 台灣 07/01 18:56
raider01: 比m2ultra好= =
raider01: 就上上面說的CP值真的那麼高那些搞資料
raider01: 中心的早就多買幾台插滿RAM就好了
raider01: 然後原本用N家的也幾乎不太可能轉,光是
raider01: 系統轉換就有問題了,運算程式還要重寫
iuytjhgf: 就特定用途而已啊 模型不夠大還沒優勢58F 111.252.228.72 台灣 07/01 19:03
qwe753951: mi300: hello59F 111.71.45.226 台灣 07/01 19:12
aegis43210: 工作站要拿RTX 6000 ada來比才能真的60F 123.204.13.213 台灣 07/01 19:12
aegis43210: 比較CP值
tututoto: https://i.imgur.com/12XEA01.jpg62F 122.118.14.68 台灣 07/01 19:28
[圖]
comipa: 只能玩到沒有hopper的 哭哭~63F 220.133.98.140 台灣 07/01 19:35
comipa: GraceHopper最大是480+96GB, NV:M2Ultra?
Rust: 有沒有可能NV轉身就推出MacPro的專用顯示卡65F 123.241.92.153 台灣 07/01 19:43
Alwen: 不可能 水果行封閉不是一兩天的事情66F 118.232.100.36 台灣 07/01 19:55
hugh509: MacPro不是不能插顯卡了67F 111.253.194.31 台灣 07/01 19:59
nextpage: 上個月他們開發步會出新桌機時就特別強68F 136.23.35.40 台灣 07/01 20:15
nextpage: 掉插槽不能用來插顯卡了,鐵了心要分道揚
nextpage: 彪
scarbywind: 蘋果現在最主要的問題是你一定會在工71F 223.141.96.189 台灣 07/01 20:23
scarbywind: 作流程中的某個環節斷鍊
scarbywind: x86頂多就是跑起來效能不太好 貧果是
scarbywind: 完全不能跑
aigame: 有cuda嗎沒有啊花30萬結果這也不能裝那也75F 111.82.162.195 台灣 07/01 20:28
aigame: 不能玩,本地安裝還要找大神有沒有做就算
aigame: 有算圖速度也不行,組4090十二萬算很頂了
aigame: 上個廁所回來高解析運算跑了四十圖以上不
aigame: 用高解析洗個澡算個三百圖算基本款而已
aigame: 還有sd一堆插件能不能安裝都是問題就樓上
aigame: 說的一定會斷鍊為何我不用完全沒相容問題
aigame: 的4090?
alvistan: 蘋果說已經太強了 不需要插顯卡83F 125.229.106.95 台灣 07/01 20:33
a27417332: 先噓他,影片越來越沒料84F 61.231.12.41 台灣 07/01 20:43
NoneWolf: 價格都不用統一下?那乾脆拿1030比好了85F 1.200.48.70 台灣 07/01 20:48
NoneWolf:  我也用Mac 但這完全就是無腦果粉zzzz
a28200266: 蛤87F 36.224.242.164 台灣 07/01 20:49
justicebb: 水果就是用封閉換取效率88F 123.110.214.163 台灣 07/01 20:51
justicebb: 比較類似遊戲主機的優化概念
a28200266: 這論點太迷幻了90F 36.224.242.164 台灣 07/01 20:54
raider01: 而且想到另一個重點,如果用內顯都可以91F 42.75.199.171 台灣 07/01 21:21
raider01: 的話,又不太需要顯卡效能,那我隨便找
raider01: 一顆有內顯的CPU把RAM插好插滿不久好了?
raider01: 結論就是M2跑AI有CP根本假議題
EAFV: 果粉價值點滿+錢太多+不急著生出成果才會選95F 49.216.133.17 台灣 07/01 22:03
EAFV: 這個吧
jacklin2002: 這傢伙跟鐘文澤就同一個路線的97F 114.24.221.204 台灣 07/01 22:04
Gauss: 他整部影片都在講Mac Studio 吧?哪來Pro98F 111.250.209.193 台灣 07/01 22:47
Gauss: 177,999 台幣就能用上192g的vram很香吧?
Gauss: 也不用core ML,PyTorch已經原生支援MPS了
Gauss: 連我的老AMD顯示卡MacBook都能煉丹了
Gauss: (只是用AMD效率很差)
mark0912n: Mac Studio的滿血M2 Ultra大概是20.8萬103F 1.169.208.108 台灣 07/01 22:59
mark0912n: 這價格的大顯存替代方案很少吧
mark0912n: 不過影片標題也太浮誇了
PTTfaggot: 拿ps5來運算不是更屌?106F 36.225.219.164 台灣 07/01 23:02
mark0912n: 上面說CPU把RAM插滿 VRAM和RAM不一樣吧107F 1.169.208.108 台灣 07/01 23:05
creepy: 幾個月前都可以透過pytorch跑SD了108F 118.165.139.207 台灣 07/01 23:24
guanting886: 這個問題就在你到底是在做事還是像109F 42.77.248.121 台灣 07/01 23:25
guanting886: 個傻子在比規格。
guanting886: 只要能用較低的成本完成某件事那真
guanting886: 的是不錯,至少多一點競爭大廠才不
guanting886: 會搞怪。
leaveleft: 其實個人消費級的電腦,拿來做特定的A114F 98.227.3.119 美國 07/01 23:41
leaveleft: I運算,是蠻值得買M2U的,自己建立蘿
leaveleft: 莉模型,然後不受道德約束...扯遠了,
leaveleft: 但是一般中小型企業真的要搞自己的模
leaveleft: 型,思考方式就跟個人不同了,穩定、
leaveleft: 拓展性、兼容性,已經不會去計較省幾
leaveleft: 萬元了,我對mac沒有研究那麼深,不知
leaveleft: 道可不以8台Mac studio 串在一起運算
leaveleft: ,如果可以的話,中小型公司確實可以
leaveleft: 考慮串起來搞AI
Ereinion9895: 問就是生態,要是有生態就能贏,沒124F 27.247.226.61 台灣 07/01 23:42
Ereinion9895: 生態你硬體再強也無用武之地
tr920: 民用ai機,現在m1m2的確是cp值最高的,不126F 58.114.47.190 台灣 07/01 23:51
tr920: 用懷疑,已經很多ai應用測試結果都是如此
jhangyu: 樓上一堆觀念錯誤還誇誇其談128F 59.127.175.174 台灣 07/01 23:56
jhangyu: 顯存和記憶體不會分?
jhangyu: 顯示卡的記憶體頻寬多少
jhangyu: 你一般記憶體頻寬多少?
jhangyu: 現在珍貴的是顯存容量好嗎?
jhangyu: M 系SoC做到的一點是同一記憶體同時具有
jhangyu: 顯存的能力
jhangyu: 連這個重點都沒抓到
jhangyu: 上面一堆還來亂講甚麼鬼東西
jhangyu: 還把1030插滿記憶體咧,供三小
jhangyu: 當然我不是果粉
jhangyu: M2的問題在於空有硬體沒有軟體
jhangyu: 光算圖速度就差別人一大截,那個GPU使用
jhangyu: 率根本沒跑滿
jhangyu: 這就要等看有沒有更多人願意投入生態開
jhangyu: 發了
jhangyu: 當然以蘋果的不封閉就會死的死樣子
jhangyu: 我看還很漫長拉
raider01: 有人不知道內顯是直接共用普通記憶體?146F 42.75.199.171 台灣 07/02 00:00
jhangyu: 然後上面有人說到重點147F 59.127.175.174 台灣 07/02 00:01
jhangyu: 現在生態基本上都是圍繞CUDA開發的
jhangyu: 你開發一個模型東缺一個library西缺一個
jhangyu: dependencies
jhangyu: 光解決這些問題就飽了,浪費一堆時間
jhangyu: 時間就是錢,一般公司還是直接買A100/H1
jhangyu: 00最快
as6633208: 講真的,nv AI強的也不是4090,而是A10154F 114.137.216.121 台灣 07/02 00:02
as6633208: 0,在更上面超級伺服器等級的還有dgx g
as6633208: h200,甚至nv軟體的優勢cuda,蘋果也沒
as6633208: 有提出取代方案,我不覺得蘋果有那麼神
as6633208: 可以光靠一個M2晶片就超越nv經營這麼久
as6633208: 的AI領域
jhangyu: 共用普通記憶體有屁用160F 59.127.175.174 台灣 07/02 00:02
jhangyu: 你能把模型load進去嗎
mark0912n: 內顯共用普通記憶體 你能跑到800GB/S?162F 1.169.208.108 台灣 07/02 00:02
raider01: 上面有人說M2優點是記憶體可以開大163F 42.75.199.171 台灣 07/02 00:03
raider01: 那不就只是內顯跟一般記憶體共用了
raider01: 反正不是說顯卡運算效能不重要?
mark0912n: 那是建立在m2和顯卡有差不多帶寬好嗎166F 1.169.208.108 台灣 07/02 00:05
jhangyu: 人家記憶體直接做在SoC旁邊167F 59.127.175.174 台灣 07/02 00:05
jhangyu: 頻寬有800G/s
jhangyu: 你繞遠路經過主機板的普通記憶體頻寬有
jhangyu: 多少?
jhangyu: 連人家1/10都不到,賣鬧
raider01: 直接用內顯算把東西丟到記憶體上就好172F 42.75.199.171 台灣 07/02 00:05
jhangyu: AI運算需要的是記憶體容量和頻寬兩者兼173F 59.127.175.174 台灣 07/02 00:06
jhangyu: 具
Gauss: 說內顯的那位保障沒用過任何AI框架175F 111.250.209.193 台灣 07/02 00:06
Gauss: 根本沒先了解卻能大放厥詞
jhangyu: 鬼扯發言,幻想很美好177F 59.127.175.174 台灣 07/02 00:07
jhangyu: 叫他自己把自己說的鬼話實現一次看看
jhangyu: 我想看笑話
Gauss: 怎麼不把模型load進HDD的虛擬記憶體裡?180F 111.250.209.193 台灣 07/02 00:07
Gauss: 上百T的虛擬記憶體隨便用
as6633208: https://reurl.cc/94D77v182F 114.137.216.121 台灣 07/02 00:09
適用於大型記憶體人工智慧超級電腦的 DGX GH200 | NVIDIA
[圖]
NVIDIA DGX GH200 專為處理適用於大型推薦系統、生成式人工智慧和圖形分析的 TB 級模型而設計。 ...

 
jhangyu: 他還有發言要用A100來打遊戲183F 59.127.175.174 台灣 07/02 00:14
jhangyu: 他連上禮拜極客灣的影片都沒看
jhangyu: 那個A100裡面全是AI單元,根本跑不動遊
jhangyu: 戲
jhangyu: 還打遊戲不會輸咧
jhangyu: A100打遊戲根本內顯都打不過
jhangyu: 因為它壓根就不是拿來打遊戲的
guanting886: 某樓你A100 80G 30萬能買到,你跟哪190F 122.121.245.63 台灣 07/02 00:51
guanting886: 位經銷叫貨的可以分享一下嗎?
aegis43210: A100可以玩遊戲呀,到了H100才砍了一192F 123.204.13.213 台灣 07/02 01:08
aegis43210: 堆RT單元
ehai0725: 價差這麼大說cp值,果粉邏輯堪慮...194F 39.15.49.62 台灣 07/02 01:59
w3160828: 都30萬了幹嘛不拿a100195F 36.237.217.2 台灣 07/02 02:19
hellomotogg: 編譯xcode也沒比較快196F 124.218.58.241 台灣 07/02 03:35
seanwu: 感覺很像10年前在推的HSA計算XD197F 125.229.71.95 台灣 07/02 08:59
seanwu: 另外傳統內顯印象中也不是unified memory
seanwu: 理想上是要CPU/GPU共用MMU的,
seanwu: 單純主記憶體切一塊給GPU不算
Chilloutt: 蘋果軟體的生態圈完全不用擔心201F 223.137.34.212 台灣 07/02 10:04
ptta: 一台m2 ultra 可抵8張顯卡202F 220.136.6.9 台灣 07/02 10:34
fthufccqpk: 以前Mac PRO intel版頂歸可是要16X萬203F 59.126.81.227 台灣 07/02 11:10
a000000000: 就HSA沒有真的推起來過204F 76.132.63.174 美國 07/02 12:27
a000000000: 然後剛好m2 ultra記憶體可以到192GB
a000000000: 現在LLM又需要超大記憶體
a000000000: 現有的pc平台不管hsa+超大記憶體都無
a000000000: 法實現
a000000000: 我記得蘇媽大概zen5還哪代
a000000000: 好像就要把mi300那種架構放一般server
a000000000: 差不多等於mi300把hbm換普通dram
a000000000: 如果server有  那TR級的就有機會惹
haworz: 要快直接根據演算法出ASIC不是更快213F 223.139.178.169 台灣 07/02 14:49
a1234567289: 樓上執行模型只需要晶片是不是214F 49.216.42.200 台灣 07/02 16:46
comipa: 把ram一起刻進去 (X)215F 220.133.98.140 台灣 07/02 17:12
a1234567289: 跑模型還需要Compiler 和Runtime 捏216F 49.216.42.200 台灣 07/02 17:36
a1234567289:   CUDA做了一堆事…
aegis43210: 先做一個可以過濾雜訊的AI演算法,不218F 123.204.13.213 台灣 07/02 21:47
aegis43210: 然記憶體一直肥大
sableangle: 說30萬怎麼不去買A100的大概也覺得只220F 49.158.21.172 台灣 07/02 21:50
sableangle: 要有A100 CPU 主機 電源什麼都不用的
sableangle: 就可以開始算了 大概對要買到可以開機
sableangle: 要花多少錢沒什麼概念
airken99: 只關心到移動端AI的發展,一體化架224F 111.83.23.157 台灣 07/02 22:42
airken99: 構應該有優勢
Alwen: 這個在B站被噴翻欸= =226F 118.232.100.36 台灣 07/02 22:48

--
※ 看板: PC_Shopping 文章推薦值: 0 目前人氣: 0 累積人氣: 122 
作者 hugh509 的最新發文:
點此顯示更多發文記錄
分享網址: 複製 已複製
guest
x)推文 r)回覆 e)編輯 d)刪除 M)收藏 ^x)轉錄 同主題: =)首篇 [)上篇 ])下篇