顯示廣告
隱藏 ✕
回列表(←)
Disp BBS guest 註冊 登入(i) 線上人數: 278
首頁(home) 上頁(↑) 下頁(↓) 末頁(end)
※ 本文轉寄自 ptt.cc 更新時間: 2023-07-02 22:59:21
看板 PC_Shopping
作者 hugh509 ((0_ 0))
標題 [閒聊] M2Ultra在AI比intel+nVIDIA有架構優勢?
時間 Sat Jul  1 17:17:31 2023

先說我不懂AI運算
只是看了林亦的新影片
https://youtu.be/UsfmqTb2NVY

不想點的，說個大概
意思是
由於M2 Ultra的記憶體是CPU與GPU共用
而且GPU調取記憶體沒啥限制(?
等於有著超大容量和高速頻寬的顯存

對比的是i9 12900+3080TI
中間跑什麼運算什麼訓練，我是不懂

但他的結論、標題
都表明Mac PRO具有極高性價比(他是說最高
可是這套方案要30萬欸
他更是呼籲老黃要出大容量的顯卡

如果蘋果是真的有這麼大優勢
會影響未來PC遊戲卡迭代速度嗎?

--
「我看不到」
「欸 我真的看不到」
「                 」
「我還是什麼都看不到啊...」
「我看不到我看不到我看不到!」

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.253.194.31 (臺灣)
※ 作者: hugh509 2023-07-01 17:17:31
※ 文章代碼(AID): #1ad-ylzP (PC_Shopping)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1688203055.A.F59.html
→ kivan00: 沒生態你要用什麼跑？手刻API嗎1F 223.138.207.31 台灣 07/01 17:19
→ kalarotia: 又在吹蘋果,不累嗎2F 42.75.153.202 台灣 07/01 17:22
→ hugh509: 林亦當然是吹，我關心的是PC卡會不會影響3F 111.253.194.31 台灣 07/01 17:23
推 SunFox58: 不影響 end4F 111.249.161.157 台灣 07/01 17:27
推 ducamao: 你如果連他吹的用途都看不懂的話，那換句5F 1.172.237.112 台灣 07/01 17:35
→ ducamao: 話說。兩個沒交集的領域要怎麼影響
推 raider01: 問題兩邊GPU性能差多少，花同樣的錢可以7F 42.72.191.32 台灣 07/01 17:37
→ raider01: 買到等級不低的運算卡了吧
→ raider01: 3080Ti一張也才多少怎麼會拿來比？
→ scarbywind: 只比硬體你拿AMD不是更便宜10F 223.141.96.189 台灣 07/01 17:39
推 E6300: 3080ti回血阿11F 61.227.209.144 台灣 07/01 17:41
→ as134679258: 互不影響 遊戲卡要的是運算 AI要的12F 125.228.131.13 台灣 07/01 17:46
→ as134679258: 是大容量跟傳輸帶寬 前面展示的大容
→ as134679258: 量帶來得訓練優勢 後面展示大語言模
→ as134679258: 型在local執行的能力
→ as134679258: 說可以抵8張主要是拿顯存放模型
→ as134679258: 跟需不需要那些算力沒直接關係
→ fishworm: 你花30萬都已經能買到a100了，好歹也拿18F 114.36.185.115 台灣 07/01 17:48
→ fishworm: 價格近似的東西來比吧
推 s78513221: 老黃的大顯存是資料中心的專業卡20F 114.136.113.95 台灣 07/01 17:50
→ s78513221: 民用想要的是大顯存的遊戲卡兼學習
推 aegis43210: 老黃又不是傻子，為什麼要出大容量的22F 123.204.13.213 台灣 07/01 17:52
→ aegis43210: 顯示卡，蘋果這個能算的模型又不多
推 s78513221: 但目前的務實之選是…接人家現成的24F 114.136.113.95 台灣 07/01 17:53
→ aegis43210: 能玩的遊戲也少，看不出有什麼競爭力25F 123.204.13.213 台灣 07/01 17:54
→ hugh509: 所以大容量並不是遊戲卡和計算卡共同方向26F 111.253.194.31 台灣 07/01 17:54
→ hugh509: 還以為計算卡被打擊，遊戲卡也會間接受益
→ hugh509: 因為看到這代頻寬開砍有點傻眼
→ hugh509: 價格漲上那麼多規格還有倒退嚕的喔
推 Arbin: SoC在記憶體頻寬上絕對有優勢30F 111.71.218.44 台灣 07/01 18:00
→ Arbin: 但Core ML的生態系太疲軟了
推 tony1768: 先要有人要支援32F 223.139.17.165 台灣 07/01 18:01
推 aegis43210: 繪圖卡的強項是渲染和成像，這塊才是33F 123.204.13.213 台灣 07/01 18:02
→ aegis43210: 老黃最大的護城河
→ spfy: 30萬比12900+3080ti？35F 203.121.243.239 台灣 07/01 18:12
→ fishworm: 不過蘋果M2的確是workstation上cp好36F 114.36.185.115 台灣 07/01 18:14
→ fishworm: 如果有軟體支援，M2目前的確是性價比最
→ Alwen: 不過沒人會拿顯卡跑訓練吧= =38F 118.232.100.36 台灣 07/01 18:17
→ commandoEX: 一張3080不夠強你能上兩張啊39F 118.171.101.225 台灣 07/01 18:19
噓 kira925: 老黃跟蘇媽：歐40F 42.72.32.24 台灣 07/01 18:19
→ commandoEX: M2Ultra就沒有擴充性了41F 118.171.101.225 台灣 07/01 18:19
→ Alwen: 然後一般用戶也買不起也拿不到Grace hopper42F 118.232.100.36 台灣 07/01 18:20
→ fishworm: 如果你的模型夠輕量就可以用消費級跑43F 114.36.185.115 台灣 07/01 18:22
→ fishworm: 通常在於概念驗證，或是edge端上使用
→ fishworm: 蘋果這格會影響的是小型工作站原本會買
→ fishworm: 1~2張消費級顯卡，現在改買M2
→ fishworm: 但要說動搖老黃AI霸權，或消費級PC
→ fishworm: 可以說幾乎沒有
→ Alwen: 其實真能幹翻老黃，新聞早就滿天飛惹= =49F 118.232.100.36 台灣 07/01 18:31
→ Alwen: 現在消費級PC端 老黃都快一統天下= =
→ Alwen: 影片測試AI繪圖...M2好慘..
推 raider01: 可是拿a100打遊戲也不會弱到哪去，肯定52F 42.72.191.32 台灣 07/01 18:56
→ raider01: 比m2ultra好= =
→ raider01: 就上上面說的CP值真的那麼高那些搞資料
→ raider01: 中心的早就多買幾台插滿RAM就好了
→ raider01: 然後原本用N家的也幾乎不太可能轉，光是
→ raider01: 系統轉換就有問題了，運算程式還要重寫
→ iuytjhgf: 就特定用途而已啊 模型不夠大還沒優勢58F 111.252.228.72 台灣 07/01 19:03
推 qwe753951: mi300: hello59F 111.71.45.226 台灣 07/01 19:12
推 aegis43210: 工作站要拿RTX 6000 ada來比才能真的60F 123.204.13.213 台灣 07/01 19:12
→ aegis43210: 比較CP值
推 tututoto: https://i.imgur.com/12XEA01.jpg62F 122.118.14.68 台灣 07/01 19:28
[圖]
推 comipa: 只能玩到沒有hopper的 哭哭~63F 220.133.98.140 台灣 07/01 19:35
→ comipa: GraceHopper最大是480+96GB, NV:M2Ultra?
推 Rust: 有沒有可能NV轉身就推出MacPro的專用顯示卡65F 123.241.92.153 台灣 07/01 19:43
→ Alwen: 不可能 水果行封閉不是一兩天的事情66F 118.232.100.36 台灣 07/01 19:55
→ hugh509: MacPro不是不能插顯卡了67F 111.253.194.31 台灣 07/01 19:59
推 nextpage: 上個月他們開發步會出新桌機時就特別強68F 136.23.35.40 台灣 07/01 20:15
→ nextpage: 掉插槽不能用來插顯卡了,鐵了心要分道揚
→ nextpage: 彪
→ scarbywind: 蘋果現在最主要的問題是你一定會在工71F 223.141.96.189 台灣 07/01 20:23
→ scarbywind: 作流程中的某個環節斷鍊
→ scarbywind: x86頂多就是跑起來效能不太好 貧果是
→ scarbywind: 完全不能跑
推 aigame: 有cuda嗎沒有啊花30萬結果這也不能裝那也75F 111.82.162.195 台灣 07/01 20:28
→ aigame: 不能玩,本地安裝還要找大神有沒有做就算
→ aigame: 有算圖速度也不行,組4090十二萬算很頂了
→ aigame: 上個廁所回來高解析運算跑了四十圖以上不
→ aigame: 用高解析洗個澡算個三百圖算基本款而已
推 aigame: 還有sd一堆插件能不能安裝都是問題就樓上
→ aigame: 說的一定會斷鍊為何我不用完全沒相容問題
→ aigame: 的4090?
推 alvistan: 蘋果說已經太強了 不需要插顯卡83F 125.229.106.95 台灣 07/01 20:33
噓 a27417332: 先噓他，影片越來越沒料84F 61.231.12.41 台灣 07/01 20:43
噓 NoneWolf: 價格都不用統一下？那乾脆拿1030比好了85F 1.200.48.70 台灣 07/01 20:48
→ NoneWolf:  我也用Mac 但這完全就是無腦果粉zzzz
推 a28200266: 蛤87F 36.224.242.164 台灣 07/01 20:49
→ justicebb: 水果就是用封閉換取效率88F 123.110.214.163 台灣 07/01 20:51
→ justicebb: 比較類似遊戲主機的優化概念
→ a28200266: 這論點太迷幻了90F 36.224.242.164 台灣 07/01 20:54
推 raider01: 而且想到另一個重點，如果用內顯都可以91F 42.75.199.171 台灣 07/01 21:21
→ raider01: 的話，又不太需要顯卡效能，那我隨便找
→ raider01: 一顆有內顯的CPU把RAM插好插滿不久好了?
→ raider01: 結論就是M2跑AI有CP根本假議題
推 EAFV: 果粉價值點滿+錢太多+不急著生出成果才會選95F 49.216.133.17 台灣 07/01 22:03
→ EAFV: 這個吧
噓 jacklin2002: 這傢伙跟鐘文澤就同一個路線的97F 114.24.221.204 台灣 07/01 22:04
推 Gauss: 他整部影片都在講Mac Studio 吧？哪來Pro98F 111.250.209.193 台灣 07/01 22:47
→ Gauss: 177,999 台幣就能用上192g的vram很香吧？
→ Gauss: 也不用core ML，PyTorch已經原生支援MPS了
→ Gauss: 連我的老AMD顯示卡MacBook都能煉丹了
→ Gauss: （只是用AMD效率很差）
→ mark0912n: Mac Studio的滿血M2 Ultra大概是20.8萬103F 1.169.208.108 台灣 07/01 22:59
→ mark0912n: 這價格的大顯存替代方案很少吧
→ mark0912n: 不過影片標題也太浮誇了
推 PTTfaggot: 拿ps5來運算不是更屌？106F 36.225.219.164 台灣 07/01 23:02
→ mark0912n: 上面說CPU把RAM插滿 VRAM和RAM不一樣吧107F 1.169.208.108 台灣 07/01 23:05
推 creepy: 幾個月前都可以透過pytorch跑SD了108F 118.165.139.207 台灣 07/01 23:24
推 guanting886: 這個問題就在你到底是在做事還是像109F 42.77.248.121 台灣 07/01 23:25
→ guanting886: 個傻子在比規格。
→ guanting886: 只要能用較低的成本完成某件事那真
→ guanting886: 的是不錯，至少多一點競爭大廠才不
→ guanting886: 會搞怪。
推 leaveleft: 其實個人消費級的電腦，拿來做特定的A114F 98.227.3.119 美國 07/01 23:41
→ leaveleft: I運算，是蠻值得買M2U的，自己建立蘿
→ leaveleft: 莉模型，然後不受道德約束...扯遠了，
→ leaveleft: 但是一般中小型企業真的要搞自己的模
→ leaveleft: 型，思考方式就跟個人不同了，穩定、
→ leaveleft: 拓展性、兼容性，已經不會去計較省幾
→ leaveleft: 萬元了，我對mac沒有研究那麼深，不知
→ leaveleft: 道可不以8台Mac studio 串在一起運算
→ leaveleft: ，如果可以的話，中小型公司確實可以
→ leaveleft: 考慮串起來搞AI
推 Ereinion9895: 問就是生態，要是有生態就能贏，沒124F 27.247.226.61 台灣 07/01 23:42
→ Ereinion9895: 生態你硬體再強也無用武之地
推 tr920: 民用ai機，現在m1m2的確是cp值最高的，不126F 58.114.47.190 台灣 07/01 23:51
→ tr920: 用懷疑，已經很多ai應用測試結果都是如此
推 jhangyu: 樓上一堆觀念錯誤還誇誇其談128F 59.127.175.174 台灣 07/01 23:56
→ jhangyu: 顯存和記憶體不會分？
→ jhangyu: 顯示卡的記憶體頻寬多少
→ jhangyu: 你一般記憶體頻寬多少？
→ jhangyu: 現在珍貴的是顯存容量好嗎？
→ jhangyu: M 系SoC做到的一點是同一記憶體同時具有
→ jhangyu: 顯存的能力
→ jhangyu: 連這個重點都沒抓到
→ jhangyu: 上面一堆還來亂講甚麼鬼東西
→ jhangyu: 還把1030插滿記憶體咧，供三小
→ jhangyu: 當然我不是果粉
→ jhangyu: M2的問題在於空有硬體沒有軟體
→ jhangyu: 光算圖速度就差別人一大截，那個GPU使用
→ jhangyu: 率根本沒跑滿
→ jhangyu: 這就要等看有沒有更多人願意投入生態開
→ jhangyu: 發了
→ jhangyu: 當然以蘋果的不封閉就會死的死樣子
→ jhangyu: 我看還很漫長拉
→ raider01: 有人不知道內顯是直接共用普通記憶體?146F 42.75.199.171 台灣 07/02 00:00
推 jhangyu: 然後上面有人說到重點147F 59.127.175.174 台灣 07/02 00:01
→ jhangyu: 現在生態基本上都是圍繞CUDA開發的
→ jhangyu: 你開發一個模型東缺一個library西缺一個
→ jhangyu: dependencies
→ jhangyu: 光解決這些問題就飽了，浪費一堆時間
→ jhangyu: 時間就是錢，一般公司還是直接買A100/H1
→ jhangyu: 00最快
推 as6633208: 講真的，nv AI強的也不是4090，而是A10154F 114.137.216.121 台灣 07/02 00:02
→ as6633208: 0，在更上面超級伺服器等級的還有dgx g
→ as6633208: h200，甚至nv軟體的優勢cuda，蘋果也沒
→ as6633208: 有提出取代方案，我不覺得蘋果有那麼神
→ as6633208: 可以光靠一個M2晶片就超越nv經營這麼久
→ as6633208: 的AI領域
→ jhangyu: 共用普通記憶體有屁用160F 59.127.175.174 台灣 07/02 00:02
→ jhangyu: 你能把模型load進去嗎
推 mark0912n: 內顯共用普通記憶體 你能跑到800GB/S?162F 1.169.208.108 台灣 07/02 00:02
→ raider01: 上面有人說M2優點是記憶體可以開大163F 42.75.199.171 台灣 07/02 00:03
→ raider01: 那不就只是內顯跟一般記憶體共用了
→ raider01: 反正不是說顯卡運算效能不重要?
→ mark0912n: 那是建立在m2和顯卡有差不多帶寬好嗎166F 1.169.208.108 台灣 07/02 00:05
推 jhangyu: 人家記憶體直接做在SoC旁邊167F 59.127.175.174 台灣 07/02 00:05
→ jhangyu: 頻寬有800G/s
→ jhangyu: 你繞遠路經過主機板的普通記憶體頻寬有
→ jhangyu: 多少？
→ jhangyu: 連人家1/10都不到，賣鬧
→ raider01: 直接用內顯算把東西丟到記憶體上就好172F 42.75.199.171 台灣 07/02 00:05
→ jhangyu: AI運算需要的是記憶體容量和頻寬兩者兼173F 59.127.175.174 台灣 07/02 00:06
→ jhangyu: 具
推 Gauss: 說內顯的那位保障沒用過任何AI框架175F 111.250.209.193 台灣 07/02 00:06
→ Gauss: 根本沒先了解卻能大放厥詞
→ jhangyu: 鬼扯發言，幻想很美好177F 59.127.175.174 台灣 07/02 00:07
→ jhangyu: 叫他自己把自己說的鬼話實現一次看看
→ jhangyu: 我想看笑話
→ Gauss: 怎麼不把模型load進HDD的虛擬記憶體裡？180F 111.250.209.193 台灣 07/02 00:07
→ Gauss: 上百T的虛擬記憶體隨便用
推 as6633208: https://reurl.cc/94D77v182F 114.137.216.121 台灣 07/02 00:09
適用於大型記憶體人工智慧超級電腦的 DGX GH200 | NVIDIA
[圖]
NVIDIA DGX GH200 專為處理適用於大型推薦系統、生成式人工智慧和圖形分析的 TB 級模型而設計。 ...

 
推 jhangyu: 他還有發言要用A100來打遊戲183F 59.127.175.174 台灣 07/02 00:14
→ jhangyu: 他連上禮拜極客灣的影片都沒看
→ jhangyu: 那個A100裡面全是AI單元，根本跑不動遊
→ jhangyu: 戲
→ jhangyu: 還打遊戲不會輸咧
→ jhangyu: A100打遊戲根本內顯都打不過
→ jhangyu: 因為它壓根就不是拿來打遊戲的
推 guanting886: 某樓你A100 80G 30萬能買到，你跟哪190F 122.121.245.63 台灣 07/02 00:51
→ guanting886: 位經銷叫貨的可以分享一下嗎？
推 aegis43210: A100可以玩遊戲呀，到了H100才砍了一192F 123.204.13.213 台灣 07/02 01:08
→ aegis43210: 堆RT單元
→ ehai0725: 價差這麼大說cp值，果粉邏輯堪慮...194F 39.15.49.62 台灣 07/02 01:59
→ w3160828: 都30萬了幹嘛不拿a100195F 36.237.217.2 台灣 07/02 02:19
推 hellomotogg: 編譯xcode也沒比較快196F 124.218.58.241 台灣 07/02 03:35
推 seanwu: 感覺很像10年前在推的HSA計算XD197F 125.229.71.95 台灣 07/02 08:59
→ seanwu: 另外傳統內顯印象中也不是unified memory
→ seanwu: 理想上是要CPU/GPU共用MMU的，
→ seanwu: 單純主記憶體切一塊給GPU不算
推 Chilloutt: 蘋果軟體的生態圈完全不用擔心201F 223.137.34.212 台灣 07/02 10:04
推 ptta: 一台m2 ultra 可抵8張顯卡202F 220.136.6.9 台灣 07/02 10:34
推 fthufccqpk: 以前Mac PRO intel版頂歸可是要16X萬203F 59.126.81.227 台灣 07/02 11:10
噓 a000000000: 就HSA沒有真的推起來過204F 76.132.63.174 美國 07/02 12:27
→ a000000000: 然後剛好m2 ultra記憶體可以到192GB
→ a000000000: 現在LLM又需要超大記憶體
→ a000000000: 現有的pc平台不管hsa+超大記憶體都無
→ a000000000: 法實現
→ a000000000: 我記得蘇媽大概zen5還哪代
→ a000000000: 好像就要把mi300那種架構放一般server
→ a000000000: 差不多等於mi300把hbm換普通dram
噓 a000000000: 如果server有  那TR級的就有機會惹
推 haworz: 要快直接根據演算法出ASIC不是更快213F 223.139.178.169 台灣 07/02 14:49
推 a1234567289: 樓上執行模型只需要晶片是不是214F 49.216.42.200 台灣 07/02 16:46
推 comipa: 把ram一起刻進去 (X)215F 220.133.98.140 台灣 07/02 17:12
推 a1234567289: 跑模型還需要Compiler 和Runtime 捏216F 49.216.42.200 台灣 07/02 17:36
→ a1234567289:   CUDA做了一堆事…
推 aegis43210: 先做一個可以過濾雜訊的AI演算法，不218F 123.204.13.213 台灣 07/02 21:47
→ aegis43210: 然記憶體一直肥大
→ sableangle: 說30萬怎麼不去買A100的大概也覺得只220F 49.158.21.172 台灣 07/02 21:50
→ sableangle: 要有A100 CPU 主機 電源什麼都不用的
→ sableangle: 就可以開始算了 大概對要買到可以開機
→ sableangle: 要花多少錢沒什麼概念
推 airken99: 只關心到移動端AI的發展，一體化架224F 111.83.23.157 台灣 07/02 22:42
→ airken99: 構應該有優勢
→ Alwen: 這個在B站被噴翻欸= =226F 118.232.100.36 台灣 07/02 22:48

--
※ 看板: PC_Shopping　文章推薦值: 0 目前人氣: 0 累積人氣: 128　
作者 hugh509 的最新發文:
點此顯示更多發文記錄
分享網址: 複製 已複製
→
guest
x)推文 r)回覆 e)編輯 d)刪除 M)收藏 ^x)轉錄 同主題: =)首篇 [)上篇 ])下篇