顯示廣告
隱藏 ✕
※ 本文轉寄自 ptt.cc 更新時間: 2023-04-22 12:45:24
看板 PC_Shopping
作者 ZMTL (Zaious.)
標題 [閒聊] 投入生成式AI/GPT的顯卡選購建議
時間 Fri Apr 21 12:14:47 2023



看了板上的一些AI組機文,實在有點話想拿出來聊聊。
比較常提到的繪圖大家應該都知道,現在建議就是3060 12G,VRAM稱王,
其他選擇就是4070(Ti) 12G / 3090 24G / 4090 24G,4080 16G CP值太差...之類。

不過我真的強烈建議還弄的到二手3090就去弄、預算有個80K拿4090比較不會後悔。

為什麼呢?


不知道板上關注生成式語言模型(ex:ChatGPT)的人多不多,
GPT現在沒有開源,使用文字生成來做應用(串API)是逐字計費,
所以目前有一些仿GPT、甚至借助GPT訓練的開源語言模型正在發展中。

參考這幾天很紅的
GPT-4識圖功能不開放,MiniGPT-4搶先開放試用!OpenAI有的它都有
https://www.techbang.com/posts/105663
GPT-4識圖功能不開放,MiniGPT-4搶先開放試用!OpenAI有的它都有 | T客邦
[圖]
GPT-4識圖功能遲遲不開放,終於有人忍不住自己動手做了一個。 ...

 

"並且團隊正在準備一個更羽量級的版本,部署起來只需要23GB的VRAM。 也就是消費級顯
示卡中擁有24GB VRAM的3090或4090就可以在本地端執行了。 "

Stable Diffusion團隊剛發布的StableLM
https://github.com/Stability-AI/StableLM/issues/17
GPU support Table & VRAM usage ·  Issue #17 ·  Stability-AI/StableLM ·  GitHub
[圖]
It would be great to get the instructions to run the 3B model locally on a gaming GPU (e.g. 3090/4090 with 24GB VRAM). Confirmed GPUs From this thread ...

 

以及其他語言模型
https://zhuanlan.zhihu.com/p/615199206

至少在這部分24G VRAM很可能會是標配。

一點淺見,感謝電蝦板在我要組跑AI用的電腦時給了很多建議,拿出來分享一下。
也留篇文讓人有機會爬。


--
AI_Art AI藝術與創作板 歡迎各方前來討論AIGC創作與相關議題!

AI情報屋營業中
噗浪:https://www.plurk.com/Zaious
IG  :https://www.instagram.com/zaious.design/
日曆:https://zaious.notion.site/zaious/22c0024eceed4bdc88588b8db41e6ec4

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.124.87.90 (臺灣)
※ 作者: ZMTL 2023-04-21 12:14:47
※ 文章代碼(AID): #1aGWsx_3 (PC_Shopping)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1682050491.A.FC3.html
※ 編輯: ZMTL (59.124.87.90 臺灣), 04/21/2023 12:15:22
oopFoo: ARC a770(16GB)入門好選擇,越來越多的支援。如果你會玩1F 04/21 12:20
aegis43210: ARC也支援了OpenACC想跑氣候分析的也可以玩玩看2F 04/21 12:24
kamir: 哦,我用練好的就好了3F 04/21 12:42
pp520: 的確!你說的沒錯,VRAM 就跟入場券一樣4F 04/21 12:43
KarlJhan: 推 感謝分享5F 04/21 12:43
pp520: stable Diffusion 越做越複雜,後面 8G VRAM6F 04/21 12:44
pp520: 快撐不住了,外掛太多好用的功能
yenchieh1102: Vram至上!8F 04/21 12:45
pp520: VRAM不足,速度再快也是無用武之地9F 04/21 12:46
pp520: 連打開城市的資格都沒有
pp520:       程式
uemo610: AI繪圖=盜圖12F 04/21 13:04
bettle1461: 一個大VRAM且相對新卡便宜的選擇是 3090 Ti,3090 跑13F 04/21 13:18
bettle1461:  diffusion 超燙
mrme945: 3090Ti量太少了,不然的確是比3090好很多的選擇15F 04/21 13:21
oppoR20: 3090是真的燙 可以煮飯的那種16F 04/21 13:24
bettle1461: 不過 4090 真的很強,用3090 Ti 70% 的功耗還加速 1.617F 04/21 13:31
bettle1461:  倍以上,本人親測,根本北極熊救星
Sartanis: 學對岸魔改2080Ti 22GB好了XD19F 04/21 13:37
odanaga: vram大 就是王20F 04/21 13:38
et1783: 還可以研究看看webllm,為A卡打開一扇窗21F 04/21 13:57
soulgem: 23G VRAM... 好吧, 對於 GPU 程式好像沒有 12+12 當 24..22F 04/21 14:29
soulgem: 其實不喜歡模型越搞越大變成計算軍備競賽的趨勢...
soulgem: (還是會用繪圖卡, 雖然慢, 但是可以在相對價格搞到 VRAM)
ZMTL: 能放到家用電腦跑的,目前已經都是「縮小」的模型了(文字部25F 04/21 14:56
ZMTL: 份啦
soulgem: 24G VRAM 繪圖卡就對不到價了, 這就沒辦法 XD27F 04/21 15:04
vsbrm: 跑stable diffusion ,so-vits-svc 這些,選4090還是很有優28F 04/21 15:19
vsbrm: 勢,如果只是玩看看,8G VRAM的顯卡慢慢跑就好了,不用特地
vsbrm: 去換
creepy: HF也有GPT-2的模型 預訓練好的model應該都不用太多vram31F 04/21 15:23
ms0317929: 3090到底跑起來要不要去改散熱那種東西啊?32F 04/21 15:28
creepy: 沒有持續一直跑 限縮瓦數上限 可以不用33F 04/21 15:29
ZEYU: A卡是不是完全不用考慮阿34F 04/21 15:46
Aeryzephyr: 4090只怕線燒毀...35F 04/21 16:13
Aeryzephyr: 目前我還是用2070s的8g在算圖,8g是一個底限
Aeryzephyr: 實際玩起來還行,只是放大不方便用內建的高解析修正..
Aeryzephyr: 只是算圖實在覺得慢,過陣子還是會購入4090
yenchieh1102: 4,現在AI都基於N卡在發展,要玩就是N家最好用39F 04/21 16:27
tsubasawolfy: 目前都在N卡上發展,不過微軟前幾天丟出新聞說他們40F 04/21 17:12
tsubasawolfy: 有打算自製AI專用晶片去應付更大的需求。Project A
tsubasawolfy: thena 從2019開始應該要端出什麼東西來了
trywish: A卡能跑AI,我跳的時候,要訓練lora還做不到。至於速度?43F 04/21 18:37
trywish: rx5700也不算慢了,但因為vram不足,所以壓低效能就慢到
trywish: 哭。真的要玩的確N卡比較好,但A卡還是可以玩,只是真的
trywish: vram要12G以上。lora現在那麼容易抓,其實也沒必要自己去
trywish: 練。主玩遊戲,偶爾跑AI,A卡就夠了。兩者並重,N卡較佳
trywish: 想跑訓練,vram 24G比較好。
trywish: 另外預算也不用80k,4090才56K,折價下來都剩51左右,掛
trywish: 個power 3~5K。CPU在玩遊戲才會出現瓶頸。單論跑AI還好。
trywish: 所以大概55K~60K就能搞定。
jaspergod: webllm有沒有中文不錯的...之前測一個opt-13b感覺還不52F 04/21 22:20
jaspergod: 太能用... 搞半天玩沒幾下就關了XD 感覺還有段路要走
jeffguoft: 前陣子也直上3090了,玩AI 12G絕對不夠用54F 04/22 00:44
ZMTL: 聽說,聽說,Colab要開始限制跑SD又沒付錢買pro的了55F 04/22 01:03
ZMTL: Reddit上正在討論
suitup: 一樓馬上兩個跑出來推770是怎樣57F 04/22 11:33
ronald279: 推58F 04/22 11:48
ronald279: a770跟a卡沒辦法吧 好狠
Aeryzephyr: 千萬不要買N卡以外的顯卡,除非你非常想除錯練經驗值60F 04/22 12:20

--
※ 看板: PC_Shopping 文章推薦值: 0 目前人氣: 0 累積人氣: 332 
作者 ZMTL 的最新發文:
點此顯示更多發文記錄
分享網址: 複製 已複製
guest
x)推文 r)回覆 e)編輯 d)刪除 M)收藏 ^x)轉錄 同主題: =)首篇 [)上篇 ])下篇