作者 u9612123 (只會衝鋒)標題 [請益] Linux 雙顯卡工作站時間 Wed Oct 18 00:22:31 2023
小弟只懂寫軟體平常都在Windows底下開VM裝Linux工作
現在打造一台工作站想省掉虛擬化
用原生純純的Linux跑Docker, K8s,
也可以裝個Windows虛擬機使用Office系列
或是Multiple GPUs on the same machine vs Distributed GPUs
需求說完，硬體:
CPU: 7500F (5200元)
主機板: ProArt B650-CREATOR (8000)
顯示卡: 3060三風扇*2 (9000*2)
SSD: MX500 1TB*2 (2000*2)
記憶體: DDR5 32G*2 金士頓 (3200*2)
電源: 海韻 Focus GX-850 ATX3.0 850W (4200)
為啥選主機板配那麼多預算
因為ProArt B650-CREATOR 支援X8 X8
剛好分配給兩張顯卡一樣的帶寬而且3060吃不滿PCEI4.0 X8
為啥不買3090，因為小弟沒錢不然上兩張3090
記憶體先上兩條，日後有需求在繼續買
我看了配置主機板錢好像花多了
但這已經是我能找到最便宜的x8 x8主機板
CPU好像用的挺便宜5000有找
聽說Linux大神Torvalds把他的工作機換成AMD?
但又不知道消費者I系列對SERVER應用支援好不好
不然把CPU預算拉到13000以內I系列也是可以的
說不定我哪天中頭獎把兩張3060換成兩張3090
這高貴的CPU就有用武之地
這台機器的工作就是充當我寫程式跑跑ML的機器
或是掛一堆Container之類
小弟三十好幾對3A大作沒興趣現在拿童年回憶
世紀帝國、D3出來打沒十分鐘就不想玩了
還不如出門走走故地重游
有請各位大大分享經驗，感謝各位大大不令指教!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 219.70.147.33 (臺灣)
※ 作者: u9612123 2023-10-18 00:22:31
※ 文章代碼(AID): #1bBhJC8D (PC_Shopping)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1697559756.A.20D.html
→ labbat: 何不使用linux系統，虛擬機跑windows？1F 180.177.2.153 台灣 10/18 00:23
→ E7lijah: 就連4090跑4.0 x8也只會損失3%效能2F 27.240.248.33 台灣 10/18 00:26
原來如此，筆記
→ chang1248w: 為啥想用雙卡？
完全可以到隔壁先拉一張3090，存錢等下一張3F 42.73.241.59 台灣 10/18 00:27
推 promaster: 就算2張3090能達成什麼目標？連nvlink都被廢了
這廢熱還是組一台烤箱吧！6F 1.200.41.188 台灣 10/18 02:40
應該說看到同行用5張1080Ti 組了一個K8s GPU Cluster就想知道Distribute GPU跟單機插?
→ aq981334: 現在一台主機兩張民用級顯卡 好像不存在什麼用途了？9F 220.134.224.118 台灣 10/18 03:06
從資料科學角度確實沒多大用處，或許從系統工程層面有點價值??
→ aq981334: 我唯一能想到的用途就是一台主機上跑著ESXI或PVE之後各個虛擬機單獨分配一張獨顯？
I系列大小核 對Sever 應用都不太好就是了11F 220.134.224.118 台灣 10/18 03:07
我就是怕大小核，畢竟專業軟體如Adobe有Intel優化，但Server應用DB、NGINX之類就不好?
推 sma1033: 只有你想不到，沒有用不到，多顯卡很好用一張卡長時間跑model training，另一張卡還能做別的事情，工作就是要這樣才有效率可以不要再遊戲黨看天下了好ㄅㄟ
我自己裝139k+192G記憶體+3090x2當工作站好用的很，唯一缺點就是穩定性比不上商用工作站，不過看在價錢實惠的份上用來還行16F 130.216.212.170 紐西蘭 10/18 05:02
對壓，Dell Server專用的SSD 960GB就要1萬，就不要說記憶體 CPU加起來一台低消也要15?
推 sma1033: Linux多工應用目前都沒碰到問題23F 130.216.212.170 紐西蘭 10/18 05:08
有大大這句話我就放心了
→ soulgem: 真的要看更仔細的用途, 偏ML還是偏系統..24F 140.112.30.186 台灣 10/18 06:16
沒錯!
→ soulgem: 單卡怕 model training 爆掉影響日常使用(現行 3960X+256G RAM+3060+A4000...)
3090x2 可能是電費受不了25F 140.112.30.186 台灣 10/18 06:17
挖猛猛的，這24HR運作每個月就要幾千的電費
→ soulgem: 大小核確實裝 Windows 比較好 (思)
7字頭可能沒有內顯+雙顯方案的感覺...
副機是 5700g+b550-creator+雙卡 PVE...但是這台副機不常開, 真的會傷電(眼神死)內顯+雙顯 PVE 才會一個 VM 給一張卡
PVE 自己從內顯出
僅供參考
若偏向多容器應用建議把 RAM 搞多一點.28F 140.112.30.186 台灣 10/18 06:20
推 sma1033: 消費級平台的硬傷就是RAM只能192G，HEDT平台又一直被放生，想組便宜工作站真的難想弄24H開機的GPU運算主機真的在硬體層面必須要費很多腦子，不然就要多花錢或是犧牲穩定性，零件隨便實在湊很容易踩雷36F 130.216.212.170 紐西蘭 10/18 06:50
是阿，感謝大大分享組工作站心得。
推 henrylin8086: Linus好像是用Threadripper，那是不同規格的東西。41F 223.139.153.11 台灣 10/18 07:49
→ eXcFerGodSt: 更正一下 那不是什麼大神 那是 Linux 他爸43F 49.216.165.56 台灣 10/18 08:28
→ mtc5566: 撇開I/A不談 AM5記憶體未必能上6400 拿Lancer 6000就可以了 時序低效能說不定還更好45F 39.14.32.40 台灣 10/18 12:06
感謝分享資訊!
推 froce: 為啥我看不懂你到底要問啥…
你這配置沒啥問題啊，要跑Linux server就確定主要設備和網卡驅動沒問題就好，所以你到底要問啥？49F 111.82.111.100 台灣 10/18 15:10
求個安心吧!
推 froce: 要更穩一點就上ECC ram，消費平台極限大概就在那裡而已。53F 111.82.111.100 台灣 10/18 15:11
Yes, Sir
→ soulgem: Docker/k8s 可以在原生 linux 下
但是 ESXi/PVE 是 hypervisor 整台成虛擬所以機器蓋起來要怎樣控制就得先想好.
應該說是半虛擬, 但是那兩個會變遠端控機55F 140.112.30.186 台灣 10/18 15:14
對阿，還是原生裝Docker/K8s，再裝個VM Workstation之類跑Windows比較不那麼複雜
※ 編輯: u9612123 (219.70.147.33 臺灣), 10/18/2023 20:58:00
推 froce: 我不知道你目前的環境。但我的經驗是如果你習慣在windows下開發，獨立一台windows開發機一台linux建置機會比較好。
Windows下現在wsl2+docker要跑ml訓練還算ok。
建置機的話就一定要弄虛擬化平台比較方便。
主力不是在linux下生活，要在虛擬機裡每天用windows…說真的我完全不想折磨自己59F 111.82.111.100 台灣 10/19 08:28
→ u9612123: 應該說就是看大神用五台1080Ti組分散式集群，決定先買兩個3060塞在一起玩玩看，windows單純是用不慣linux內建的open office，可能我前面沒表達清楚，最後感謝大大的回應68F 39.12.121.116 台灣 10/19 11:36
※ 編輯: u9612123 (39.12.121.116 臺灣), 10/19/2023 11:57:42
推 yeeouo: 原po看起來預算很有限 非ecc ram不超頻的話就算是win一個多月不關機也沒問題的
另外不要看到別人組啥跟風 確定自己需求比較重要(繳了一堆學費的經驗
且除非你確定自己在組啥 否則能單不雙！買來大部分時間都跑在單卡上或是雙卡跑不到50%提升是常有的事
一張卡要分成五張卡很容易 見五等分的顯卡 性能損失不大 五張卡要合併成一張 性能損失就比較大了 性價比很低的
比較建議當頂卡已經滿足不了你時再組多卡73F 122.222.63.28 日本 10/19 12:36
--