作者:
qazwsd147 (LCC)
122.116.75.164 (台灣)
2024-10-13 10:50:52 推 Ghosts: N卡裝VLLM走非同步request可以很快
不過A卡沒試過,也許也有效果 52F 36.228.231.44 10-14 00:58
作者:
powergene (PowerGene)
125.229.208.132 (台灣)
2024-09-11 00:38:37 → Ghosts: 專注LLM還不如i家d4擠出兩張4090來的有用 22F 101.136.82.165 09-11 09:02
作者:
youngglasses (今月的夜色真美阿)
150.117.243.27 (台灣)
2024-08-26 10:50:04 → Ghosts: 就京东京造,除了矮軸,沒甚麼特色的量產鍵盤廠商 5F 08-26 12:05
作者:
sachialanlus (yeh)
118.160.35.51 (台灣)
2024-06-16 15:43:26 推 Ghosts: 3090x4 + nvlink(非必要) 最簡單
價格也不會到無法負擔,只是二手風險高
llama.cpp的問題是高併發會輸vllm
除非要用cpu+gguf 4bit之類的模型
不然個人偏好還是vllm+gpu 35F 140.118.155.56 06-16 18:35
… 共有 6 則推文,點此顯示
作者:
chang0206 (Eric Chang)
168.138.219.138 (日本)
2024-05-06 11:38:31 → Ghosts: SSD比隨身碟好很正常,淘寶那些算是縮小版SSD
隨身碟插著沒幹嘛也燙的要命,顆粒差,死的自然快 10F 05-06 12:43