回看板
Disp BBS
作者 AAAB ()
標題 [新聞] 群聯於交大分享生成式AI落地解決方案 學
時間 Thu Jan 11 02:06:33 2024

https://money.udn.com/money/story/5612/7698948
群聯於交大分享生成式 AI 落地解決方案 學生：獲得啟發性 | 產業熱點 | 產業 | 經濟日報
[圖]
NAND Flash 控制IC廠群聯（8299）日前於國立陽明交通大學舉辦生成式AI的落地解決方案發表會，參加的同學在會... ...

 
2024年1月10日15︰30︰32
經濟日報記者李孟珊／台北即時報導
群聯於交大分享生成式AI落地解決方案 學生：獲得啟發性

NAND Flash控制IC廠群聯（8299）日前於國立陽明交通大學舉辦生成式AI的落地解決方案
發表會，參加的同學在會後於網路上分享心得，大讚作為一個處於有在設計語言模型的研
究生來說，得到極具啟發性的資訊。


群聯曾說，在ChatGPT等超大型AI模型的興起，帶動AI人工智慧於未來可能輔助企業與個
人的無窮想像空間，也因為AI模型的成長速度極快，導致提供AI服務的硬體建構成本大幅
提升，其主要原因為現行AI模型主要運行於GPU與DRAM當中，但未來AI模型的成長速度將
遠超過GPU與DRAM可供給的量。


根據微軟研究報告指出，AI模型的成長速度將會是GPU卡中的DRAM成長速度的200倍，換言
之，現行的AI運算硬體架構成長速度可能已無法滿足AI應用的需求。

據悉，群聯自主研發的AI人工智慧運算服務「aiDAPTIV+』」，是透過群聯獨創整合SSD的
AI運算架構，將大型AI模型做結構性拆分，並將模型參數隨應用時間序列與SSD協同運行
，以達到在有限的GPU與DRAM資源下，最大化可執行的AI模型，預計能有效降低提供AI服
務所需投入的硬體建構成本。


群聯將相關知識往下扎根，先前在國立陽明交通大學舉辦生成式AI的落地解決方案發表會
，有一名在做語言模型的研究生，於網路上指出，在聽完發表會後，這樣一個解決訓練大
型語言模型受硬體規格限制的創新方案，對他來說，獲得了具啟發性的資訊。


該研究生說明，在過去的實驗中，他經常遭遇到硬體規格不足的限制，使得他難以訓練更
大的語言模型，不過此次群聯的發表會上，提供他許多的思路和解決方案，特別是成本更
低、更有效率的硬體構想，這讓他期待未來能夠以更合理的成本配置硬體，訓練像

LLaMA-13b這樣的大型語言模型。

換言之，意味著實驗室無需投入高昂的成本購買A100等硬體，仍能擁有專業且具有成本效
益的配置。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.194.181.81 (臺灣)
※ 作者: AAAB 2024-01-11 02:06:33
※ 文章代碼(AID): #1bdjohhD (Tech_Job)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1704909995.A.ACD.html
推 jeangodard: 相信....！1F 01/11 02:20
→ peter98: 群聯還是算了~又不是竹科~2F 01/11 05:06
推 KITAN: 喇叭吹起來3F 01/11 06:19
→ DrTech: 降低GPU與VRAM很好，但inference速度怎麼不敢寫在新聞稿了？
這種爛招還不如用LORA, Qlora來訓練模型。4F 01/11 07:26
噓 PoloHuang: 全聯7F 01/11 07:54
→ SkyShih: 萬物皆可AI8F 01/11 07:54
推 una283: 將模型參數隨應用時間序列與SSD協同運行
這句才是技術點9F 01/11 08:37
推 wrt: 先把結帳速度加快吧，每天都等好久11F 01/11 09:36
推 chunfo: 感覺可挖礦12F 01/11 10:22
推 rattrapante: ai有辦法解決小三問題ㄇ？13F 01/11 11:46
推 wulouise: 可是ssd比ram慢這麼多要比什麼？14F 01/11 12:42
推 cmpss89300: 為啥要講inference？看的出來他們這種方案就是要降低training的成本，又不是在edge端要real time運行15F 01/11 14:09
推 physicsdk: 聽君一席話17F 01/11 21:14
推 wuyiulin: 同問這看來是解決 training 端，為何看 influence18F 01/12 03:01

--
作者 AAAB 的最新發文:
點此顯示更多發文記錄