回看板
Disp BBS
作者 pl132 (pl132)
標題 [新聞] Nvidia 最大夢魘來臨！AI 聊天機器人執
時間 Sat Feb 24 10:36:48 2024

Nvidia 最大夢魘來臨！AI 聊天機器人執行 Groq LPU 比 GPU 快十倍

http://tinyurl.com/2y4cehyv
Nvidia 最大夢魘來臨！AI 聊天機器人執行 Groq LPU 比 GPU 快十倍 | TechNews 科技新報
[圖]
不論何種 AI 應用，速度非常重要。當我們要求熱門 AI 聊天機器人撰寫文章、電子郵件或翻譯文稿時，我們會希望輸出結果愈快愈好。如今一家專為運行 AI 語言模型設計客製化硬體，並致力提供更快 AI 的 Groq 公司，能以比普通人打字速度快 75 倍的速度呈現結果。  Groq 專為 AI、機器學習 ...

 

不論何種 AI 應用，速度非常重要。當我們要求熱門 AI 聊天機器人撰寫文章、電子郵件
或翻譯文稿時，我們會希望輸出結果愈快愈好。如今一家專為運行 AI 語言模型設計客製
化硬體，並致力提供更快 AI 的 Groq 公司，能以比普通人打字速度快 75 倍的速度呈現
結果。


Groq 專為 AI、機器學習和高效能運算應用程式開發高效能處理器和軟體解決方案，千萬
不要和馬斯克（Elon Musk）的 Grok 聊天機器人混淆，它並非聊天機器人，而且這家總
部位於加州山景城（Mountain View）的公司目前沒有打算要訓練自己的 AI 語言模型，
而會致力讓其他公司開發的模型高速運行。


當前幾乎所有 AI 工具都使用 GPU，但 Gorq 卻使用截然不同的硬體，亦即專為處理大型
語言模型（LLM）而設計的 LPU（Language Processing Unit，語言處理單元）。

由於 Groq 的 LPU 專門設計用於處理像是 DNA、音樂、程式碼及自然語言之類的資料序
列，因此在這類應用方面的處理效能遠勝 GPU。該公司宣稱，其用戶已經使用其引擎和
 API 運行 LLM 模型，其運行速度比基於 GPU 的替代方案快 10 倍。


目前 Grog 在自家官網上提供基於三種不同 LLM 模型（目前提供的模型包括 Meta 旗下
 Llama 2、法國新創 Mistal AI 旗下的 Mixtral-8x7B 和 Mistral 7B）的聊天機器人，
使用者可以免費嘗試在 LPU 加持下的聊天機器人和一般 GPU 支援的效能有何不同


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.177.2.53 (臺灣)
※ 作者: pl132 2024-02-24 10:36:48
※ 文章代碼(AID): #1bsLP2Tn (Tech_Job)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1708742210.A.771.html
※ 同主題文章:
[新聞] Nvidia 最大夢魘來臨！AI 聊天機器人執行 Groq LPU 比 GPU 快十倍
02-24 10:36 pl132
Re: [新聞] Nvidia 最大夢魘來臨！AI 聊天機器人執行 Groq LPU 比 GPU 快十倍
02-24 18:22 chengcti
→ shter: 自 FPU 開始又多了一種特化處理器
以前計概說 FPU 算小數比 CPU 快很多
後來玩遊戲又說 GPU 處理渲染比 CPU 快很多
現在又來 LPU1F 02/24 10:40
推 xurza: 各種 PU 就對了5F 02/24 11:02
推 SilentBob: 懶趴優6F 02/24 11:09
推 jerrylin: 重點是有效內容吧7F 02/24 11:14
推 Francix: Sora都出來了，對LLM特化跑的動Sora嗎?8F 02/24 11:15
噓 PoloHuang: 這個特化過的不是廢話嗎9F 02/24 11:17
推 zonppp: 專門處理語言當然比較快...重點是商用化才會賺錢10F 02/24 11:29
推 jeff85898: 一張卡就要2萬美而且只有230MB記憶體
他們團隊跑一個LLaMA 2 70B就要十台多卡機架式伺服器了11F 02/24 11:45
推 chliu6686: 都要台積14F 02/24 12:11
推 motan: 難怪以後客戶都想自製，效率比較好15F 02/24 12:13
→ samm3320: 這兩個用途不一樣吧16F 02/24 12:24
→ ms0344303: Groq不能拿來訓練17F 02/24 12:32
噓 X28338136X: 專用的ASIC比GPU差就不要做了18F 02/24 12:32
噓 zxp9505007: 短跑選手 vs 鐵人選手 比短跑 哪有這樣比的19F 02/24 12:38
噓 fedona: 只能推理20F 02/24 12:47
推 xmanhman: 感覺像之前挖礦的榮景21F 02/24 12:49
噓 lavign: Nvidia：誰？22F 02/24 12:54
推 lolpklol0975: 通用GPU跟ASIC還是不太能比較23F 02/24 13:20
噓 physicsdk: 外行記者亂寫騙不懂的人24F 02/24 13:38
推 pponywong: 覺得有點唬爛 GPU算是基本的數學運算了
你ASIC要做 也是把所有的運算串起來而已25F 02/24 13:42
→ peter98: 跟石墨烯屌打線在半導體材料一樣讓我有夢靨27F 02/24 14:36
→ twinmick: 怎麼覺得這家公司買新聞買得很厲害，最頭先的新聞有特別說明無法用來訓練，怎麼後面的新聞變超強的感覺28F 02/24 15:09
噓 Raikknen: 專門特化過的處理器要來跟通用GPU比有沒有搞錯30F 02/24 15:25
推 chen20: 成本好像很高31F 02/24 15:32
→ MTKer5566: 通稱DSP32F 02/24 16:02
→ FiveSix911: google不是還有個TPU嗎33F 02/24 16:29
→ wuyiulin: ASIC 嘖嘖。34F 02/24 16:46
推 deolinwind: 如果價格夠低 可以賣斷給不懂又想省錢的客戶35F 02/24 18:04
推 pacers: 不可能夠低啦 都用sram36F 02/24 18:14
推 haley80208: 等a~z用完就可以開始PUA了37F 02/24 18:25
→ Alwen: 黃董都親自點名groq這類晶片很快就過時惹= =
dojo都要過氣惹38F 02/24 20:21
噓 rkilo: 拿特化的比較是有啥意義40F 02/24 21:28
推 stosto: 特化的又不是沒出現過，都一個一個消失了41F 02/24 22:53
推 NikolaTesla: 我覺得特化晶片還是有競爭意義，畢竟LLM也不是經常train，剩下大家使用chatgpt 的活都是建立在inference上，所以如果推論的特化晶片好用了，能部署在雲端的話，可以少買很多GPU吧！42F 02/25 06:50
推 ImMACACO: 特化晶片ASIC未來應該有機會成為加分的奇兵
但主架構還是要 GPU46F 02/25 12:09
推 northsoft: 以後沒有軟體，全刻成IC
想玩天堂，就去7-11買ic來插48F 02/25 16:22
→ yunf: 相對而言這種特製的東西只要下一代一出來就整批沒用你覺得做DNA的設備有可能會把設備轉賣給做音樂的嗎?大家都想最快到達終點誰願意慢人一步?
功虧一簣懂嗎?50F 02/25 16:35
噓 Informatik: 記者寫這什麼洨 功能都搞不清楚 去讀書好嗎54F 02/25 23:01

--
作者 pl132 的最新發文:
點此顯示更多發文記錄