顯示廣告
隱藏 ✕
回列表(←)
Disp BBS guest 註冊 登入(i) 線上人數: 606
首頁(home) 上頁(↑) 下頁(↓) 末頁(end)
※ 本文轉寄自 ptt.cc 更新時間: 2024-02-21 19:43:57
看板 Stock
作者 Tox (被動收入存錢筒)
標題 [新聞] 大模型Groq首秀引爆話題 自研LPU服務速度
時間 Wed Feb 21 13:38:05 2024


原文標題：

大模型Groq首秀引爆話題 自研LPU服務速度遠快於GPU

原文連結：

https://news.cnyes.com/news/id/5457929
大模型Groq首秀引爆話題 自研LPU服務速度遠快於GPU | Anue鉅亨 - 科技
[圖]
ChatGPT 的新競爭對手 Groq 推出了語言處理單元 (LPU)，並於近期首度公開成果。當提示模型時，答案立即產生。 而且，答案是依據事實，並引述來源，長達數百字，這讓它在社群媒體造成轟動。 ...

 

發布時間：

2024-02-20 16:50

記者署名：

鉅亨網新聞中心

原文內容：

ChatGPT 的新競爭對手 Groq 推出了語言處理單元 (LPU)，並於近期首度公開成果。當提
示模型時，答案立即產生。 而且，答案是依據事實，並引述來源，長達數百字，這讓它
在社群媒體造成轟動。


Groq 憑藉的武器是語言處理單元 (LPU)。 這項尖端技術的速度接近每秒 500 個 token
。 它為數位處理的速度和效率樹立了新的基準。LPU 能將延遲降至最低而脫穎而出，提
供了迄今為止聞所未聞的服務速度。


據報導，Groq 的 LPU 旨在解決 CPU 和 GPU 等舊技術的限制。 當面對大量運算需求時
，傳統的處理架構往往無法滿足要求。 Groq 使用新的張量流處理器 (TPS) 架構來實現
LLM 運算。 憑藉其快速推理和降低功耗的承諾，TPS 和 LPU 有望改變處理資料的方式。

據 X 平台帳號 k_zer0s 發文表示，Groq 的 LPU 不需要像 Nvidia GPU 那樣快速的資料
傳輸，因為它們的系統中沒有 HBM。它們使用 SRAM，其速度比 GPU 使用的速度大約快
20 倍。由於推理運行使用的資料比模型訓練少得多，因此 Groq 的 LPU 更節能。與用於
推理任務的 Nvidia GPU 相比，它從外部記憶體讀取的資料更少，功耗也更少。

LPU 的運作方式與 GPU 不同。 它使用臨時指令集電腦架構，因此不必像 GPU 使用高頻
寬記憶體 (HBM) 那樣頻繁地從記憶體重新載入資料。 這有助於避免 HBM 短缺問題並降
低成本。


LPU 不像 GPU 需要超高速儲存。 Groq 聲稱其技術可以憑藉其強大的晶片和軟體在人工
智慧任務中取代 GPU。

Google TPU 專案的先驅 Jonathan Ross 於 2016 年創立了 Groq。該公司迅速確立了自
己在處理單元創新領域的領導者地位。 Ross 在人工智慧和處理技術方面的豐富背景推動
了 LPU 的發展。


Groq 公司宣稱，其技術能夠透過其強大的晶片和軟體，在推理任務中取代 GPU 的角色。

Ross 曾表示，「Groq 的存在是為了消除『富人和窮人』，並幫助人工智慧社群中的每個
人發展。 而推理是實現這一目標的關鍵，因為『速度』是將開發人員的想法轉化為商業
解決方案和改變生 APP 的關鍵」。


心得/評論：

如果真如報導所聲稱的那麼強, 那麼算力的要求就不需要那麼高?
成本可以大幅下降，對Nvidia是個挑戰

另外該技術似乎不需要大量HBM，對這半年HBM的概念股MU、海力士也是挑戰

--
被動收入存錢筒~

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.126.254.52 (臺灣)
※ 作者: Tox 2024-02-21 13:38:05
※ 文章代碼(AID): #1brOm_BP (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1708493887.A.2D9.html
推 jecint1707  : 過客?1F 02/21 13:39
推 NexusPrime  : 真的這麼強那GPU要退下了嗎？2F 02/21 13:42
推 rxsmalllove : 觀望3F 02/21 13:44
→ BryceJames  : 太棒了 NV殺手愈多 NV越漲4F 02/21 13:44
→ hbj1941     : 先聽聽再說，以前也有很多東西號稱強幾十倍，結果5F 02/21 13:45
→ hbj1941     : 都是假設
→ Tox         : 不知道這公司講的是否真的那麼強,或是某些條件假設7F 02/21 13:46
推 emilchu98   : 所以這幾天NV跌這個?8F 02/21 13:47
推 a2007535    : Gemini 的 Demo都可以 不講重點 類造假了9F 02/21 13:47
→ a2007535    : 這種公司的也有可能只是來發個新聞 騙個投資的
推 a0902236817 : sram取代hbm11F 02/21 13:48
推 Homeparty   : 吹12F 02/21 13:55
推 donkilu     : 針對inference的加速器很多公司都有在做13F 02/21 13:56
→ donkilu     : 但這種特化的解決方案也很容易跟不上日新月異的模型
推 renfro928   :  https://i.imgur.com/GaRxzvs.jpg15F 02/21 14:05
[圖]
→ imhan705    : 不用去猜跌啥 漲多回很正常的16F 02/21 14:05
推 Aska0520    : 這新聞應該還有後半段，Groq的綜合成本是NV的30多倍17F 02/21 14:05
→ Aska0520    : 要實際可以運行需要572張芯片 成本高達1144萬美元
→ Aska0520    : 相比之下，8張H100的系統在性能上與Groq系統相當
→ Aska0520    : 但硬件成本只要30萬美
噓 polypress   : 呃 你要不要重看一次文章，再重寫一次心得21F 02/21 14:09
→ Aska0520    : 所以文章不能只看一半QQ22F 02/21 14:11
→ Altair      : 原來CP值差太多...23F 02/21 14:12
→ bnn         : 成本當然是以後量產才會降下來 現在30倍又怎樣24F 02/21 14:15
推 Transposon  : 沒有像菇狗、軟軟的規模，錢燒完就入土了25F 02/21 14:15
噓 fedona      : 推理使用...26F 02/21 14:15
推 KrisNYC     : Cuda還比較萬用 TPS算是比較貴又功能單一的新解27F 02/21 14:21
→ KrisNYC     : 是說你要繞過cuda幾十年的專利自己出一招真的很難
→ KrisNYC     : 做到這樣已經真的很屌了
→ appledick   : 感覺現在AI根本走錯方向了吧，去處理一些難度很高30F 02/21 14:22
→ appledick   : 的模型運算或模擬才有意義吧，一直說文解字的到底三
→ appledick   : 小
→ KrisNYC     : 說文解字有市場性阿 現在AI已經真的很多人在訂閱33F 02/21 14:23
→ KrisNYC     : 真的很多公司實打實的在收訂閱錢進來了
→ KrisNYC     : chat gpt4免錢的去載來用英文跟他聊天看看
→ KrisNYC     : 你會發現真的幾乎可以取代英文口說家教 而且你跟他
→ KrisNYC     : 聊什麼他都可以回答你 50年前的星戰到最新的電影
→ KrisNYC     : 昨天晚上的特定某廠足球比賽 他都可以跟你尬聊
→ KrisNYC     : 你今天要去開一個會 你大綱寫寫 chat GPT4開起來
→ KrisNYC     : 直接就是一篇你上場可以引用的資料全集
→ Alwen       : 就網路上有人提出成本tco質疑41F 02/21 14:26
→ Alwen       : groq在吞吐量方面被h100屌打
→ Alwen       : 主要是groq的記憶體小到真的是廢到笑
→ appledick   : 現在的AI大材小用，應該應用在一些難以突破的事情上44F 02/21 14:29
→ appledick   : 才是
→ cccict      : 因為語言是種時間序列資料跟圖片不同46F 02/21 14:29
→ appledick   : 現在看起來的應用就是取代掉一些人原本也做的到的47F 02/21 14:30
→ appledick   : 事，然後更快，就這樣
推 KrisNYC     : 其實史丹佛大學已經用AI模擬出95種新的合金49F 02/21 14:45
→ KrisNYC     : 小量測試有4x種大概率可行 未來的2~3年會很驚人
→ KrisNYC     : 會出現全新的材料 人也能做到但是時間和金錢卡住的
→ KrisNYC     : 這種單純試錯練蠱類型的研發 AI真的能降低百倍門檻
→ KrisNYC     : 美國直接要掐斷大陸的AI 力道前所未有是有理由的
→ KrisNYC     : 要知道飛機尤其客機的材料幾乎30~40年沒進步了
推 hcwang1126  : 用在新藥開發也是很可怕的速度55F 02/21 15:06
→ wayne790614 : 人們不會立即為難以做到的事情付錢，但會為了更輕56F 02/21 15:13
→ wayne790614 : 鬆更舒服付錢
→ wayne790614 : 現在的AI只能證明能力很強，但如果不能賺錢就會變
→ wayne790614 : 成泡沫
推 doranako    : Groq是推論引擎，硬體成本高很多，只能在推論引擎60F 02/21 15:38
→ doranako    : ，訓練模型還是用NV
→ doranako    : 訓練用nv，推論groq，完美組合
推 CaTkinGG    : 資訊速食的年代 只要AI幫我們整理個大概就能把資訊63F 02/21 16:00
→ CaTkinGG    : 缺乏的人唬住
推 CaTkinGG    : 以前去圖書館找資料的最後也是被上網找資料的效率
→ CaTkinGG    : 打敗
推 KrisNYC     : 同意樓上 我的小學時代 還有查百科全書比賽67F 02/21 16:06
→ KrisNYC     : 中華大百科每間學校都要備幾套 現在幾乎等同廢物
推 nrxadsl     : 現在紙本百科，有的新的還有附光碟版，但根本沒人去69F 02/21 16:17
→ nrxadsl     : 會用
推 sheng76314  : 蠻神的 速度很快 而且不左膠71F 02/21 16:42
→ bulabowu    : 好像很厲害?72F 02/21 16:48
推 bj45566     : 連大英百科全書都早就被 Google + Internet 打入冷73F 02/21 17:42
→ bj45566     : 宮了
推 bj45566     : 處理高難度的科學運算基本上是超級電腦的任務，AI
→ bj45566     :  是輔助
推 bj45566     : 在很多已經有「數學證明的最佳演算法」的大量複雜運
→ bj45566     : 算，丟給 AI 只是純然浪費時間 -- AI 再強也無法超
→ bj45566     : 越數學，除非你認知的 AI 是靈媒甚至上帝
推 KrisNYC     : 你換個角度去想吧 這些數學都證實能做但太花時間80F 02/21 17:56
→ KrisNYC     : 比如說一個實證要一個團隊跑5年 成功率7%的東西
→ KrisNYC     : 過往錢不夠 人不願意投資 做不出來 AI進來以後
→ KrisNYC     : 5年 同團隊可以跑500次 理論上會成功35件
→ KrisNYC     : 不能投資的東西突然通通可以投資了 這就是AI的魅力
→ KrisNYC     : 我說的新合金比例試錯就是一個例子 你可以想想
→ KrisNYC     : cyber trunk 捨棄了傳統的車架+板金結構 研發了幾年
→ KrisNYC     : 才找到兼顧可量產購強度可以使用的那個造型
→ KrisNYC     : 以後要研發這種造型5年本來只能出一個 變成能出50個
→ KrisNYC     : 現有的車子要模組底盤和鋼架的基本邏輯直接推翻了
推 CaTkinGG    : 百科+光碟 真的是時代的眼淚大合體90F 02/21 18:20
推 bj45566     : 你沒讀懂我的意思或你不是很瞭解 CS -- 我講的是「91F 02/21 19:32
→ bj45566     : 已有數學證明是最佳演算法」的大量運算，像是 sorti
→ bj45566     : ng, shortest path,... 那些計算 AI 沒有插手的空
→ bj45566     : 間，量子電腦反而可能有，總之和你講的東西非常不同

--
※ 看板: Stock　文章推薦值: 0 目前人氣: 0 累積人氣: 29　
作者 Tox 的最新發文:
點此顯示更多發文記錄
分享網址: 複製 已複製
→
guest
x)推文 r)回覆 e)編輯 d)刪除 M)收藏 ^x)轉錄 同主題: =)首篇 [)上篇 ])下篇