回看板
Disp BBS
作者 wahaha99 (我討厭人類)
標題 [請益] 現在橫空出世的NPU
時間 Wed Dec 27 16:44:38 2023


為了因應即將到來的AI時代,
各家CPU廠開始在CPU裡面加入NPU, 即神經網路處理器

這邊已有一篇評測

https://www.youtube.com/watch?v=cN_bm3jT5VI

以這個評測為例, 讓我有點霧裡看花, 不是很能明白:

Intel Ultra 7 155H

CPU分數 67
GPU分數 413
NPU分數 282

嗯....這NPU看起來沒比較厲害?

所以我的疑問就是:

1. NPU 表現還不如 GPU, 這也許可以理解為最佳化還沒到位,
   不過即使未來能小贏, 為什麼不拿去做GPU就算了, 還可以增加3D性能。

2. NPU 能執行通用計算嗎? 如果可以, NPU 只是神經網路運算特化
   的 GPU?

3. 如何調用 NPU? 是視為 OpenCL / DirectML 裝置?
   還是又整出新的方法跟API了?
   又或只是在GPU下的子集? (調用核顯運算時指示調用NPU?)

有沒有正在行內的說說看吧...

-----

未來五年可能漸漸開始沒人要比x86性能, 改比NPU性能了...


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.169.11.48 (臺灣)
※ 作者: wahaha99 2023-12-27 16:44:38
※ 文章代碼(AID): #1bY-Fu4d (PC_Shopping)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1703666680.A.127.html
※ 同主題文章:
[閒聊] 現在橫空出世的NPU
12-27 16:44 wahaha99
Re: [閒聊] 現在橫空出世的NPU
12-28 08:05 oopFoo
※ 編輯: wahaha99 (118.169.11.48 臺灣), 12/27/2023 16:47:57
→ smallreader: 類似說桌上型處理器可以直接用CPU算但行動裝置會太耗電所以設計專用電路1F 114.27.25.210 台灣 12/27 16:53
→ friedpig: asic拼的就能耗比 除非規模堆到超大 不然輸GPU 也還好吧3F 223.140.22.3 台灣 12/27 16:58
確實
要等NPU的每瓦性能出來才知道

不過類神經網路也是百百種
應該不會是ASIC這麼沒彈性的做法吧
※ 編輯: wahaha99 (118.169.11.48 臺灣), 12/27/2023 17:00:31
→ friedpig: 相容性87%靠one api去處理吧  牙膏養一堆人做one api不是養假的
牙膏的npu 居然是有支援fp16的 本來以為只有到int8的 ASIC5F 223.140.22.3 台灣 12/27 17:00
→ wahaha99: fp16一定要的吧 int8跑AI應該很BI9F 118.169.11.48 台灣 12/27 17:09
推 SHR4587: 看起來問題會是桌上型真的需要這東西嗎目前看起來煮戰場會是筆電跟平板，看微軟之後的動向了10F 220.136.0.247 台灣 12/27 17:17
→ wahaha99: 如果AI服務成為標配,那桌上型肯定也要啊尤其是沒獨顯的系統13F 118.169.11.48 台灣 12/27 17:19
推 aegis43210: 因為微軟想推廣copilot，所以一定要有NPU15F 114.136.179.249 台灣 12/27 17:28
推 kimula01: 以後說不定玩lol可以離線全AI隊友了
全隨機中路 本地電腦運算AI控制隊友17F 59.124.205.12 台灣 12/27 17:33
推 aegis43210: 實際上MTL上面的應該叫VPU，並不是專門拿來加速LLM的推論，所以只是堪用程度，真正的NPU要等ARL19F 114.136.179.249 台灣 12/27 17:34
→ kimula01: 星海爭霸3搞不好也不用微操 每個都AI算22F 59.124.205.12 台灣 12/27 17:35
推 rgo: 炒股用的話術 1-2個月就消風啦
但能把 宏碁 華碩這些帶到突破幾十年的新高也是很利害23F 223.137.176.161 台灣 12/27 17:44
→ lazioliz: 你先會用再來說吧26F 1.174.199.39 台灣 12/27 17:55
推 hidalgo22976: 應該是軟體要優化吧，等於arm64又多了類神經
這華碩年前就在手機做過了
現在還不成熟，之後再看吧27F 1.171.170.150 台灣 12/27 17:56
→ zo6596001: 未來說不定會出現AI小畫家，可以自動摳圖、調色。31F 111.71.116.106 台灣 12/27 18:01
推 Rust: 如果把這個 NPU 設計成插 PCI-E會有市場嗎33F 123.110.251.5 台灣 12/27 18:03
→ stepnight: 已經有自動摳圖了34F 49.216.163.179 台灣 12/27 18:25
→ pig: 可以參考一下 apple 的a系列跟m系列怎麼用的35F 114.33.222.193 台灣 12/27 19:12
→ Ceferino: 特化計算阿，而且應該是CPU+GPU+NPU混合計算，微軟的DirectML團隊應該正在忙這些事36F 123.192.234.4 台灣 12/27 19:16
推 oppoR20: Pcie的不就是tensor tpu嗎
當然沒像npu那麼通用就是了39F 223.139.85.192 台灣 12/27 19:16
推 ss218: 先有實際應用面再來討論效能也還來得及41F 114.34.40.71 台灣 12/27 20:21
→ tokikaze: 目前生成式AI那麼夯哪沒有實用面42F 36.236.197.112 台灣 12/27 20:23
推 Ereinion9895: 他能做的顯卡都能做，只是能耗問題還有是否最佳化過。要是你用4090，npu還是無法贏過那是當然。相較之下筆電上的npu會更加實用。能耗問題43F 114.32.176.250 台灣 12/27 22:46
推 tint: 剛起步 而且還有等未來微軟Win12的要求標準目前NPU主要是執行低精度矩陣乘法 功耗更低48F 218.187.86.49 台灣 12/27 22:47
→ leviva: 說不定zen 5 / arrow lake就會拼NPU了50F 27.52.103.83 台灣 12/27 23:33
→ crimsonmoon9: int8在邊緣運算很常見啊 低功耗精度也不會掉太多
*準確度51F 42.77.118.32 台灣 12/27 23:39
→ stepnight: 對你沒有實際應用
不等於這東西沒實際應用內==54F 49.216.163.179 台灣 12/28 01:30
推 menchian: 是蠻期待以後遊戲導入之後，能看到完全不同風貌的遊戲出現56F 220.134.55.45 台灣 12/28 02:12
推 asmodee: 等PS/XBOX導入再說吧58F 118.161.66.58 台灣 12/28 03:48
→ ma721: 再過2到3代再來煩腦59F 39.14.40.253 台灣 12/28 09:37
推 lpoijk: 當初cpu覺得算圖形很浪費 所以跑出了GPU同樣道理 現在gpu覺得算這些數學很浪費
所以出了npu/vpu
gpu還有很多其他能力 用4090其實很浪費60F 111.196.243.14 中國 12/28 09:50
推 mitchness: 等3代以後吧 前面一定是又貴效能低64F 111.250.42.113 台灣 12/28 10:48
推 phylen: 目前看起來沒什麼特別優勢
https://i.imgur.com/zYp9niP.jpeg
https://i.imgur.com/0ix6TZR.jpeg65F 49.216.160.118 台灣 12/28 12:25
[圖]
 
[圖]
→ phylen: https://i.imgur.com/N01MEMB.jpeg
https://i.imgur.com/acIX0L9.jpeg68F 49.216.160.118 台灣 12/28 12:25
[圖]
 
[圖]
→ phylen: https://i.imgur.com/NesAPsn.jpeg70F 49.216.160.118 台灣 12/28 12:25
[圖]

--
作者 wahaha99 的最新發文:
點此顯示更多發文記錄