顯示廣告
隱藏 ✕
※ 本文轉寄自 ptt.cc 更新時間: 2024-04-27 15:21:38
看板 Stock
作者 xephon (′・ω・`)
標題 [新聞] 蘋果 AI 終於來了!誠意滿滿,4 種版本開
時間 Sat Apr 27 08:57:48 2024



原文標題:蘋果 AI 終於來了!誠意滿滿,4 種版本開源生成式 AI 模型 OpenELM

原文連結:https://tinyurl.com/478tzuy4

發布時間:2024-04-26

記者署名:鉅亨網

原文內容:

蘋果 (AAPL-US) 因在生成式 AI 領域的腳步太慢,遭微軟、OPenAI、Google 等科技公司
狠甩幾條街,即使執行長庫克表示,今年稍晚就會有生成式 AI 的新進展,仍無法挽回部
分投資人信心,今年迄今股價仍跌逾 12%。如今,蘋果總算有生成式 AI 的新舉措。


為了在加速生成式 AI 的發展,蘋果在開源 AI 平台 Hugging Face 上發布一個具有開源
訓練和推理框架的高效語言模型,名為 OpenELM。

據了解,OpenELM 有四種尺寸:2.7 億、4.5 億、11 億和 30 億個參數版本,定位於超
小規模模型,而微軟 Phi-3 模型為 38 億。 這種小模型運行成本更低,可在手機和筆記
型電腦等設備上運行。


同時,在 WWDC24 開發者大會之前,蘋果徹底開源了 OpenELM 模型權重和推理程式碼
資料集和訓練日誌等。 而且,蘋果還開源了神經網路庫 CoreNet

早在今年 2 月,庫克就表示,蘋果生成式 AI 功能將於「今年稍後」推出,有消息稱即
將在 6 月發布 iOS 18 可能是蘋果 iOS 史上 「最大」的更新,而 9 月也將推出首款
AI iPhone 設備。


如今,蘋果似乎在新一輪 AI 浪潮快到尾聲的時刻追趕上了產業腳步。

隨著 ChatGPT 風靡全球,近幾個月來,三星、谷歌、小米等手機廠商全面推進大語言模
型在手機、平板等端側上的使用,包括照片處理、文字處理增強等,並形成一大賣點 。
而蘋果很少透露且極少有類似的自備功能,主要是用第三方工具做到類似效果。


今年 2 月財報會議上,庫克首次公佈生成式 AI 計劃,並將在今年稍後將 AI 技術整合
到其軟體平台(iOS、iPadOS 和 macOS)中。

庫克表示,「我只想說,我認為蘋果在生成式 AI 和 AI 方面存在著巨大的機會,無需透
露更多細節,也無需超出自己的預期。展望未來,我們將繼續投資於這些和其他 將塑造
未來的技術。 其中包括 AI,我們繼續在 AI 領域花費大量時間和精力,我們很高興能在
今年晚些時候分享我們在該領域正在進行的工作的細節。」


事實上,自年初至今,蘋果在生成式 AI 領域動作不斷。 今年 3 月,蘋果技術團隊發表
論文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》,首
次披露蘋果大模型 MM1,涵蓋 300 億參數、支援多模態、支援 MoE 架構,超半數作者屬
於 華人。

如今,針對手機、平板等端側領域,蘋果真正的開源模型終於來了。

根據論文顯示,蘋果開源了大語言模型 OpenELM,有指令微調和預訓練兩種模型版本,共
有 2.7 億、4.5 億、11 億和 30 億 4 種參數,提供生成文本、代碼、翻譯、總結摘要
等功能。


雖然最小的參數只有 2.7 億,但蘋果使用了包括 RefinedWeb、去重的 PILE、
RedPajama 的子集和 Dolma v1.6 的子集在內的公共資料集,一共約 1.8 萬億 tokens
資料進行了預訓練 ,這也是其能以小參數表現出超強性能的主要原因之一。

例如,11 億參數的 OpenELM,比 12 億參數的 OLMo 模型的準確率高出 2.36%,而使用
的預訓練資料卻只有 OLMo 的一半。

在訓練流程中,蘋果採用了 CoreNet 作為訓練框架,並使用了 Adam 優化演算法進行了
35 萬次迭代訓練。 而蘋果的 MobileOne、CVNets、MobileViT、FastVit 等知名研究都
是基於 CoreNet 完成的。

蘋果在論文中也表示,與以往只提供模型權重和推理程式碼並在私有資料集上進行預訓練
的做法不同,蘋果發布的版本包含了在公開資料集上訓練和評估語言模型的完整框架,包
括訓練日誌、多個檢查點和預訓練配置。 同時,蘋果也發布將模型轉換為 MLX 庫的程式
碼,以便在蘋果設備上進行推理和微調。


「此次全面發布旨在增強和鞏固開放研究社區,為未來的開放研究工作鋪平道路。」蘋果
研究團隊表示。


此外,OpenELM 不使用任何全連接層中的可學習偏移參數,採用 RMSNorm 進行預歸一化
,並使用旋轉位置嵌入編碼位置資訊。 OpenELM 也透過分組查詢注意力取代多頭注意力
,用 SwiGLU FFN 取代了傳統的前饋網絡,並使用了 Flash 注意力來計算縮放點積注意
力,能以更少的資源來進行訓練和推理。 同,蘋果使用了動態分詞和資料過濾的方法,
實現了即時過濾和分詞,從而簡化了實驗流程並提高了靈活性。 也使用了與 Meta 的

Llama 相同的分詞器,以確保實驗的一致性。

這次,蘋果很有誠意將程式碼開源,一開到底,把所有內容都貢獻出來了。 僅 1 天多的
時間,在模型 GitHub 平台上就獲得超過 1100 顆星。

而目前,大模型領域主要分為開源與閉源兩大陣營,國內外知名閉源的代表企業有
OpenAI、Anthropic、Google、Midjourney、百度、出門問問等;開源陣營有 Meta、微軟
、Google、 商湯、百川智能、零一萬物等。

蘋果身為手機閉源領域的領導者,這次卻罕見地加入開源大模型陣營。 有分析認為,這
可能在效法 Google 的方式先透過開源拉攏用戶,再用閉源產品去實現商業化營利。

同時,這也顯示蘋果進軍 AI 大模型領域的堅定決心。

作為同為端側模型、開源模型企業,商湯科技聯合創始人、首席科學家王曉剛近期對鈦媒
體 App 表示,開源還是對於整個社區的發展還是非常重要的,是一個重要驅動力。 最終
大模型的發展包括各種應用,還是要整個社區共同去推動的。 對於大模型的應用也分為
不同的層次,這麼多產業對應用的需求也是不一樣的,豐富的開源社群非常重要。




心得/評論:


蘋果手機銷量下滑,電動車研發失敗,Vision Pro市場需求低

AI 發展很早就有 Siri 但實在差別人太多,蘋果股價整個熊市走法

罕見的在WWDC大會以前,蘋果就在 Hugging face 公開 OpenELM 模型

https://huggingface.co/apple/OpenELM
apple/OpenELM ·  Hugging Face
[圖]
We’re on a journey to advance and democratize artificial intelligence through open source and open science. ...

 


這是真的急了! https://i.imgur.com/mWiRuiK.jpg
[圖]

蘋果跟一堆巨頭戰AI誰贏,我不知道

但我知道蘋果現金很多



--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.218.93.74 (臺灣)
※ 作者: xephon 2024-04-27 08:57:48
※ 文章代碼(AID): #1cB4sNtI (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1714179479.A.DD2.html
s56565566123: 不買單 還在跌1F 04/27 09:00
yan08572002 : 爛蘋果就下去吧2F 04/27 09:01
Homeparty   : 現在都開源在搶市場,訓練好的可以在手機執行3F 04/27 09:03
horseorange : 這次跟不上不敢關門造車囉4F 04/27 09:03
midas82539  : 不就落後人家才搞開源想找免費義工強化自己優勢嗎5F 04/27 09:05
augustlion  : 沒有夢想和創新了6F 04/27 09:05
g007        : 庫克真的沒什麼創意7F 04/27 09:05
midas82539  : 爛梗了啦,按照這間風格它覺得夠了就會停止開源8F 04/27 09:05
Homeparty   : google很早就開源了9F 04/27 09:08
thetide0512 : 老本總有一天啃完的 手腳被看破了10F 04/27 09:08
ppav0v0v    : 蘋果好了啦 夕陽公司11F 04/27 09:10
g0t24568    : 他早就該用了 搜集一堆用戶資訊12F 04/27 09:14
arx3721     : 說真的三星鏡頭放大方便追星跟AI這次真的是贏了蘋果13F 04/27 09:17
y1896547    : 重新定義14F 04/27 09:20
xephon      : 蘋果推出AI手機,果粉買單嗎?15F 04/27 09:22
zx7860601   : 開源讓人免費幫他寫 真不愧是庫克16F 04/27 09:23
EHacker     : 最大更新不是iPad要內建計算機了嗎17F 04/27 09:25
FatFatQQ    : 洗成AI公司就會漲了啦 資金太多不知道去哪parking18F 04/27 09:29
FatFatQQ    :  跟特斯拉一樣
Lipraxde    : Mackbook pro 上跑出這種數據...真敢放出來啊20F 04/27 09:29
FatFatQQ    : 華爾街就是這樣搞21F 04/27 09:29
lelena      : 真正用的到的人不多,頂多嘗鮮,能上網打line就夠用了22F 04/27 09:34
lelena      : 倒不如把續航力增加比較有實用
stocktonty  : 從開創者變成跟隨者 不勝唏噓24F 04/27 09:35
phoenixna13 : 會修出事業線嗎?不會?這幾年蘋果輸華為太多太多了25F 04/27 09:36
gowet       : 最近的題材都只能是幻想阿,實體商做出來就是下去26F 04/27 09:36
gowet       : 元宇宙崩過一次,現在輪到AI囉
FncRookie001: 我倒覺得不錯 嚴格來說蘋果一直都是跟隨者28F 04/27 09:39
j0987       : 變不創新成熟製程+跟屁蟲29F 04/27 09:39
FncRookie001: 蘋果厲害的點是他能夠把自己的產品做成標竿然後賣30F 04/27 09:40
FncRookie001: 最貴
harpuia     : 下一代Nokia32F 04/27 09:42
theropod    : AI手機能幹嘛?33F 04/27 09:42
knives      : AI能夠幫忙打手遊嗎34F 04/27 09:44
inoce       : 賈伯斯吐血35F 04/27 09:46
aaa80563    : 急了?36F 04/27 09:48
JUNGTE      : 吃老本的IP了,老粉離不開而已37F 04/27 09:49
DDDDRR      : 蘋果買單數不買偶數 偶數手機沒一個好38F 04/27 09:51
goodjop     : 市場對庫克早失去耐心39F 04/27 09:53
martylin    : 不用吹,東西拿出來用就知道40F 04/27 09:53
thetide0512 : AI手機可以參考S24 拍照錄影真的超強41F 04/27 09:54
thetide0512 : 以後在即時翻譯上也會有更大突破
tonylolz    : 擺給你抄還抄那麼久43F 04/27 09:55
mc2834      : 蘋果以後乾脆轉為金融公司好了44F 04/27 09:55
Ogrish      : 蘋果靠信仰就贏麻了  像台灣40%一樣45F 04/27 09:56
Lineage5415 : 美國Htc46F 04/27 09:56
g007        : 為什麽賈伯斯都沒好好培養接班人?台積電都先看到這47F 04/27 09:58
g007        : 點了
Ogrish      : 不要最後功能還輸三星S23U更新AI……雖然都是靠蘋49F 04/27 09:58
Ogrish      : 果商標贏銷售
knives      : 要符合賈伯斯標準的接班人很難吧51F 04/27 09:59
g007        : 蘋果除了IPHONE外,近五年沒有大開眼界的消費性電子52F 04/27 09:59
g007        : 產品。
knives      : 而且老賈也沒有時間阿,又不像老張活那麼久54F 04/27 10:00
g007        : 虛擬頭盔也是雷聲大雨點小,電動車也半途而廢55F 04/27 10:00
guanting886 : 這家公司真的很進步 iPad 隔了10幾年終於要上計算56F 04/27 10:01
guanting886 : 機app了。amazing
Yisai       : 下去吧,58F 04/27 10:02
guanting886 : 原本都不屌使用者 硬是要用戶自己去下載一堆廣告的59F 04/27 10:02
guanting886 : 垃圾計算機跟蹩腳的spotlight算東西
guanting886 : 我相信接下來蘋果可以撿過去的東西去完成令人難以
guanting886 : 置信的工廠創舉
marco79811  : 庫克真的是一個很沒料的甲63F 04/27 10:06
s7598261    : 三星谷歌笑而不語64F 04/27 10:08
zxcvb1234522: 現在滿街免費的大型語言模型,是燒錢AI還是賺錢AI?65F 04/27 10:11
b2060027830 : 鴻海噴66F 04/27 10:11
PaulOneil1  : Apple本該是最先走AI的,可惜庫克永遠是成本利潤導67F 04/27 10:12
PaulOneil1  : 向
hensel      : AI iPad計算機69F 04/27 10:12
KSUGOD      : 越來越沒自已的特色了70F 04/27 10:12
KSUGOD      : 11-15 根本都差不多
bing6715    : 屁 沒能力72F 04/27 10:13
bing6715    : 只會買回庫藏股的x公司
Adrian      : 先買100萬台ai伺服器試個水溫74F 04/27 10:14
apolloapollo: 看破手腳 笑死75F 04/27 10:16
Looming     : 這種公司都這樣啦 以為自己還有本事在那邊擠牙膏76F 04/27 10:16
ChoiceLife  : 急了77F 04/27 10:16
Looming     : 你各位還記得intc屌打AMD在那邊爽擠牙膏 不爽不要買78F 04/27 10:17
Looming     : 的嘴臉嗎
superQQ     : 好了啦就是Nokia2.0而已80F 04/27 10:17
WenliYang   : 無聊的東西81F 04/27 10:18
strlen      : 晚了82F 04/27 10:19
zxcvb1234522: Siri加強版83F 04/27 10:20
kducky      : 急了84F 04/27 10:20
lise1017    : 沒關係 大家都買中國手機和泡菜手機打爆台灣產業85F 04/27 10:21
doranako    : 跟其他llm有何不同?86F 04/27 10:21
lise1017    : 台灣產業不倒 貧富差距 高房價 不會好87F 04/27 10:22
lise1017    : 只有全民事業 事業率100% 才有便宜房價 對岸已經示
lise1017    : 範
lise1017    : 事業x 失業o
bodple      : 高價位過燙AI手機 溫暖你心91F 04/27 10:24
kichitai    : 一般人其實對手機ai無感吧92F 04/27 10:26
QooSnow     : 超高價框金的暖暖包。93F 04/27 10:27
cannedtuna  : Ai OS的重點是跟系統整合的程度94F 04/27 10:31
cannedtuna  : 有Siri當底蘋果的進度遠超微軟吧
cannedtuna  : Copilot連加個代辦事項清單都沒辦法
cannedtuna  : Siri只是笨了點但是整合很深
panda816    : 結果股價跌了XD98F 04/27 10:31
dickey2     : 台積電99F 04/27 10:31
jacky40383  : 重新定義AI100F 04/27 10:33
NexusPrime  : 看paper沒寫用什麼硬體來訓練,只有benchmark拿一101F 04/27 10:33
NexusPrime  : 台4090跟M2 Max比….
giantwinter : 重新定義103F 04/27 10:35
tamynumber1 : AI蘋果104F 04/27 10:38
blackstyles : siri只能設定時間的公司能產出多智慧的東西105F 04/27 10:39
lavign      : 名字讓人想到芝麻街的Elmo 很不強的感覺106F 04/27 10:39
Diver123    : 重新定義AI107F 04/27 10:44
gobo        : 庫克還我牛108F 04/27 10:45
afacebook   : 蘋果股價在庫克期間漲了10倍,一哥定位也是庫克期109F 04/27 10:46
afacebook   : 間確定的,沒啥好嘴他的
a125g       : 不是開創者就注定衰退111F 04/27 10:47
jeremytsai  : 重新定義AI 噴爆112F 04/27 10:48
bearq258    : 只會costdown,沒創新設計113F 04/27 10:51
JH10        : 庫克只會搞商業不會搞創新114F 04/27 10:54
Cheng2042   : 手機發展到一個瓶頸了,沒必要常常換手機115F 04/27 10:55
[圖]
leepohom    : 賈伯斯在天之靈一定很後悔找庫克117F 04/27 10:55
small91051  : 廢物118F 04/27 10:56
Chilloutt   : Pura 70 ai功能實用,可以脫衣119F 04/27 10:56
JKjohnwick  : 蘋果股價在庫克期間成長,不就跟這幾年台灣在政府120F 04/27 10:56
JKjohnwick  : 帶領之下成長,同種概念阿
small91051  : 文組的只會做帳和嘴砲,創新就無能啦122F 04/27 10:57
winner0429  : 先炒一根 更新後發現太難用就蹦蹦123F 04/27 10:58
small91051  : 吃老本吃到現在也夠本了124F 04/27 10:58
pponywong   : 要買鏟子了嗎?125F 04/27 11:00
lavign      : MMMU benchmark遠輸chatGPT-4V也輸其他開源模型126F 04/27 11:00
ohlong      : 落後太多不得不全民公測吧?笑死127F 04/27 11:02
ohlong      : 按照水果的尿性開源根本謀摳寧
sugaryeh000 : 自己工程師爛想開源讓人來抬轎,呵129F 04/27 11:03
a28200266   : 重新定義AI130F 04/27 11:04
lavign      : 看OpenAI沒反應就是不被當個咖131F 04/27 11:04
questionboy : 一堆新創AI很強大了132F 04/27 11:12
ksjr        : 急了133F 04/27 11:12
samm3320    : Siri可以有點智商了嗎134F 04/27 11:13
redsaizu    : 這就是封閉式系統的缺點,什麼都要自己做,你哪有這135F 04/27 11:14
redsaizu    : 麼多人這麼多資金?
guanting886 : 跟封閉式系統沒關係吧 開源的好蘋果很清楚137F 04/27 11:17
panda816    : 庫克很趕敲盤子啊 果粉也很願意被敲 就這樣138F 04/27 11:17
panda816    : 你說蘋果的商品有什麼有意義的創新 也沒有啊 有的
panda816    : 只有越來越貴的價錢和沒有顯著提升的硬體
guanting886 : 你現在手邊手機瀏覽器上就webkit的核心 webkit哪裡141F 04/27 11:19
guanting886 : 來的 蘋果家的工程師
[圖]
guanting886 : 這東西普及到沒人會記得144F 04/27 11:20
kakalin     : 算了吧...145F 04/27 11:21
g1254501    : 破廚子繼續搞閉源式系統啊!果粉會支持你的146F 04/27 11:21
lavign      : 訓練一個模型要9個月,現在還輸就是永遠輸了147F 04/27 11:22
andy79323   : 庫克甲甲說他自己是理組148F 04/27 11:23
takeda3234  : 重新定義AI 信仰價格149F 04/27 11:23
zxcchiou    : AI  跑太快了 最終必定開源 閉源沒人要用150F 04/27 11:24
zxcchiou    : Meta 開源的對岸一大堆套皮
zxcchiou    : 蘋果現在才開園 對岸搞不好看不上XD
kidd085     : 穩了153F 04/27 11:26
guanting886 : 蘋果認真要收數據來訓練真的很簡單154F 04/27 11:26
guanting886 : 他們是慢是真的慢 但是數據來說該標籤的該怎麼樣的
guanting886 :  他的用戶都已經標好給他了 真的是時間早晚
guanting886 : 只是看他們偶包有多重
uller       : 落後了 只好開源搶 還敢悶著頭做電車啊158F 04/27 11:33
wei683      : 生成式ai現在也變百家爭鳴,你蘋果是有特別的優勢159F 04/27 11:34
wei683      : 嗎......
monkeywind  : 沒用161F 04/27 11:34
mrnegativetw: Siri那個鳥樣子這能好到哪裡去162F 04/27 11:34
enthusiastic: 名字不夠潮163F 04/27 11:36
oop53       : https://i.imgur.com/cbD2tdz.jpeg164F 04/27 11:38
[圖]
agpc        : 綁架了一堆用戶資訊,還做不出突破的話,看庫克還165F 04/27 11:43
agpc        : 能吃賈伯斯餘蔭多久
g007        : 以前蘋果出手機,果粉是一年換一隻,舊的用一年就賣167F 04/27 11:48
g007        : 掉換新的體驗。甚至台灣都要等到第三波國家開放才能
g007        : 買到,一堆人搶先跑香港 日本去買手機先體驗。全球
g007        : 蘋果剛上市都缺貨要先預購,現在的蘋果。。。新機半
g007        : 年後都走降價促銷了
sasado      : 大AI時代172F 04/27 11:50
Oisiossos   : 能告別智障Siri了嗎173F 04/27 12:00
ccmacker    : 不急,等老八訊號!174F 04/27 12:01
brain9453   : 信仰下滑 急了175F 04/27 12:02
zxcchiou    : 要拿數據資料來打 怎麼搶得贏好幾年就在跑的..176F 04/27 12:03
VidorGu     : 讚讚,我的XR可以更新了177F 04/27 12:08
Ceferino    : 蘋果這家公司能賣你的不會送你178F 04/27 12:15
john65240   : 笑死,要ai算有網路連到伺服器就可以了還三小ai手179F 04/27 12:21
john65240   : 機..
leotompp    : 手機加個計算機就變AI 靠邀笑死181F 04/27 12:26
changmary   : 蘋果只剩手機 其他非死及傷182F 04/27 12:29
ravelson    : 其他科技巨頭錢也很多啊 拼起來又沒在怕183F 04/27 12:36
zgccgz      : 喔 所以我買了要怎用?184F 04/27 12:40
ohlong      : 不見得llm啊..現在他們最爛是llm沒錯 哪天logic p185F 04/27 12:49
ohlong      : ro還是final cut還是內建相機給你綁個硬體ai生成
ohlong      : 還是會賣爆 自媒體門檻變超低
qscgg       : 開源...堂堂蘋果淪落至此...188F 04/27 13:01
goodevening : 現金一堆 沒有就買公司就好了189F 04/27 13:03
wei683      : 相機還要ai生成,那還需要相機幹嘛......190F 04/27 13:13
wei683      : 現在後製技術那麼多,也有圖片影片生成技術
jerrylin    : 所以AI手機可以幹嘛?192F 04/27 13:15
jerrylin    : 我好像不是很想要手機那麼智能
scum5566    : 好好一間公司交到他手上 搞到一直跟著別人屁股走194F 04/27 13:16
wei683      : 應該不會以為現在的生成式ai只有文字吧.....195F 04/27 13:16
daniel6412  : 這種東西贏不了谷歌哈196F 04/27 13:19
heavenlyken : 開源才能訓練AI,免費的最貴。197F 04/27 13:27
harpuia     : 嗯,庫克88~~~198F 04/27 13:27
chrischiu   : 修圖就算了,離線翻譯可以期待199F 04/27 13:31
Eide        : Cook炒冷飯XDD200F 04/27 13:39
xm3u4vmp6   : 幹 Siri 智障多久了 永遠不進步201F 04/27 13:42
dustree     : 那以前的siri算?答錄機?202F 04/27 13:47
DarkerDuck  : AI要重新定義了,買單囉203F 04/27 14:11
kinki5566   : 從引領潮流變跟屁蟲 賈伯斯要氣到彈出來了204F 04/27 14:18
sasado      : SIRI 要進化了205F 04/27 14:21
bamama56    : 早幾年推ai siri  哪還需要玩206F 04/27 14:22
berserkman  : siri:我也是受害者R207F 04/27 14:22
DarkerDuck  : 蘋果AI打不贏領先集團,當然開源軟體抱團啊208F 04/27 14:27
DarkerDuck  : 蘋果現在主要主攻開源小模型,手機自己就可以跑
DarkerDuck  : 不然之前Siri這種語音助理實在是太智障了
frank01     : 做AI? 我看你蘋果還是先學會把產品品質作好吧,最211F 04/27 14:31
frank01     : 近的二台平板都用不到2年就死機掛掉,xxx的!
twinmick    : siri要進化成 airi了嗎?213F 04/27 14:33

--
※ 看板: Stock 文章推薦值: 0 目前人氣: 0 累積人氣: 90 
作者 xephon 的最新發文:
點此顯示更多發文記錄
分享網址: 複製 已複製
guest
x)推文 r)回覆 e)編輯 d)刪除 M)收藏 ^x)轉錄 同主題: =)首篇 [)上篇 ])下篇