作者
標題 Re: [討論] OpenAI GPT o1模型
時間 Thu Sep 19 08:59:58 2024
標題 Re: [討論] OpenAI GPT o1模型
時間 Thu Sep 19 08:59:58 2024
阿肥外商碼農阿肥啦！
目前技術太多都說得太雲裡霧裡，但是截至目前為止針對o1其實OpenAI透露出來的技術細
節都不如過往得多，像之前GPT-4跟GPT-3.5過往還有完整的文件跟引用可以窺探，所以就
不做過份的臆測了。
節都不如過往得多，像之前GPT-4跟GPT-3.5過往還有完整的文件跟引用可以窺探，所以就
不做過份的臆測了。
以目前的一些文件上有提到的可以確定這次o1使用了CoT這絕對是一個Agent沒錯（跟過往
的單一模型不一樣），所以Response Time也會比過往再調用GPT-4o還要久。所謂的CoT本
質上就是一系列分解步驟，讓模型先分解問題再一步一步到最後結果，目前很多研究都發
現針對CoT再進行微調是有用的（ https://arxiv.org/abs/2305.14045 )，所以這種對問
[2305.14045] The CoT Collection: Improving Zero-shot and Few-shot Learning of Language Models via Chain-of-Thought Fine-Tuning Language models (LMs) with less than 100B parameters are known to perform poorly on chain-of-thought (CoT) reasoning in contrast to large LMs when sol ...
拆解迭代算是一種拉高對模型能力上限的方法。
然後目前RL for LLM有很多新的方法，像KTO這類方法將模型去比較兩兩對話的問題轉換
成一個BSO(二元訊號優化）的問題，研究就發現到相比傳統的RLHF甚至DPO，KTO的效果能
起到很好的Regularization（正規化）作用，對比DPO有時候還會過擬和、難以收束優化
不易訓練等問題，KTO可以讓收集數據更簡單（只要收集正負樣本）而且效果也不差。
成一個BSO(二元訊號優化）的問題，研究就發現到相比傳統的RLHF甚至DPO，KTO的效果能
起到很好的Regularization（正規化）作用，對比DPO有時候還會過擬和、難以收束優化
不易訓練等問題，KTO可以讓收集數據更簡單（只要收集正負樣本）而且效果也不差。
另外就是GPT-2 guidance 的方法也算是這幾年比較重要的研究，當前包含谷歌 Deepmind
也發現通過不同種類的LLM不論大小其實也都有對主模型起到類蒸餾的效果，結果也是會
比你單做SFT或RLFH還要好，不過如果是同一個模型重複迭代就有很高的機會發生Model C
ollapse 的問題，這可以從統計學上做很好的解釋，詳細有興趣的就自己去看Paper。
也發現通過不同種類的LLM不論大小其實也都有對主模型起到類蒸餾的效果，結果也是會
比你單做SFT或RLFH還要好，不過如果是同一個模型重複迭代就有很高的機會發生Model C
ollapse 的問題，這可以從統計學上做很好的解釋，詳細有興趣的就自己去看Paper。
以當前來說，我不太認為o1對業界有掀起很高的技術壁壘，反而從這次OpenAI一反常態的
保守有可能推測僅是對現有技術的組合拳。這有可能顯示單一LLM模型這樣訓練下逼近上
限的事實（每家模型大廠可能最後表現都不會差異到哪裡去）。
保守有可能推測僅是對現有技術的組合拳。這有可能顯示單一LLM模型這樣訓練下逼近上
限的事實（每家模型大廠可能最後表現都不會差異到哪裡去）。
以上
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.216.223.33 (臺灣)
※ 作者: sxy67230 2024-09-19 08:59:58
※ 文章代碼(AID): #1cwtUH4m (Tech_Job)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1726707601.A.130.html
※ 同主題文章:
09-17 10:14
09-17 12:46
Re: [討論] OpenAI GPT o1模型
09-19 08:59
※ 編輯: sxy67230 (49.216.223.33 臺灣), 09/19/2024 09:01:57
的，所以去討論AGI有沒有意義就多了。
※ 編輯: sxy67230 (49.216.223.33 臺灣), 09/19/2024 09:22:39
個是prompt engineer沒錯，但這次o1的CoT是類似於隱式設計進去先讓模型生成多個取樣
步驟再像鏈一樣一步一步思考，這也是為什麼當前很多示範都顯示出他很慢，也是我為什
麼會說這次的模型絕對是一個Agent而非傳統意義上的LLM。單一模型存在上限主要也是從
這次OpenAI沒有釋出GPT系列以及其他廠家的技術報告推論出來單一LLM逼近上限的事實，
主要可能原因還是在於高品質數據本身就存在上限，要再提升就要靠類蒸餾（Boostrap)
等方法。至於技術壁壘我認為還是不存在的，畢竟這個谷歌Deepmind大廠其實早在年初也
有類似的技術發表出來了，所以我才會說以OpenAI這次反常到不透露細節的作法，很可能
是怕被競品出現。
--
推 : 你這樣講 感覺AI泡沫就快爆了1F 09/19 09:16
當前還有很多商業應用還可以探索，不至於泡沫就是了，而且很多商業應用是有既定模式的，所以去討論AGI有沒有意義就多了。
※ 編輯: sxy67230 (49.216.223.33 臺灣), 09/19/2024 09:22:39
推 : AI軟體有了，但是對應的硬體還在孵2F 09/19 09:25
推 : 跨某 有沒有外行人也能聽得懂的講法
所以還是跌代逼近嗎 那思考一說又從何而來3F 09/19 10:03
所以還是跌代逼近嗎 那思考一說又從何而來3F 09/19 10:03
→ : AI不會泡沫 但不要過度預估LLM上限5F 09/19 10:11
→ : 看Claude多久推出競品就知道有沒有壁壘6F 09/19 10:36
![[圖]](https://i4.disp.cc/t/o/arcprize.org_media_images_blog_ap-blog-o1.jpg)
推 : 怎麼好像每個版都有一個阿肥==9F 09/19 13:47
推 : 說穿了o1就是自己做了prompt engineer 的工作，但這並不代表能推論出各家模型最終能力都差不多吧？只能說prompt engineer 跟一般使用者用起來的效果差異會變小吧10F 09/19 14:24
剛剛下班才看到，這邊的CoT跟你網路上看到的CoT差異很大喔！傳統上下step by step那個是prompt engineer沒錯，但這次o1的CoT是類似於隱式設計進去先讓模型生成多個取樣
步驟再像鏈一樣一步一步思考，這也是為什麼當前很多示範都顯示出他很慢，也是我為什
麼會說這次的模型絕對是一個Agent而非傳統意義上的LLM。單一模型存在上限主要也是從
這次OpenAI沒有釋出GPT系列以及其他廠家的技術報告推論出來單一LLM逼近上限的事實，
主要可能原因還是在於高品質數據本身就存在上限，要再提升就要靠類蒸餾（Boostrap)
等方法。至於技術壁壘我認為還是不存在的，畢竟這個谷歌Deepmind大廠其實早在年初也
有類似的技術發表出來了，所以我才會說以OpenAI這次反常到不透露細節的作法，很可能
是怕被競品出現。
推 : 這樣假如沒甚麼技術壁壘，也只代表普通人技能更....14F 09/19 15:51
※ 編輯: sxy67230 (1.162.76.16 臺灣), 09/19/2024 20:00:48推 : 谷歌的壁壘就是自己啊 看那個生圖AI還不敢開放 笑死15F 09/19 22:49
--