這波人工神經網路浪潮其實得力於兩三年前Lecun跟Hinton等等大神推廣的自監督的概念
。自監督其實就是用一種更有效的方法來學習網路或是數據庫長久以來建立的有效自然對
數據，透過自然對來做前訓練期望機器能夠自我學習到自然數據的相對關係。

這其實我們的大腦可能也存在相似的功能，這幾年隨著腦科學的研究其實有一種比較新穎
的想法就是我們的新皮質柱可能不如我們之前設想的有功能上的區分，甚至有可能他其實
都是同一種新皮質細胞(也就是語言、數理能力包含視覺其實都是同一種細胞)，唯一的差
異只有輸入不同才導致他功能不同，而這些新皮質柱其實都存在一種世界模型(world mod
el)，透過世界模型來預測建立參考框架(reference frame)來修正自己大腦的模型，像是
我們觸摸杯子大腦會事先預測杯子的幾何構造，杯身跟杯耳之間的相對關係，當我們大腦
發現存在差異時就會即時修正這個關聯跟更新世界模型。

過往採用監督訓練其實在五六年前在封閉工業環境已經成功了，但是其實在工業環境對於
非在這個領域的業界跟學界其實還是太遙遠了，而這次自監督模式反而因為跟大腦模式相
似所以才會有讓大眾有一種AGI即將誕生的錯覺。

其實整個框架我們也可以發現他跟大腦架構的不同之處，大腦的新皮質通用學習算法其實
是比當前的GPT-4還要強的，大腦的通用算法可以在不到幾毫秒就更新，而且他也會去檢
查世界模型的衝突決定學習率，而當前的GPT模型並沒有這種功能，甚至他的世界模型我
們也很難確定他是否掌握了什麼樣的歸納偏置，近幾個月的研究是有發現GPT-4確實學習
了某種類似真實世界低複雜度高結構化數據的能力，只是更多研究還要再累積一些。

最後，一個比較有趣的問題就是今年2023的新paper阿肥有閱讀到一篇其實是讓模型了解
物理規則概念的，結果研究人員發現模型你先喂他物理因果關聯的數據做預訓練還不如先
給他隱蔽位移(就是給他遮蓋物體的影像)來得好，這就有點有趣了，這似乎某種程度上間
接證明了當前基於神經網路的模型他確實學習到了某種表徵表示，但是他確實無法學會人
類的隱式邏輯概念，這也證明了模型終究還是基於某種類貝葉斯歸納原則的。

剩下還有蠻多有趣的問題也是發現到基於梯度方法的神經網路有其侷限性，像是下面這張
圖我之前在科技版有說明過在這邊就懶得細說了，下面那張圖顯示的是神經網路當前的泛
化難題，也就是我們的數據若是不存在0.8,0.8這種藍色位置可以讓梯度下降到共同的min
imum位置而是柱形的低點，由於每次我們模型初始差異很有可能走到某個位置雖然都是相
同精度但是激活的神經元功能完全不同，這在當前依舊是一個很大的難題，因為模型沒有
像人腦的世界模型，我們很難讓他有基礎的學習，這也是當前為什麼很多學者不認為GPT
是真正的AGI，因為他離人腦的關係還是差異太大，不過即使如此GPT-4依舊展現給我們大
力真的能出奇蹟的湧現能力，這種能力用不同於人類的方式正在改變世界的認知。