※ 本文為 warrenchen 轉寄自 ptt.cc 更新時間: 2024-07-22 22:14:04
看板 TY_Research
作者 標題 [討論] AI模型討論
時間 Sun Jul 21 21:46:32 2024
FourCastNet
程式跟Model Weight
https://github.com/NVlabs/FourCastNet
GitHub - NVlabs/FourCastNet: Initial public release of code, data, and model weights for FourCastNet
![[圖]]()
Initial public release of code, data, and model weights for FourCastNet - NVlabs/FourCastNet ...
https://arxiv.org/abs/2202.11214
[2202.11214] FourCastNet: A Global Data-driven High-resolution Weather Model using Adaptive Fourier Neural Operators FourCastNet, short for Fourier Forecasting Neural Network, is a global data-driven weather forecasting model that provides accurate short to medium-ra ...
Pangu Weather
程式跟Model Weight
https://github.com/198808xc/Pangu-Weather
GitHub - 198808xc/Pangu-Weather: An official implementation of Pangu-Weather
![[圖]]()
An official implementation of Pangu-Weather. Contribute to 198808xc/Pangu-Weather development by creating an account on GitHub. ...
https://www.nature.com/articles/s41586-023-06185-3
3D mesh + vision transformer。暴力解法，model weight最龐大，1.1G
GraphCast
程式跟Model Weight
https://github.com/google-deepmind/graphcast
GitHub - google-deepmind/graphcast
![[圖]]()
Contribute to google-deepmind/graphcast development by creating an account on GitHub. ...
https://huggingface.co/shermansiu/dm_graphcast
shermansiu/dm_graphcast · Hugging Face
![[圖]]()
We’re on a journey to advance and democratize artificial intelligence through open source and open science. ...
![[圖]](https://cdn-thumbnails.huggingface.co/social-thumbnails/models/shermansiu/dm_graphcast.png)
https://arxiv.org/abs/2212.12794
[2212.12794] GraphCast: Learning skillful medium-range global weather forecasting Global medium-range weather forecasting is critical to decision-making across many social and economic domains. Traditional numerical weather predicti ...
這3個模型，家用電腦就可以輕鬆運算。
GraphCast跟PanguWeather都強調，颱風/颶風/氣旋的路徑預測，AI比傳統運算準確。但沒講的就....
然後最重要的事，AI以後會不會大幅進步？答案是，不會，除非有新的AI演算法，或者找到新的資料來源。
AI(deep learning)要進步，就是要更多的資料，但氣象的資料就這麼多了，每年的新增資料也有限，所以AI天氣的準確度，大概就停滯在這裡吧。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 58.114.66.74 (臺灣)
※ 作者: oopFoo 2024-07-21 21:46:32
※ 文章代碼(AID): #1cdH50ao (TY_Research)
※ 文章網址: https://www.ptt.cc/bbs/TY_Research/M.1721569600.A.932.html
推 : GraphCast真的不錯，只是Deepmind又把重心放到其他1F 07/21 21:52
→ : 領域了
→ : 領域了
推 : 感謝分享3F 07/21 21:54
推 : 出道即巔峰的概念嗎4F 07/21 22:07
→ : 可以了啦，已經不給傳統模式活路5F 07/21 22:08
推 : 資料來源就那幾個reanalysis,training結果差很大嘛!6F 07/21 22:26
推 : 插更多測站放更多氣球取得更細緻資料能再改善嗎7F 07/21 22:39
推 : 這些AI模型都離不開 NVDA H100 還有模組Earth -28F 07/21 22:40
推 : AI會進步的....即使演算法不變9F 07/21 23:04
→ : 但演算法是會持續進化的
→ : 單純算力的增加都會提高準確率
→ : 然後隨時都會有新資料進入
→ : 會release的只是basic model
→ : 真正在評估的都是實時在更新資料的
→ : 資料，算力，演算法，都在讓AI更準確
→ : 但演算法是會持續進化的
→ : 單純算力的增加都會提高準確率
→ : 然後隨時都會有新資料進入
→ : 會release的只是basic model
→ : 真正在評估的都是實時在更新資料的
→ : 資料，算力，演算法，都在讓AI更準確
推 : 怎麼可能不會....光AI會自我學習 未來就有無限可能16F 07/21 23:04
AI自我學習？股版看太多了→ : 所以資料要錢 演算法要錢 算力要錢17F 07/21 23:06
推 : data augmentation跟GAN: am i a joke to you?18F 07/21 23:09
什麼樣的discriminator才能GAN？如果有這樣的discriminator，傳統預測早就飛天了。data augmentation也行不通，LLM已經玩過了。好的curated dataset才有好的AI
→ : 砸錢買最強的老黃顯卡RTX4090就有可能吧?19F 07/21 23:10
→ : 我有個同事，他的公司電腦就插了4090來算AI的說
→ : 我有個同事，他的公司電腦就插了4090來算AI的說
推 : Deep learning把網絡層數加深，相同的資料可以榨出21F 07/21 23:14
→ : 更多細節特徵，其實對於準確性都大有幫助
→ : 更多細節特徵，其實對於準確性都大有幫助
推 : 演算法繼續訓練會進化Chatgpt 4o相比前幾代就聰明23F 07/21 23:20
→ : 很多。
→ : 很多。
推 : 嗯，好像真的在培養一個小孩的說25F 07/21 23:30
→ : 除非AI能自創出新的模型，不然用現有的模型去餵能算26F 07/21 23:37
→ : 出來的東西還不是一樣
→ : 出來的東西還不是一樣
→ : 問題是你每年只有幾個颱風颶風的資料可以訓練28F 07/21 23:50
這就是最大的侷限。DL需要大量正確的data來進步推 : AI只會持續進化，而且速度加快，毋庸置疑29F 07/21 23:52
→ : 你如果有能力預測AI的極限，應該忙到沒時間在ptt發
→ : 文
→ : 你如果有能力預測AI的極限，應該忙到沒時間在ptt發
→ : 文
→ : AI會進化 而且不會累 真的是未來趨勢32F 07/22 00:08
推 : AI以後如果是像黃爸說的 連地面建築物對風的影響都33F 07/22 00:14
→ : 能算進去 那精準度一定是很高的
→ : 能算進去 那精準度一定是很高的
推 : 如果這次路徑真能提早這麼多天精準預測 其實以時間35F 07/22 00:20
→ : 序列模型來說已經非常厲害了 同時也達到可提早防颱
→ : 的任務
→ : 序列模型來說已經非常厲害了 同時也達到可提早防颱
→ : 的任務
→ : 主要是人類用數學模型還不足以描述大氣現象，AI可以38F 07/22 00:22
→ : 彌補這部分
→ : 彌補這部分
推 : 運算能力、模型架構、資料量都能夠讓AI能力提升40F 07/22 00:36
推 : 氣象你怎用GAN生資料==41F 07/22 00:58
→ : 每年的資料就只會多那一點點
→ : 重train會怎樣誰也不保證
→ : 每年的資料就只會多那一點點
→ : 重train會怎樣誰也不保證
→ : 但是算力提升應該可以做到更早預測44F 07/22 01:01
→ : 增加節點數量和網路深度算最直關粗暴的方法了45F 07/22 01:03
→ : 另外更細部的接近前地形效應，這個還很有潛力
→ : 另外更細部的接近前地形效應，這個還很有潛力
推 : 算力提升不會更早預測，這不是LLM47F 07/22 01:08
推 : 掌握強化學習的方向，使模型遵守物理定律更重要
推 : 掌握強化學習的方向，使模型遵守物理定律更重要
→ : 現在對AI的期待太高了，AI是好用，但有它的侷限。49F 07/22 06:33
→ : 就像5年前的AI自駕，吹太高了，如果當初簡單
※ 編輯: oopFoo (58.114.66.74 臺灣), 07/22/2024 06:39:40→ : 就像5年前的AI自駕，吹太高了，如果當初簡單
→ : 開始，只專注高速公路，也許現在早就有普及的自駕51F 07/22 06:42
推 : 你有足夠的資料量和數據給他學習 很可怕的52F 07/22 07:50
→ : 放給AI隨機自己去產模型，等等就算出人類應當是三頭53F 07/22 08:00
→ : 六臂這種東西，沒有人類糾正算出來就是一坨垃圾。交
→ : 給隨機的話怎麼不乾脆去廟裡擲杯，反正是一樣的
→ : 六臂這種東西，沒有人類糾正算出來就是一坨垃圾。交
→ : 給隨機的話怎麼不乾脆去廟裡擲杯，反正是一樣的
推 : 16樓標準的普通人思維 問題是有多少東西可以給AI學56F 07/22 09:45
→ : 什麼方法學
→ : 什麼方法學
→ : 我看到了不懂AI的人在談論AI....58F 07/22 09:48
推 : AI算颶風大概就是給定一個曾經出現的颱風，然後給他59F 07/22 09:54
→ : 當時的大氣環境，最後就是不停的給他算，算到最後要
→ : 無限接近吻合當時的真實情形，AI訓練不是普通的機器
→ : 人做事，給他訓練他就會無限變好，要給於懲罰與獎勵
→ : ，除了已發生的真實案例，可以明確的讓算法設計者知
→ : 道如何給予目標獎勵外，要他憑空捏造一個人類都不知
→ : 道正確解答的問題，只會越來越歪像樓上講的一樣算出
→ : 個三頭六臂，按照樓上什麼架構優化 運算算法什麼算
→ : 力進步都根本不是重點
→ : 當時的大氣環境，最後就是不停的給他算，算到最後要
→ : 無限接近吻合當時的真實情形，AI訓練不是普通的機器
→ : 人做事，給他訓練他就會無限變好，要給於懲罰與獎勵
→ : ，除了已發生的真實案例，可以明確的讓算法設計者知
→ : 道如何給予目標獎勵外，要他憑空捏造一個人類都不知
→ : 道正確解答的問題，只會越來越歪像樓上講的一樣算出
→ : 個三頭六臂，按照樓上什麼架構優化 運算算法什麼算
→ : 力進步都根本不是重點
推 : 不過AI應該很早就出現了吧?只是因為去年開始嶄露頭68F 07/22 09:57
→ : 角，會有人不懂好像也很正常?
→ : 角，會有人不懂好像也很正常?
推 : 就跟智慧型手機跟平板剛出的時候一堆人吹取代電腦，70F 07/22 09:59
→ : 最後兩者根本是不同類型的工具
→ : 最後兩者根本是不同類型的工具
推 : AI這幾年被廠商濫用的結果 就是讓一堆人似懂非懂72F 07/22 10:24
→ : 好像只要加上AI就是一個很厲害的東西？@@
→ : 好像只要加上AI就是一個很厲害的東西？@@
→ : 這樓怎麼一大堆普信仔半瓶水響叮噹== 無知還那麼大74F 07/22 11:34
→ : 聲還以為來到股民討論區
→ : 聲還以為來到股民討論區
推 : Ai平台和模型的重大突破也只是去年的事，怎麼老有人76F 07/22 12:21
→ : 愛扯到祖宗十八代
推 : 如同工業革命前早有蒸汽機，只是瓦特做了突破性的
→ : 改良，日後世界就產生重大變革
→ : 愛扯到祖宗十八代
推 : 如同工業革命前早有蒸汽機，只是瓦特做了突破性的
→ : 改良，日後世界就產生重大變革
推 : 地球平均一年80個熱帶氣旋，每年能餵的資料也不少80F 07/22 12:56
→ : 吧
→ : 吧
→ : 問題是，要減少誤差，你需要多多少資料？減半是需要82F 07/22 13:30
推 : 一年80個，觀測的數據抓個50年也才4000筆算少的83F 07/22 13:32
→ : 多50%?多2x?3x?4x?。這幾個model都是用約40年的資料84F 07/22 13:32
→ : 來訓練。你要減半誤差，要多少個40年的資料？
→ : 來訓練。你要減半誤差，要多少個40年的資料？
推 : 一般模型訓練資料大小至少要是feature10倍以上86F 07/22 13:52
→ : 上面最小的graphcast每個網格點都要474個input fea
→ : tures了
→ : 上面最小的graphcast每個網格點都要474個input fea
→ : tures了
→ : 自駕車真的被吹得很厲害 感覺現在還是會有判斷錯誤89F 07/22 14:27
推 : 自駕車最大的問題不是因為人嗎90F 07/22 14:50
推 : 自駕車的問題是車禍責任歸屬，就像有人吹AI看病一樣91F 07/22 15:05
→ : 醫療糾紛算誰的?
→ : 醫療糾紛算誰的?
推 : 你可以信與不信 科學的盡頭是玄學93F 07/22 15:20
→ : 自駕你隨便google waymo就知道了 =.=
→ : 人家都在盈利了
→ : 自駕你隨便google waymo就知道了 =.=
→ : 人家都在盈利了
推 : 然而隨便Google也能看到在加州發生重大車禍96F 07/22 16:09
推 : 台灣也天天在車禍 XD97F 07/22 16:51
推 : AI準，下周股票大漲， 反之。。。98F 07/22 17:00
--
※ 看板: TyPhoon 文章推薦值: 0 目前人氣: 0 累積人氣: 102
回列表(←)
分享