※ 本文轉寄自 ptt.cc 更新時間: 2024-03-17 22:22:08
看板 Stock
作者 標題 [新聞] ChatGPT每年電費2億?!日耗電量~1.7萬家
時間 Sat Mar 16 14:16:37 2024
原文標題:
ChatGPT每年電費2億?!日耗電量~1.7萬個家庭,網友:挺值!
原文連結:
https://tinyurl.com/yxhvbevc
發布時間:
2024/03/15
記者署名:
明敏豐色
原文內容:
ChatGPT居然這麼費電?
最新的等式出現了:
ChatGPT日耗電量約為1.7萬家庭每日耗電量。
什麼概念? 一年光電費就要花2億!
美國一般家庭平均單日用電29千瓦時,而ChatGPT的單日用電量超過了 50萬千瓦時 。
(美國商業用電一度約0.147美元也就是1.06元,相當於一天53萬元)
消息一出就直接衝上熱搜第一了。
除了OpenAI, Google 也「不容小覷」:
在Google搜尋中應用生成式AI技術,Google每年的耗電量將高達290億度,也就是每天約
7,900萬度。
而在未來,AI這一「吃電巨獸」的食量還會更驚人。
數據統計:
到2027年,人工智慧資料中心的用電量將和荷蘭、瑞典等小國用電量相當。
有網友看完表示:
這是利好光伏和風電?
所以AI最後拼的是誰發電多、誰發電成本低?
AI要耗多少電?
如上數據來自一篇論文《The growing energy footprint of artificial intelligence
》。
作者是荷蘭數位經濟學家Alex de Vries,透過英偉達、OpenAI、Google等公開數據進行
估算。
結果就得出了許多意想不到的結論。
首先,現在大模型訓練時期的耗電量和推理階段相比,已經不值一提了 。
SemiAnalysis數據顯示,OpenAI需要 3617台 英偉達HGX A100、共28936個GPU來支持
ChatGPT推理。
ChatGPT每天需要回應1.95億次請求,預計每天需要消耗564兆瓦時電力,每個請求約2.9
瓦時。
而GPT-3整個訓練階段的耗電量預估為1287兆瓦時,是ChatGPT大約4天的消耗量。
谷歌報告也表示,2019-2021年,與人工智慧相關的能源消耗中有60%來自推理部分。
因此論文提出未來研究AI用電量時,更應該從全週期角度來考慮。
但這也與模型再訓練頻率、模型性能與功耗之間的平衡有關系。比如BLOOM在推理階段的
耗電量就顯著降低。
其次,搜尋引擎如果用上AI,耗電量還會更高。
谷歌方面曾在去年2月表示,AI回應請求的成本可能是一般搜尋的10倍。
數據顯示,使用一次Google搜尋消耗的電量是 0.3瓦時 。 這和上面分析給出的數據相呼
應。
如果要將大模型能力植入到Google搜尋中,預計需要 512821 個HGX A100,按照每台設備
功耗為6.5千瓦來計算,每天將需要80吉瓦時的電力消耗,一年需要29.2太瓦時。
目前Google每天需要處理高達90億次搜索,換算一下,平均每個請求要消耗6.9-8.9瓦時
,已經是普通搜索的20倍+。
同樣的現像在英偉達的財報資料中也可以看到。
去年第二季度,英偉達營收創紀錄,其中資料中心部門較上季度相比成長了141%,這表示
AI方面的需求擴增。
今年,英偉達AI伺服器出貨量可能達到150萬台,總功耗可能達到9.75-15.3吉瓦。 這數
量級的伺服器,每年的用電量將達到85.4-134太瓦時。
不過AI用電量會一路飆漲嗎?
研究認為也不一定。
即使像Google這樣在全球擁有數十億用戶的廠商,也會慎重考慮AI與搜尋引擎的融合。
在硬體、軟體和電力成本壓力下,廠商腳步或許沒那麼快。
硬體生產本身也受到掣肘,AI熱潮使得台積電CoWoS先進封裝產能吃緊,但新建廠真正可
能開始批量生產要等到2027年,這或許也會影響英偉達的出貨量。
以及模型本身的演算法和架構也會讓AI功耗在一定程度上降低。
最終研究認為,關於AI用電量的問題,過於悲觀或樂觀都不可取。
短期內,在各種資源因素影響下,AI用電量成長會被抑制;但硬體和軟體的能源效率提高
,顯然也無法抵銷長期的電力需求成長。
總之,作者認為在AI開發方面,還是不要鋪張浪費的好。 監管機構也需要考慮要求廠商
揭露相關數據,提高整個AI供應鏈的透明度,以便更了解這項新興技術的環境成本。
實際上,先前關於AI消耗資源的話題已經多次引發討論。
有研究指出,到2027年,資料中心人工智慧的用電量將與荷蘭或瑞典等小國的用電量相當
。
加州大學河濱分校研究表明,問ChatGPT5-50個問題,就可消耗500毫升水。
因為AI超算資料中心需要大量水來散熱,微軟也承認用水是訓練模型的一大成本,從2021
年到2022年,其全球用水量飆升了34%,相比研究AIGC前急劇增加。
網友:也要看產出
除了微博,#ChatGPT日耗電超50萬度#的消息也在知乎衝上熱榜第三。
儘管這數據看起來驚人,但不少網友都表示:
我們還是需要比較一下投入產出。
知乎網友@段小草就淺算了一下:
一天50萬度電,1.7萬個美國家庭。 但美國有1.2億個家庭,也就是 只需萬分之一的
家庭用電,就能支撐一個服務全球TOP 1的AI產品、服務數億用戶 ,這還是在浪費能源破
壞環境嗎?
家庭用電,就能支撐一個服務全球TOP 1的AI產品、服務數億用戶 ,這還是在浪費能源破
壞環境嗎?
言下之意,如下所說(來自知乎網友@桔了個仔):
ChatGPT創造的價值其實遠遠超過它的能耗。
和某些技術(咳,懂得都懂)的耗電量相比,它可能更不值一提了。
所以,有人(知乎網友@玩吾傷智)直接就表示,這則消息應該這麼理解:
震驚, 只需要1.7萬一般家庭的電力即可滿足ChatGPT的一日用電需求。 (手動狗頭
)
咳咳,有趣的是,上面的答主@段小草還提到了一篇論文,題為《The Carbon Emissions
of Writing and lllustrating Are Lower for Al than for Humans》,講的是AI 在畫
畫和寫作上的碳排放量一個比人類少310到2900倍,一個比人類少130到1500倍 。
這樣看來,AI甚至算是 「節能減排的先鋒」 。 (手動狗頭)
吶,我們還是早點洗洗睡、關注GPT-5什麼時候發吧。
奧特曼:我們需要可控核融合
話又說回來,儘管比起收益,ChatGPT一日1.7萬個家庭的能耗還不值一提,但AI能耗確實
也是一個值得關注的問題。
而這一點,奧特曼早就「擔憂」了。
在今年1月的一場達沃斯會議中,他表示:
人工智慧的未來取決於清潔能源的突破。
具體而言,他認為:
隨著技術越來越成熟,AI將消耗越來越大量的電力, 如果能源技術無法突破,就無法實
現這一目標 (即讓AI技術釋放全部潛力)。
而現在,大眾還不是很了解這個需求究竟有多大,奧特曼本人也表示也遠遠超出他的預期
。
至於如何提升能源產量,他也直言:
需要 可控 核融合 ,或更便宜的太陽能及儲存等等。
——說起可控核融合,奧特曼其實早就押注了一家相關公司,名叫 Helion 。
他在它身上投資了3.75億美元,這是他以個人名義投資的最大一筆。
除此之外,奧特曼的「爸爸」 微軟 也押注了這家公司。
據了解,Helion成立於2013年,目前約150+員工。 他們預計2028年上線50兆瓦規模的可
控核融合發電項目,微軟將率先採購。
原報告:
https://www.cell.com/joule/abstract/S2542-4351(23)00365-3
參考連結:
[1]https://weibo.com/1642634100/O4lb78n3U?refer_flag=1001030103_
[2]https://www.businessinsider.com/chatg...icity-than-us-household-2024-3
ChatGPT Uses 17,000 Times More Electricity Than a US Household: Report
An average US household is using around 29 kilowatt-hours of electricity while ChatGPT is using more than half a million, The New Yorker reported. ...
An average US household is using around 29 kilowatt-hours of electricity while ChatGPT is using more than half a million, The New Yorker reported. ...
[3]https://www.newyorker.com/news/daily-comment/the-obscene-energy-demands-of-ai
The Obscene Energy Demands of A.I. | The New Yorker
Elizabeth Kolbert on how the advent of artificial intelligence is fuelling a spike in demand for energy consumption. ...
Elizabeth Kolbert on how the advent of artificial intelligence is fuelling a spike in demand for energy consumption. ...
[4]https://www.theverge.com/2024/1/19/24...-breakthroughs-in-clean-energy
Sam Altman says the future of AI depends on breakthroughs in clean energy. - The Verge
The OpenAI CEO said during an event in Davos this week that “We still don’t appreciate the energy needs of this technology,” which is expected to cons ...
The OpenAI CEO said during an event in Davos this week that “We still don’t appreciate the energy needs of this technology,” which is expected to cons ...
心得/評論:
要實現人工智慧普及 就需要大量的GPU和伺服器 沒有穩定和強大的發電量是玩不起來的
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.38.22.144 (臺灣)
※ 作者: jackliao1990 2024-03-16 14:16:37
※ 文章代碼(AID): #1bzJbBGj (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1710569803.A.42D.html
推 : 華城上2000 不要不信1F 03/16 14:18
推 : 蒜粒=電力2F 03/16 14:18
→ : 欸哎重電 無敵的吧3F 03/16 14:19
推 : 科技廠一年電費多少?4F 03/16 14:28
→ : 他們要的是核融合 台廠哪裡有標的5F 03/16 14:32
推 : 華城!華城!華城!6F 03/16 14:35
推 : 剛好台灣不缺電7F 03/16 14:36
推 : 水冷8F 03/16 14:37
推 : 所以台灣才會被外拋阿9F 03/16 14:38
→ : 沒有核能跟人玩什麼,多個幾天沒出太陽就落後了
→ : 沒有核能跟人玩什麼,多個幾天沒出太陽就落後了
→ : 這時候又不敢談暖化議題了...11F 03/16 14:40
→ : 可以自動輪班的強ai出來,連台g也得下去12F 03/16 14:41
→ : 血流成河
→ : 血流成河
→ : 重電又要漲了14F 03/16 14:43
推 : 用電需求大,綠電大爆發15F 03/16 14:43
→ : 你要電,就要電纜16F 03/16 14:43
推 : 柵欄又壞了17F 03/16 14:45
推 : 信號來了喔!18F 03/16 14:46
推 : 所以以後搞AI的,還要自蓋核電廠才能玩得起!!!19F 03/16 14:50
推 : 特斯拉充電樁也是爆炸耗電20F 03/16 14:53
→ : 電這種東西核能蓋好蓋滿就好了
→ : 反正越進步蓋的核能廠越安全
→ : 以前都一堆用到現在了,根本不用怕
→ : 電這種東西核能蓋好蓋滿就好了
→ : 反正越進步蓋的核能廠越安全
→ : 以前都一堆用到現在了,根本不用怕
推 : 全球蓋核電或等外星人給能源科技24F 03/16 14:57
→ : 不然你以為微軟買核電廠拼2026商轉是買爽的嗎?25F 03/16 14:57
噓 : 之前挖礦顯卡就超耗電,看來AI要大規模發展不太可26F 03/16 14:58
→ : 能,AI太耗電了,各國政府不會發展AI吃電怪獸
→ : 能,AI太耗電了,各國政府不會發展AI吃電怪獸
推 : 中興電 中興電 中興電 上50028F 03/16 14:58
推 : 非AI家園喊起來..不過可能沒票29F 03/16 15:05
推 : 一天五十萬度蠻少的 不到台積電的百分之一 台積一30F 03/16 15:08
→ : 年就是百億度 50萬難怪臺灣做AI被人看不起
→ : 年就是百億度 50萬難怪臺灣做AI被人看不起
推 : 用 AI 發電不就好了,自體循環32F 03/16 15:08
推 : 每年兩億電費還是換算成台幣 就算是英鎊歐元美金來33F 03/16 15:11
→ : 計價 對微軟也不痛不癢 我是創始人這兩億要我出也
→ : 沒問題 這篇危言聳聽罷了
→ : 計價 對微軟也不痛不癢 我是創始人這兩億要我出也
→ : 沒問題 這篇危言聳聽罷了
推 : 難怪母體需要那麼多生物電池36F 03/16 15:11
推 : 到時候覺O唯一的用途是去踩腳踏車發電37F 03/16 15:12
推 : 核能產業大利多?38F 03/16 15:15
推 : 才二億..形容的好像很多一樣39F 03/16 15:17
→ : 製造不會耗電的晶片供AI使用就好了 台積電大獲全40F 03/16 15:25
→ : 勝
→ : 勝
推 : 危言聳聽而已,推論的耗電量還比不上全球使用google42F 03/16 15:30
→ : 搜尋引擎的耗電量,用綠電加儲能就能輕鬆彌補這些用
→ : 電
→ : 搜尋引擎的耗電量,用綠電加儲能就能輕鬆彌補這些用
→ : 電
推 : 電價還是太便宜,說真的電最該大漲不然不會有人想節45F 03/16 15:33
→ : 電只會藉機亂漲價
→ : 電只會藉機亂漲價
推 : 問題一直在散熱,而矽光子可以解決散熱問題47F 03/16 15:33
推 : 比挖礦有意義太多了48F 03/16 15:37
推 : 碳排放大戶49F 03/16 15:39
推 : 挖礦也是有意義的,那是維持去中心化的成本50F 03/16 15:41
推 : 矽谷軟體工程師一年要35萬鎂又只能工作8小時, 多買51F 03/16 15:43
→ : 幾張卡少僱幾趴人力, 划算啦
→ : 幾張卡少僱幾趴人力, 划算啦
推 : PC 都要 1,000 W 了53F 03/16 15:48
→ : 谷哥在台有2個資料中心 也是很費電的那種54F 03/16 16:15
推 : 挖擴現在那有什麼意義,去中心化的洗錢? 十幾年過去55F 03/16 16:17
→ : 也沒廣泛用來當交易貨幣
→ : 也沒廣泛用來當交易貨幣
推 : 一年兩億?真的不貴57F 03/16 16:26
→ : 算力當然得投入電力58F 03/16 16:27
推 : 駭客任務是真的!!59F 03/16 16:30
推 : 我覺得這是哲學問題 去中心化是否有實質產出?60F 03/16 16:39
→ : AI是很直接的可以取代人力做出很多智財產出的
→ : AI是很直接的可以取代人力做出很多智財產出的
推 : 才2億 便宜吧62F 03/16 16:42
→ : 比特幣才爛 GPT至少有解決問題
→ : 比特幣才爛 GPT至少有解決問題
噓 : 該抵制了 AI礦卡就該關機 吃電怪獸64F 03/16 16:43
→ : 未來看484直接用人腦神經做神經網路65F 03/16 16:43
→ : 便宜效率高 還能自動變多= =
→ : 便宜效率高 還能自動變多= =
推 : 資源有流動自然就會有產出67F 03/16 16:46
推 : 重電作多就對了68F 03/16 17:04
推 : 唉唷 看到名牌了 微軟真的太強了 能源誰不需要,這69F 03/16 17:06
→ : 才是真的鏟子
→ : 才是真的鏟子
推 : 比挖礦好多了71F 03/16 17:12
→ : AI是萬能的,連核融合都能發明,電力(未來)不是問72F 03/16 17:18
→ : 題,如果沒成功就賠投資人的錢
→ : 題,如果沒成功就賠投資人的錢
推 : 以後就是用駭客任務中的方式為母體供電74F 03/16 17:53
→ : 電力需求至少再噴一倍75F 03/16 18:01
推 : 虛擬垃圾幣整天挖礦浪費的電才多76F 03/16 18:07
推 : 挖礦才叫浪費錢 AI對生產力有幫助77F 03/16 18:13
推 : 還好台灣不缺電78F 03/16 18:19
→ : 貴或便宜先不談,到底有多少人有認真看內容和數字79F 03/16 18:21
→ : 計算,然後發現內文單位是人民幣
→ : 計算,然後發現內文單位是人民幣
推 : 這種算力會不會搞AI是假實則在挖礦81F 03/16 18:26
推 : 相較挖礦那種超浪費電行為 這超省好嗎82F 03/16 18:28
→ : 好 蓋歐印華城了83F 03/16 18:41
推 : 這篇要歐印哪一家股票?84F 03/16 18:42
推 : 才兩億有夠少85F 03/16 18:52
→ : 有那麼困擾嗎?養幾隻皮卡丘就能解決的事。86F 03/16 19:00
→ : 就知道為何老巴一直加碼能緣股87F 03/16 19:02
→ : AI泡沫,問一題要收多少錢?88F 03/16 19:34
推 : 這世界至少有五成人是沒Ai聰明的…… 才1.7萬戶 很89F 03/16 20:18
→ : 划算了
→ : 划算了
推 : 請用愛發電XDDDD91F 03/16 20:37
推 : 沒人在乎-.- 便宜92F 03/16 21:06
推 : 重電歐印93F 03/16 21:29
推 : 核能唯一解94F 03/16 23:34
推 : 美國需要更多的愛95F 03/17 00:29
推 : 核融合算綠電嗎?96F 03/17 01:12
推 : 核電概念股在哪97F 03/17 02:29
推 : 坐等核融合實現98F 03/17 07:19
推 : 比起挖礦平白無故燒掉的電 用在AI有用多了 NV的東99F 03/17 11:57
→ : 西從挖礦轉往AI就知道用電量不會變少 但至少用的有
→ : 價值
→ : 西從挖礦轉往AI就知道用電量不會變少 但至少用的有
→ : 價值
→ : 用愛發電成本最低102F 03/17 17:39
--
※ 看板: Stock 文章推薦值: 0 目前人氣: 0 累積人氣: 56
回列表(←)
分享