ChatGPT每月用的電已經(jīng)夠一個小城鎮(zhèn)生活
分類: 最新資訊
潛能詞典
編輯 : 潛能
發(fā)布 : 04-07
閱讀 :218
在 GPT-4 驚艷亮相并激發(fā)各類生成式 AI 極快迭代的同時，ChatGPT 自身也遇到了不少阻力。馬斯克跟科學家們關于暫停大型 AI 實驗的公開信已經(jīng)征集到近 1.3 萬人簽字，英國、意大利等國也相繼發(fā)布了限制政策。不過反對的聲音沒能壓住用戶需求，后者已經(jīng)先讓 OpenAI 有些扛不住了。繼上周大面積封號后，OpenAI 昨天又主動暫停了 ChatGPT Plus 會員的售賣（截至4 月 6 日上午已經(jīng)恢復）。官方稱暫停升級的原因是需求量過大。根據(jù)流量監(jiān)測網(wǎng)站 Similarweb 最新統(tǒng)計數(shù)據(jù)，今年 3 月 ChatGPT 吸引了全球近 16 億次用戶訪問，較 2 月增長近六成，是 1 月時訪問量（5.9 億次）的近 3 倍。訪問量激增同時帶來算力需求和能耗成倍數(shù)增長。假設每個用戶平均每次訪問提 5 個問題（微軟 New Bing 平均提問輪數(shù)約為 3 次，而 ChatGPT 不限制回合數(shù)），則 ChatGPT 上個月總咨詢次數(shù)接近 80 億次，對應日咨詢量約為 2.7 億次。這還沒算上其他應用通過 API 訪問 ChatGPT 所產(chǎn)生的消耗。但已經(jīng)極其消耗資源。已知 1 張 A100 GPU 推理 1 個單詞大約需要 0.35 秒。假設每個提問長度約 30 個字 / 單詞，則 ChatGPT 每天需要處理 80 億字咨詢量，用一張 A100 GPU 來跑需要約 78 萬小時，對應每天需要約 3.24 萬張 A100 GPU。以上只是平均數(shù)值，考慮到訪問流量存在峰值，OpenAI 如果想完全響應用戶請求，需要儲備的 GPU 數(shù)量還要高出好幾倍。緊張的不光是算力。前述 3.24 萬張 A100 GPU 大約等同于 4000 臺英偉達 DGX A100 服務器（搭載 8 張 A100 GPU），后者售價 19.9 萬美元 / 臺，最大功率為 6.5 kW。以此推算 ChatGPT 硬件成本至少為 8 億美元，其 3 月耗電量約為 1872 萬 kWh。每處理一次用戶請求的耗電量，相當于 60 瓦的燈泡亮 140 秒。這樣一來，項目光是電費就得交近 200 萬美元。2021 年中國居民人均生活用電約 68 kWh/ 月，ChatGPT 單月耗電量差不多跟 27.5 萬中國人相當。（邱豪）
