AI用電經部尚未正式評估 揭外商資料中心年耗8億電
人工智慧(AI)被形容爲「吃電怪獸」,主掌國內產業與電力的經濟部目前直言評估用電成長有難度,但一座外商資料中心一年就要耗掉8.4億度電。(圖/Freepik)
人工智慧(AI)被形容爲「吃電怪獸」,對於國內用電衝擊纔要開始,主掌國內產業與電力的經濟部,以「目前並不大」來形容國內AI用電量。但也坦承,現在確實沒有企業實際使用AI數據可做推估,加上半導體業生產是營業機密, 沒辦法單獨估算國內AI用電成長,目前尚未有評估數字。
根據國際上蘇格蘭數據中心公司DataVita創辦人奎恩說法,一臺傳統伺服器的標準機櫃耗電量約4瓩,而 AI伺服器機櫃是其20倍。而一個資料中心內,可能有上百或上千組的伺服器及機櫃,可見耗電量之可怕。
經濟部能源署副署長李君禮說明,評估國內AI用電主要兩個部分來 ,一個是AI晶片製造,隨晶片需求增加,晶圓廠未來勢必會擴廠,另外一塊就是資料中心。「目前AI在臺灣的用電量,並不算大。」
生成式 AI 共分爲訓練、微調與推論(查詢服務)三階段,臺電表示, 根據微軟發佈的數據,參數量高達 1750 億個的 ChatGPT模型,訓練一次的用電量約 128 萬度。而ChatGPT 每天要回應的提問高達約 2 億個,消耗約 56 萬度電。Google Gemini 目前每天的提問量約 4 千萬個,用電量推估爲 11 萬度電,用電很可觀。
可是李君禮強調,臺灣產業發展式 AI 方向,不同於 OpenAI 的ChatGPT 或是 Google 的 Gemini 這類通用性大型語言模型,多是在既有的推論模型,使用輕量化、小型化的 AI 模型,針對產業知識再加訓練,所以能源需求遠比國外少很多。
若以單純提問資訊來說,產發署官員指出,回答一個問題,生成式AI搜尋耗電大概是Google的7倍。目前輝達(NVIDA)在臺北研發中心有一個「臺北一號」,大概一天的用電是1.6萬度,並不算多。可是大型外商資料中心,在臺一座資料中心一天就要耗掉230萬度 ,一年就是接近8.4億度,耗電量就明顯很多。
不過大衆使用生成式 AI,例如 Chat GPT提問,資料送到美國去計算,耗的主要是美國的電。臺電綜合研究所資通研究室主任陳以彥表示,臺灣的生成式 AI 發展以企業應用爲主,主要會使用 Llama 、TAIDE 等模型,參數量以70 億個來說,僅是ChatGPT的1750 億個參數的0.04%,差距相當大。預估臺灣企業估訓練一次的用電量可控制在 10000度以內,微調一次則在 1000度以內。不管在做訓練或者做推論,耗量電都遠比大型語言模型少很多。
除資料中心,AI用電增長一大塊會來自 AI 各式半導體元件產程需求。陳以彥指出,包含臺積電在內的半導體業,2019年佔臺灣總用電量大概是8.4%左右,但到了2023年,已經增長到13.4% 。
可預見未來,半導體的用電量一定是持續成長,只是其中AI 晶片佔製程用電多少,涉及企業營業秘密,陳以彥說外界難以窺伺,這也是AI用電難以估算的地方。未來臺電會密切注意國內外 AI 技術發展,與新電費開票系統(NBS)及智慧電錶讀表系統(AMI)的用電數據,來做AI用電分析。
臺電綜合研究所會先在今年下半年或明年, 啓動AI用電研究計劃。陳以彥說屆時就可以比較精確評估整個訓練過程用電情況,例如用H100 或者用A100這樣GPU(圖形處理器),實際耗電量長甚麼樣子。
陳以彥總結臺電綜研所初步評估,AI短期內國內耗電不會太大。而李君禮則是強調,長期電力負載預測,一定是靠經濟模型去做,現在確實沒有辦法特別把AI用電獨立分析出來。目前來講,也都沒有一個完整的企業實際使用狀況數據可以去推估。
可是李君禮提醒,AI不是隻有耗能,它也可以運用在節能的服務上。像是讓企業更精確地管理生產流程和運營方式,提升能源利用效率。另外,AI 技術導入在能源管理上,也有助於減少產業的電力需求。更何況,生成式 AI 軟硬體業者,也都投入低能耗技術的發展,可望減緩用電的成長。
看未來臺灣AI 發展能源消耗,產發署官員認爲,不應朝向很耗電的巨大型或通用型的雲端平臺服務走,而是除發展 AI 晶片和伺服器技術外,鎖定領域別的生成式 AI 應用來做,比較不耗費能源。