外籍院士羅智泉:大模型發展模式不可持續
11月26日,中國工程院外籍院士、香港中文大學(深圳)副校長(學術)、深圳市大數據研究院院長羅智泉,在深圳創新發展研究院舉行的活動中,認爲大模型高耗能的發展模式不可持續,需要考慮落地成本,垂直領域中小模型是一個新方向。
羅智泉表示,AI發展的每個階段都代表着AI能力和應用的某種進展。2023年是生成式人工智能的突破之年,以ChatGPT爲代表的人工智能大模型,內容生成能力表現驚豔,一時間拉開了國內“百模大戰”的序幕。
羅智泉梳理了AI的發展歷程,及全球發展態勢,指出我國大語言模型發展迅速,不乏華爲—盤古大模型、阿里雲—通義千問、騰訊—混元大模型這樣的優秀成果,但在技術封鎖的大環境下整體上呈追隨態勢。
有研究估測,訓練1750億參數量的大模型GPT-3,能耗相當於開車往返於地球和月球,一次運算就要花費450萬美元。
羅智泉將AI能耗與人腦能耗對比,人腦相當於低功耗燈泡,能耗量平均約25瓦;而GPT-3訓練一次消耗約1287兆瓦時,GPT-4能耗預計更高,ChatGPT日均消耗超過50萬度電,從而指出大模型的發展模式不可持續,落地實現大模型的價值,需要考慮部署成本,垂直領域中小模型是一個新方向。
他認爲,大模型和人腦相比還有所不同,模型的大問題是數據越來越多,調好了一方面,其他方面又變弱,沒有局部化,如果是局部化,某部分調整隻用改某部分的參數,只涉及某部分神經元。
作爲科研工作者,羅智泉感受到國際地緣政治的影響,國際合作變得越來越難。但羅智泉對中國的科技及產業發展持樂觀態度,並以AI技術賦能5G網絡性能的親身體驗展現了AI在突破技術封鎖、引領產業升級中的巨大作用。
對於AI的未來發展趨勢,羅智泉表示更重要的是廣泛應用前景,商業的閉環很重要,現在因爲能耗、能力、人才等方面的問題,AI產業大部分是在燒錢的。
他認爲,隨着AI發展,很多行業會被改變,大學也會發生變化,就像斯坦福大學隨着硅谷崛起一樣,抓住機會的大學也會崛起。
他認爲同聲翻譯專業可能需要關停並轉,商科中的一些專業,包括會計,GPT的能力已經可以做到,以後需求會變小,他所在的大學全校的學生都要學人工智能的初級版,是必修掃盲課。人文社科也需要擁抱計算社會科學,不能簡單做問卷調查,問卷調查不能反映社會全部。
他比較重視有交叉的學科,希望學生能設計多個學科,有基礎數學的分析推理能力,另外他很重視物理,OpenAI做AI的年輕人很多是學物理出身,包括埃隆馬斯克也是如此,可以幫助瞭解世界。