王小川張鵬李大海楊植麟迴應大模型的一切:AGI、價格戰、開源和Scaling Law
6月14日消息,今日2024智源大會上,在尖峰對話環節,主持人智源研究院院長王仲遠,與對話嘉賓百川智能CEO王小川、智譜AI CEO張鵬、月之暗面CEO,智源學者楊植麟、面壁智能聯合創始人、CEO李大海圍繞着“通往AGI之路”進行了對談。
話題一:是否相信大模型是AGI之路的基石?
王小川認爲,用基石這個詞是沒有問題的。大模型會是逼近AGI,但是還不夠。但大家還忽略了一點就是符號。我們到了AGI的時代,有足夠的科學家進入到AGI,但目前公開看到的狀態還不能夠做到AGI。
張鵬表示,站在現在看到的角度來說,目前做人工智能的還是比較實用主義的。大模型還在很有效的推進這件事,但是否能夠推到頂峰上去,現在還不能找到確切的答案。是基石之一。
楊植麟認爲,大模型是第一性原理,通過不斷提升模型規模,本質上是對數據的壓縮,但確實可以產生智能。但也有挑戰,有些數據並不會那麼多,怎麼去解決稀缺或者不存在的數據。大模型本身沒有本質上的問題。
李大海表示,大模型肯定是通往AGI方向上能夠走的最遠的。我覺得大模型作爲知識壓縮,實在處理大腦系統一的工作,慢思考的系統二,做各種推理的還需要去探索。
話題二:到底什麼是AGI?
楊植麟認爲,我認爲AGI的定義是重要的,但不一定現在就需要進行精確的量化定義。而是需要一些定性的感性的東西。最重要的作用是能夠讓社會或者所有人對接下來發生什麼事情有個準備。如果能夠知道AGI是什麼,那就可以更好的去準備做這個事情。第二個是,短期內需要一定的量化,沒有量化,就沒辦法衡量AGI開發的進度。
王小川認爲,機器掌握語言是非常重大的變化。之前我們在談AGI的時候是將其當成工具在看,這是AGI的第一個變化;
李大海認爲,更願意從經濟學的角度來去定義AGI,如果我們去執行任何一個任務,它的邊際成本都爲零,這就是我們理想中的AGI了。這就是爲什麼說我認爲大模型能夠走得最遠。
我相信未來門檻會越來越低,當成本基本接近於0的時候,AGI時代就來了。
張鵬認爲,更願意相信AGI是個符號,其內涵和外延是在不斷變化的。早期定義AI的時候是進行圖形測試,但現在已經過時了,但隨着技術的演進,對於事情認知越來越多,同樣的三個字母,其所所代表的含義,實際上是不斷的在變化,它是個動態的過程。
對我們來說,AGI可以將其作爲一個目標,我們會不斷更新和迭代AGI的內涵和外延。
話題三:對Scaling Law還特別堅信嗎,還會起作用嗎?
楊植麟:沒有本質的問題。重要的是怎麼很高效的去Scale。Scaling Law會持續,但Scale方法會變化。
王小川認爲,美國在這方面的投入程度遠高於中國的,中國需要去尋找範式新的轉化,不能只是跟隨。
張鵬認爲,到目前爲止我們還沒有看到Scaling Law失效的預兆,未來一段時間之內,它仍然會有效。當然這個所謂的會有效也是一個動態的概念,就在於是說它本身所包含的內涵,會不斷的去演進。
追問張鵬:從追逐GPT4到我們要突破GPT4,再往GP5的這樣的方向去發展。Scaling Law有出現邊界的效應嗎?
張鵬認爲,想要實現GPT5要探索的可能性和技術還是很多的。
李大海認爲,Scaling Law是非常重要的。但我們覺得Scaling Law確實是一個經驗公式,是整個行業對於大模型這樣複雜系統的觀察以後的一個經驗總結。這個經驗總結會隨着我們對於模型訓練工作過程當中做的實驗越來越多,認知越來越清晰,會有更加細的顆粒度的認知。
話題四:關於開源。
向李大海提問:關於開源社區的事情,如何看待斯坦福抄襲事件?
李大海提到,我們完全沒想到我們的工作會以這種方式出圈,挺惶恐的。因爲這是海外個別學生組成的小團隊的個人行爲,不代表斯坦福學校。這件事情讓我們更加堅定的相信開源的力量。
其實像這樣一個事件,它的發現也是靠開源社區的熱心參與者發現的,並不是我們自己發現。
向王小川提問:百川想把大模型對外開源的考量是?
王小川表示,因爲當時開源的話,我覺得是在市場是有這樣的需求;另外就是模型是在快速進步的。我們當時開源,既有貢獻又沒有這樣的一個降低我們競爭力的事情,就毅然做了這樣的決定。
話題五:AI安全不斷被討論,當下是最急迫的問題嗎?
王小川認爲,安全有不同的內涵和外延。第一個是意識形態安全,要跟國家發展保持一致,這是底線,這個要做好。第二個安全是比較遠的安全,比如模型是不是把人類毀了,內心來講,不希望發生像核彈一樣的,把這個人類文明給搞沒了。但我覺得模型是否比人類更聰明,我覺得這是需要鼓勵的事情。第三層安全是比較現實的,近期還不存在安全問題,當前還沒碰到人類文明安全的邊界。
楊植麟認爲,AI安全是非常重要的,它可能不影響最急迫。
張鵬表示,我們我其實一直很注意AI安全方面的事情,之前還簽署了AI安全的承諾書。我們如何來保證或者說如何來努力讓這技術真正的幫助人類,幫助社會,幫助地球,而不是去爲惡。
李大海認爲,現在的安全主要聚焦到基礎安全和內容安全方向上。
話題六:如何看待大模型價格戰?
楊植麟認爲,有三個方面,第一,算力投入投入到推理到了某個時間點之後,肯定會顯著超過訓練的算力;第二個節點是到達某個節點,推理成本顯著低於獲客成本;第三個,AI在某個時間點會超過人做的事情,可能會產生新的商業模式。這三個點是改變商業模式的重要趨勢。
王小川表示,價格戰對於中國發展大模型是特別好的事情。
張鵬表示,非常贊同王小川的觀點,給用戶帶來最大的收益價值,用我們的技術極大的降低成本,讓更多人享受收益。大模型就是基礎設施,基礎設施就是非常便宜,當大模型變成水電這樣的基礎能力時,是個非常好的態勢。
但也要過度宣揚和關注這樣的事情。
李大海表示,最近有個機構做過一個調研,發現全國10億用戶手機的端測的算力差不多相當於100萬片H100,這非常誇張的數字。如果能夠將這些手機的算力好好利用起來,很多應用就可以落地了。未來都需要端側模型跟雲側模型好好的協同。
我覺得當前所謂的價格戰,多多少少有一些營銷的成分在,但是我相信未來一定會比現在還要便宜同時大家還有利潤,這纔是健康的方式。(御柳)
本文系本站科技報道,更多新聞資訊和深度解析,關注我們。