奧特曼:o1僅僅是“推理模型的GPT-2”;黃仁勳:我給你加速50倍
AI界最有影響力的兩個人,同時出現在一場活動:
OpenAI CEO奧特曼,暗示了o1滿血版將在接下來幾個月發佈。
英偉達創始人黃仁勳,則表示新一代Blackwell架構GPU能給o1推理提速50倍。
奧特曼把o1在推理模型裡的地位比作語言模型中的GPT-2階段。
幾年後人們將看到“推理模型的GPT-4”,不過最近幾個月就會有重大改進,新範式的進步曲線非常陡峭。
有醫學教授看到這裡,已經在考慮辭職的事了。
話說o1系列正式登Lmsys大模型競技場,第一次分數結算,在數學任務上斷崖式領先,唯一的缺點就是回答有點慢了。
對此,老黃的看法是:
以上內容來自T-Mobile資本市場日,T-Mobile剛剛與OpenAI簽了大單,合作建立一個AI支持的客服系統。
不過這場活動上,除了幾家公司的合作之外,圍繞AI的現在和將來,兩位行業大佬還分享了更多值得關注的內容。
至於o1在數學、代碼之外的任務表現如何,請看以下由o1主導、量子位輔助整理的原文精翻。
奧特曼:OpenAI的秘訣是信念和專注
主持人:我想先祝賀你們推出了o1模型,或許你可以向觀衆介紹一下這個新模型,因爲它實在是太令人驚歎了。
Sam Altman:是的,我們對此感到非常興奮,這也是我們長期以來一直在努力的方向。GPT系列模型在“系統1”類型的思維上表現出色,但我們真正想要的是能夠進行推理的系統。
如果人工智能能夠解決更復雜的問題,其價值將是巨大的。你在GPT-4模型中已經看到了一些端倪,但o1是真正第一個能夠進行高級推理的系統。無論是複雜的編程挑戰、數學問題還是科學難題,你都可以獲得非常非凡的結果。我們相信,隨着時間的推移,這將與GPT系列一樣重要,並解鎖一系列新的、有價值的應用場景。
主持人:你曾公開表示,我們現在看到的是預覽版,而且它會迅速迭代,未來幾個月內會發生什麼?
Sam Altman:我認爲現在的新型推理模型類似於我們在GPT-2時期。你會在未來幾年內看到它發展到與 GPT-4 相當的水平。即使在接下來的幾個月內,你也會看到顯著的進步,隨着我們從o1-preview升級到o1正式版。
我認爲,在新範式出現的這些時刻,有很多有趣的事情,其中之一就是改進曲線非常陡峭。一些模型目前無法解決的問題,可能在幾個月後就能解決,幾個月後又能解決更多。最重要的是,我們將看到一整套全新的使用方式,不僅僅是聊天界面。我們需要一些時間來構建這些功能,其他人也需要時間,用戶也需要時間來適應。這與GPT模型有很大的不同。
我們談到AI的五個級別:L1是聊天機器人(ChatBot),L2是我們剛剛達到的推理者(Reasoner),L3是智能體(Agent),L4是創新者(Innovator),能夠發現新的科學信息,L5是完整的組織(Organization)。
從L1到L2花了一段時間,但我認爲L2最令人興奮的事情之一是它能夠相對快速地實現L3,我們預計這種技術最終將帶來的智能體將非常有影響力。
(省略一段商業互吹)
主持人:稍微轉變一下話題,爲什麼 OpenAI 能夠領先?在這個領域你們做了什麼不同的事情,使你們能夠以這樣的速度開發這些模型?
Sam Altman:首先,謝謝你的讚美,這是一個非常好的評價。我們建立在之前大量工作的基礎上,人工智能是一個古老的領域,人們長期以來一直在爲其貢獻非常出色的想法。想一想在整個人類歷史中,人們爲了發現半導體、製造芯片、建立網絡和這些大型數據中心所需要的所有工作,我們只是在這些之上做了我們自己的一小部分。
但我們盡力做到最好,我們努力擁有一個非常專注的研究計劃。我認爲其他研究計劃犯的錯誤之一是他們沒有足夠的信念和專注。一旦某些東西起作用,複製它非常容易。
所以我認爲成功的兩種方式是,要麼成爲一個出色的快速追隨者,複製OpenAI或其他成功的公司所做的事情,我並不是以負面的方式說這個,因爲我認爲有很多公司只是等待看看什麼有效,然後在改善和執行方面做得非常好。
要麼試圖推動前沿,這是非常困難的,需要在複雜的環境中跨越許多人擁有信念和專注,這是最好的前進方式。這就是我們努力去做的。
我們真的相信深度學習,我們真的相信從現在的位置到AGI及更遠的道路,但我們願意根據我們在過程中學到的東西進行糾正。我們將繼續努力,以我們最大的力量去做下一件事,並相信隨着時間的推移,這將產生福利效應。
這對我們來說確實有效,方法就這麼簡單。
黃仁勳:年輕人都將擁有伴隨一生的機器人
(再省略一大段商業互吹和T-mobile業務內容)
主持人:我們剛剛與Sam Altman談到了AI的快速發展,其中一件事是AI需要極低的延遲,快速的響應時間。因爲 AI 正在從傳統的文本形式轉向實時響應視頻、面部表情、與虛擬形象互動,這需要極高的響應速度。未來的AI工作負載將需要靠近客戶的網絡中的計算能力。
黃仁勳:確實如此,我們現在將無線電計算和AI計算融合到一個架構中,這臺我們構建的計算機具有極低的延遲,CUDA也具有極低的延遲,能夠處理時間敏感的事務,所有你需要的東西,以提供高質量的語音服務。
人們沒有意識到的一點是,全球的無線網絡是非常冗餘的。之所以冗餘是因爲當有人需要時,必須提供極高的服務質量。但當沒有人需要時,那些基礎設施就閒置着,可以被重新利用。
因此,當我們使其可以被軟件定義、加速化、能夠處理AI,我們現在將整個網絡轉化爲在需要時可用於其他機會的過剩容量。這將是電信行業一個巨大的新增長機會。
主持人:我非常喜歡。我們還有幾分鐘時間,在我們讓你離開之前,讓我們換個話題,談談你所興奮的事情。
英偉達擁有一個令人難以置信的視角,因爲所有處於AI前沿的人都在與你們合作。當你思考我們這一生中最具變革性的技術如何真正改變人們的生活時,是什麼讓你感到興奮?你認爲AI將如何影響我們所有人?
黃仁勳:我們都會有一大批數字助手與我們一起工作。我非常喜歡這個想法,我將擁有一臺計算機,隨着時間的推移,它與我一起工作,變得越來越聰明,理解我,幫助我完成任務。我喜歡我將擁有自己的R2-D2和C-3PO(星球大戰中的機器人)。
我的R2將一直跟着我。對於許多年輕人來說,他們將擁有自己的R2,伴隨他們一生。那個R2可以是數字版本,也可以是實體版本。所有人都能擁有,無論你是科學家、工程師、哲學家,還是普通人,我們都會有這些令人驚歎的助手,幫助我們度過生活。
(對於老黃關於機器人的這個觀點,馬斯克也跑到評論區發表贊同。)
黃仁勳:最近,Sam提出了一個觀點,這些AI的推理能力將變得更加聰明,但這需要更多的計算能力。目前,在ChatGPT中的每個提示都是一個路徑,未來將在內部有數百個路徑。它將進行推理,進行強化學習,試圖爲你創造更好的答案。
這就是爲什麼在我們的Blackwell架構將推理性能提高了50倍。通過將推理性能提高50倍,那個現在可能需要幾分鐘來回答特定提示的推理模型,可以在幾秒鐘內迴應。因此,這將是一個全新的世界,我對此感到興奮。
主持人:你怎麼看待能耗方面的變化?這是AI最受關注的方面之一,即碳足跡。
黃仁勳:我們必須使用AI來減少能源消耗。我們現在知道,我們可以比使用傳統超級計算機進行氣候和天氣預測的能源效率高一萬倍。摩爾定律確實已經走到了盡頭,我們必須使用一種新方法來解決這些計算。
我舉的一個例子是,我的養的小狗不懂牛頓物理學,他們不理解球會以什麼軌跡運動。我們知道,世界上第一臺超級計算機是爲了模擬導彈的軌跡而創建的。然而,狗經過一些練習,可以輕鬆地從空中抓住球,有時還在空翻中。那麼它們是如何做到的呢?這是同樣的思路。
因此,我們將教AI不通過物理學、動力學、流體動力學等方式來計算天氣,而是教它去預測。它可能並不完全理解因果關係,但它的預測非常出色。我們只想知道明天的天氣會怎樣。這是一個例子。我們想對無線電網絡做同樣的事情。我們理解電磁學的基本物理,理解無線電波束如何反射、折射,如何處理不同的環境,理解波束成形的物理原理。
然而,當你運營網絡時,你只是試圖以更低的能耗、更高的吞吐量、更低的成本提供更好的服務質量。因此,你不需要實時進行基礎物理模擬,只需使用AI來完成。這種通過理解第一性原理進行模擬,然後使用 AI 來模擬這種基礎理解的原則,可以極大地減少能源消耗。
人們需要意識到,訓練模型確實需要大量能源。然而,目標不是訓練模型,目標是使用模型,這將節省大量能源。
One More Thing
在同期Salesforce舉辦的另一場活動上,黃仁勳還分享了這樣的觀點:
視頻回放:https://www.youtube.com/watch?v=r-xmUM5y0LQ&t=5145shttps://www.youtube.com/watch?v=kfe3ajUYSdc