OpenAI元老級研究員Alec Radford離職，主導了GPT-1、GPT-2的研發

機器之心報道

編輯：杜偉、陳陳

OpenAI 人事方面的變動還在繼續。

今日，據外媒 The Information 報道，OpenAI 元老級人物 Alec Radford 即將離職，離職後進行獨立研究。

據瞭解 Radford 信息的人士透露，Radford 表示他計劃與 OpenAI 以及其他 AI 開發者展開合作。

OpenAI 研究主管 Mark Chen 在一份聲明中表示：「我們對 Alec 及其貢獻有着深深的敬意和感激，並期待在他探索獨立研究的同時，繼續與他合作開展項目。」

也許你沒聽說過 Radford 這個人，但他參與的研究卻是重量級的，在他 2016 年加入 OpenAI 後，帶來了一系列革命性突破，比如大家熟知的初代 GPT，還主導了 GPT-2 的研發等等。

在前幾天火熱進行的 NeurIPS 2024 大會上，OpenAI 前首席科學家 Ilya Sutskever 在他的演講中特別提到了 Alec Radford、 Dario Amodei 等人蔘與的 GPT-2、GPT-3 開創性工作，它們推動了預訓練時代以及所有進步的到來。

有人猜測，Radford 的離職預示着 GPT-4.5 就要來了。因爲之前 OpenAI 高級語音模式發佈後的第二天，首席技術官 Mira Murati 官宣離職。這麼推算下來，作爲 GPT 系列的重磅參與者，GPT-4.5 很可能就是明天發佈（畢竟是 OpenAI 連發 12 天的最後一天）。

對此，有人贊同的表示：「也許他想在離開之前完成手頭的項目。這並非完全不可能。」

在這條評論下，有人回答道「他雖然做了深入研究，但沒有參與任何發佈（沒有走到臺前，一直在幕後），不像 Murati 或其他已經離開的人。如果他不得不等待某件事，那麼在 GPT-5 發佈後離開會更合適。但老實說，他的離職在某種程度上可能有益於開源研究，因爲離開 OpenAI 後會被允許再次發表文章。不過我不知道 OpenAI 的情況，對他們來說，前景看起來很暗淡。」

還有人表示人們低估了 Alec 對 OpenAI 以及整個 AI 研究的影響。他不僅是 GPT 和 Dall-E 的主要作者，而且很可能引領了公司所有重要的研究方向。甚至表示他的影響力不亞於 Ilya。這對 OpenAI 來說是一個巨大的損失，但該網友同時也希望 Alec 可以做一些開放的研究並發表一些東西，這樣整個世界都可以受益。

此前，不列顛哥倫比亞大學教授 Jeff Clune 在 X 上發起了一個討論，「誰是世界上最重要但又最被低估的 AI 科學家？在我看來，只有一個明確的正確答案。大多數重大進展背後都有一個人，但卻很少被提及或慶祝。」

Jeff Clune 毫不猶豫的推薦了 Alec Radford，「Radford 顯然是影響力最大但知名度最低的人。他推動了許多令人驚歎的發展，他應該作爲現代生成式人工智能之父載入史冊。Radford 也是一個非常好的人，不追求榮譽，這也是他很少受到關注的部分原因。我們更有理由談論他對人工智能的巨大影響！」

「Radford 的研究絕對是領先的。他的貢獻絕對是驚人的，至少三次改變了這個領域！我們欠他很多。」

他全程參與了 GPT 系列模型的研發

Alec Radford 是GPT-1 的一作、GPT-2 的共同一作，其中 GPT-1 的被引數已經達到了 11947，GPT-2 的被引數爲 14828。

2018 年，GPT-1 開啓了預訓練大模型時代，提出「半監督（semi-supervised）」（後來普遍稱爲自監督）的方法，先在沒有標號的數據上面訓練一個預訓練模型，再在少量標號數據上面訓練一個分辨的微調模型。

2019 年，OpenAI 在 GPT-1 的基礎上發佈了 GPT-2，利用無監督預訓練模型做有監督任務。相較於初代模型進行諸多改進，GPT-2 參數達到 15 億，可以執行多樣性任務，開始學習在不需要明確監督的情況下執行數量驚人的任務。在 GPT-2 階段， OpenAI 去掉了 GPT-1 階段的有監督微調（fine-tuning），成爲無監督模型。

GPT-1 論文：https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf

GPT-2 論文：https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf

不僅如此，Alec Radford 還參與了GPT-3 論文的撰寫、以及 GPT-4 的預訓練數據和架構研究工作

2020 年，到了 GPT-3 階段，參數相較於 GPT-2 增加兩個數量級以上，達到了 1750 億參數，在許多 NLP 數據集上都有很強的性能（包括翻譯、問題解答和完形填空任務），以及一些需要動態推理或領域適應的任務（如解譯單詞、在句子中使用一個新單詞或執行算術）。

2023 年，GPT-4 開始邁向多模態模型，成爲 AI 新里程碑，可以解決更復雜的問題、編寫更大型的代碼，並通過圖片產生文字。GPT-4 的回答準確性不僅大幅提高，還具備更高水平的識圖能力，且能夠生成歌詞、創意文本，實現風格變化。

GPT-3 論文：https://arxiv.org/pdf/2005.14165

GPT-4 技術報告：https://arxiv.org/pdf/2303.08774

根據 Google Scholar 顯示，Alec Radford 的論文被引總數超過了 19 萬，其中 1 萬以上的達到 7 篇，足可見其參與工作的含金量和影響力。

https://www.theinformation.com/briefings/senior-openai-researcher-radford-departs

https://x.com/jeffclune/status/1841167663252615634

https://www.reddit.com/r/singularity/comments/1hi3tth/alec_radford_the_lead_author_of_openais_original/