這位斯坦福PhD新生的論文被引數:接近4萬

機器之心報道

編輯:澤南、陳萍

春天到了,斯坦福大學計算機科學系又迎來了一批博士新生。

該校的 CS 專業每年會收到上千份申請,招收約 80 名新人,其中一半會進入專注於人工智能研究的斯坦福人工智能實驗室 SAIL。

對於這所美國名校而言,每個人都是百裡挑一的精英。但仍讓人始料未及的是,今年新生行列中出現了這樣一個人,Google Scholar 統計顯示,他的論文被引用數量竟已接近 4 萬:

一個剛入學的新生,論文被引數比斯坦福很多助理教授還要高很多,這就不禁讓人產生疑問,大佬你是來幹什麼的?

這位 Pete Warden,剛剛從谷歌辭職開始讀博。

TensorFlow Lite 構建者

他的故事,和深度學習框架 TensorFlow 有着密不可分的關係。

Pete Warden 是視覺 AI、軟件和大數據領域的領軍人物、創新者和企業家。現在的新身份則是斯坦福大學計算機科學博士生。

他 1997 年本科畢業於英國曼徹斯特大學。2003 年,Pete 創建了一組包含 45 個圖像處理過濾器,這些過濾器能夠在 2003 年的筆記本電腦上以 30 fps 的速度檢測視頻內容中的特徵。

當時,蘋果公司購買了該技術,並聘請他將該技術集成到蘋果的成像相關產品中。在蘋果工作五年期間,Pete Warden 負責 Motion、Final Cut 和 Aperture 等產品中的各種 CPU 和 GPU 圖像處理應用。

2011 年,Pete 再次創業,聯合創辦了 Jetpac,擔任 CTO 並組建了公司的技術團隊。這家由風險投資支持的初創公司創建了一款獨特的產品,該產品分析了 Instagram 上超過 1.4 億張照片的像素數據,並將其轉化爲全球 5000 多個城市的深度指南。2014 年穀歌收購了 Jetpac,Pete 一同加入谷歌。

在谷歌,他成爲了 TensorFlow 面向移動和嵌入式設備部分的技術主管,專注於在成本和功率受限的系統中部署機器學習,Pete 領導開發了 TensorFlow Lite 機器學習框架,包括最近發佈的用於微控制器的 TensorFlow Lite 實驗版本,該版本可用於內存不足 100 KB 的低成本芯片。

這種在一些超低功耗硬件中運行機器學習推理任務的工作被業內稱爲 TinyML(Tiny Machine Learning)。Warden 曾表示:TinyML 的目標是在低於 1 mW 的功耗下運行,這是標準鈕釦電池的運行功率。

2019 年 3 月,TensorFlow Lite 平臺發佈了嵌入式設備實驗原型。它只用 384KB 的 RAM 和 1MB 的閃存,運行 20KB 大小的語音識別機器學習模型。該處理器功率極低,在許多情況下功耗不到 1mW,可以使用小型鈕釦電池運行很多天。

Pete Warden 是 TensorFlow 團隊的創始成員之一,有關 TensorFlow 的重要論文裡都有他的名字,他也經常會在 TensorFlow 開發者大會上發表演講。

也許是爲了尋找新的挑戰,也許因爲發現了自己理論上的「不足」,2 月 15 日,他在社交網絡上宣佈自己選擇離開谷歌,重返離開了 20 年的校園,在斯坦福大學攻讀計算機科學博士學位。

Warden 表示能在谷歌工作七年是一件很幸運的事。

過去幾年,Pete 一直談論使用 TensorFlow Lite Micro 構建諸如 TinyML 的研究,儘管 Pete 很想做這項研究,但谷歌發佈新硬件設備是非常昂貴和耗時的,因爲失敗或漏洞百出的發佈對任何大公司的聲譽都有很大的負面影響。這可能是導致 Pete 離開的一個原因。

TensorFlow Lite Micro 在谷歌軟件工程師 Advait Jain 和團隊其他成員的帶領下非常出色,在過去的幾年裡,使用量和員工數量持續增長,Pete 對它的未來非常樂觀,Pete 表示將來會公佈更多細節以及一些演示,對他而言,最重要的是現在能夠使用該框架部署到他從項目一開始就夢想的設備上。

從斯坦福講師到斯坦福博士生

看到這裡,你也許會問:這水平真是來斯坦福讀博而不是來教課的?

Pete Warden 還真的在斯坦福教着一門課。

在過去幾年裡,Warden 一直是 EE292D/CS329E 課程的講師,該課程主要介紹嵌入式系統中的機器學習,這是一個基於項目的課程,幫助學生學習如何開發機器學習模型,以便在嵌入式系統等資源受限的環境中執行。在該課程中主要目標是嵌入式設備,例如 Arduino、Raspberry PI、Jetson 或 Edge TPU。

Warden 表示自己從 Zain Asgar、Sachin Katti、 Boris Murmann 等教師身上學到了很多。

課程頁面:https://ee292d.github.io/

看來讀博期間 Pete Warden 還是要繼續教授這門課的。

Pete Warden 還著有幾本書,比如《TinyML:基於 TensorFlow Lite 在 Arduino 和超低功耗微控制器上部署機器學習》,其在美國亞馬遜上位列嵌入式系統暢銷榜首,也有中文版:

總而言之,又一位 AI 業界大牛選擇了重返學界,不過他選擇的方式比較特別。

Pete Warden 將這次重返校園比作一次有趣的冒險,我們也同樣期待 Pete 重返校園的表現。

參考內容:https://web.stanford.edu/~peteward/