張亞勤對話朱雲來：大模型的發展與挑戰

（圖片均源於清華大學智能產業研究院）

本文由新經濟學家智庫根據7月7日上午，中國工程院院士、清華大學講席教授、智能產業研究院（AIR）院長張亞勤與原中金公司總裁朱雲來先生，出席2023世界人工智能大會投融資主題論壇發言實錄整理，略有刪改，內容未經本人確認：

主持人： 我還拿了張紙準備問題，但是其實我說未來主持人的工作，尤其是這種論壇主持人的工作，其實應該消亡。按理說應該輸入主持的會議的公司是誰，嘉賓是誰，然後找個AIGC生成應該問這兩個嘉賓什麼問題，這樣像我這種往旁邊一坐還浪費一瓶水的人就可以消失了。所以今天最主要的是要請這兩位大咖給我們講講到底我說的未來，這種情況是不是就真會消失，社會的效率是不是會變得更高？

當然像我們這種以說話爲生的職業是一部分，中國還有無數的跟製造業相關的實體經濟到底在人工智能如此發展的將來會產生一個什麼樣的變革，然後因爲今天是投融資論壇，我相信下面有很多的朋友其實都會未來在考慮投資相關的行業，但是投資這個行業到底要關注哪些問題？今天我們要有請兩位大咖做出一些研判。

首先我想問今天的這個問題，我覺得主要的因爲時間有限，主要是分在兩個方面，其實第一類的問題就是跟人工智能未來發展相關的問題。第二類問題是跟挑戰相關的問題。

所以我想請問兩位大咖，第一個問題到底目前說的這種大模型熱，如此之熱導致基本上我在過去的三個月之中，參加的會有一半是跟人工智能相關的，似乎不談人工智能，尤其是不談目前以Chagpt爲首的人工智能，就要玩完。第一個問題就是到底目前的大模型是不是一個one thing for all的解決方案，它到底有沒有所說的那麼的powerful，所以我想先請張院士，您先幫我們講講這個問題。

張亞勤：的確最近一直在談大模型，談AIGC它的能力的確很強，也是技術大的創新也是了不起的。從工程特別是系統方面的一個成就，我講講它的侷限性，因爲會上很少人講它的侷限性。

那麼大家看到GPT4出來之後確實有很多問題，首先是時效性，你問它Chatgpt什麼時候發佈它不知道，因爲它只有2021年之前的語料，但是現在Chatgpt4有更多的這些實時的信息。

第二點是它的準確性，它經常會有一些不實的信息，有一些幻覺。第三點是效率，整個大模型，整個大的系統需要大的算力，效率比較低。第四點是它對隱私對於知識產權的保護，透明性這方面有很大的問題，我稍微詳細講一下。

首先我們不清楚侷限是爲什麼，比如說是由於一維的，單方向的自迴歸模型，它本身算法框架的問題，還是通過更好的對齊可以解決的，也有一種可能性。算法本身沒有辦法解決錯誤的信息和不實信息，它本身是需要有更多的創意，可能它沒法兼顧，我們現在不清楚這個侷限性。

另外效率我們都知道，就是咱們這個人的大腦是最高效的，進化幾十萬年的這麼一個智能體，人類大腦擁有860億個神經元和近1萬個突觸，卻只需要20瓦的能量，重量還不到三斤；而GPT4這個萬億參數模型則需要巨大的算力和能源，與人腦相比相差1,000倍之多。所以如何降低計算耗能，增加效率是一個大的問題。

的確你如果看一下現在不管微軟用的Chatgpt也好，還是OpenAI，基本上很難大規模商用，目前可能至少它的效率要高10倍纔可以。

再接着講很多的侷限，包括比如說用到物理世界，用到生物世界，用到金融世界，比如說core banking，核心的銀行系統裡面都會有這些問題。我一直在講我們大模型當然很重要，垂直的一個橫向的語言模型很重要，但是我們在用到行業的時候，一定需要更加的面向行業的垂直精準模型。例如在無人駕駛領域，需要低延時、高安全性的精準模型，並不需要擅長作詩作畫的模型。在生物領域，需要專注於研發能夠處理蛋白質結構等生物語言的模型，而不是包含互聯網上其他冗餘信息的模型。只有這樣才能提高模型的效率和準確性，滿足用戶的需求和期望。所以大模型很重要，但是我們還有很多別的東西也需要。

主持人：請朱總您再幫我們補充幾句。

朱雲來：因爲大模型前一段時間出來的時候確實是有非常大的轟動，包括像你剛纔講想偷懶，主持人你就不想做了，然後我現在回答問題，我也想偷個懶，乾脆請GPT來做一個回答可以了。

GPT從它的出現，應該還是有一個非常大的進步，至少咱們從投資界上也可以看得出來，之前投的一大批可能相比之下就遜色很多了，但是GPT它到底能夠好到什麼程度呢？

GPT它是一個很重要的突破，本來應該是用循環神經網絡,亞勤剛纔也提到的自相關自迴歸的作用，但是模型從理論上更完整，但是解釋起來太麻煩，實際上還不是神經元的個數，860億個，但實際上是他每一個神經元，理論上是可以跟另外一個神經元，應該是860億的階乘，這個複雜度是根本無法接受。所以GPT它最重要的一個貢獻就是引入了一個自注意力的機制，大大的簡化了運算。

這個方法能one thing for all嗎？當然可能還在improve，但是可能也就是因爲用了注意力的機制，就把本質的關係是簡化了，所以它因此可以得出結果來了，可以處理大量的數了。但是還有可能過於簡化了，所以它會丟失掉很多信息，因此它還是不夠精確，它不夠系統的模擬人的思維。這也就是說對它的未來的應用的潛力有一定的限制。

主持人：我覺得正好是往深裡討論一下這個問題，因爲我們說任何的技術其實都有邊界的問題，比如說我們在今年的很多中國上市公司的路演的過程中，有很多投資人也都問這個大模型，能解決全球目前斷鏈情況下，新的產能的快速佈置和新的無人化工廠的快速增效，這是中國的投資人特別關心的問題，這個問題也想請張院長和朱總你們看看能不能幫我們回答。

張亞勤：我感覺因爲這個問題太廣義了，不管大模型也好，整個人工智能對每個行業，包括你剛纔講的製造業，包括我們金融行業都會有大的一個生產力的提高。

人工智能帶來一個大的變化，就是很多地方不需要人了，這個當然對工作是另外一個挑戰。無人車無人工廠整個流水線，然後包括一些腦力的勞動，任何可以重複的，有固定規則的，有固定程序的，這些腦力勞動基本上都會消失，所以這個會是一個大的衝擊，也是大的機會。

朱雲來：我也補充一點，從製造業這些來講，因爲我覺得它很多是一些相對有限的應用場景，這個還是可以有系統性的一些改進。相比之下，當然GPT出來以後給大家看到了另外一個維度，在一個綜合性的維度上，它也大大的超出了我們過去的想象和看到的實力。它能夠根據你的一些指示，做出一些非常系統綜合的歸納。

它有了這樣一個系統的突破，但是我們剛纔也講了，從它的侷限性來講，它可能又簡化的過分了，因此它的普適性也降低了。所以還是需要有一個新的階段以後，可能纔會真正接近通用人工智能的能力。

另外一個問題我也是聯想到大家都擔心的，如果真的機器達到了這麼好的程度，我們人怎麼辦？

其實後來我也在想，假如不是未來了，今天通用人工智能已經把人都代替了，對我們社會會有什麼影響？現在看是誰掌握了這種通用的人工智能技術，它把所有的工作都做了，就把所有的錢都賺了，然後其他人大量的失業，然後無法生存。其實我覺得可能到這時候我們應該是換一個角度了，就是社會的治理結構是誰來決定？是我們社會的人來決定。

既然通用機器人什麼都能幹了，你去幹活我就可以不用幹了。在這個過程中間，如果你現在還不能全部都幹，那麼剩下你幹不了的我來幹，你能幹的我都讓你幹，我們可以多休息了，或者是減少工作時間，或者是我們去做其他的更有創造性的工作，可能最終我們要想到，當科技迅速發展以後，其實是變成我們社會的治理結構治理機制的重新設定，我們需要系統的來討論這些問題。

科技帶來的進步的好處應該怎麼返回到社會，返回到人，實際上相當於一種新的分配機制了。這個是我們過去沒有系統考慮的問題，我們需要在未來系統考慮的問題。

主持人：感謝朱總和張院士剛纔問的關於發展和能力邊界的問題。下面我代表臺下的各位金融圈的朋友，想問問一些跟挑戰相關的問題和投資機會相關的問題。因爲很多朋友在討論的時候都提到大模型需要這麼多的資源，這麼多的芯片，這麼多的錢，是不是隻有大的平臺型公司，包括國家可以成爲核心玩家，甚至是唯一的玩家。我想請問兩位大咖，你們怎麼看這個事情因爲到底創業有多少機會。

張亞勤：我覺得整體大模型出現對創業公司是一個機會。我一直把橫向的大模型比喻成爲AI的一個操作系統，有了這個操作系統之後，我們還需要我剛纔講的行業的垂直模型，上面可以開發新的應用，所以支持大的橫向的系統需要有大的數據算力，然後需要的雲的系統支持。

很多家有商業的這種大模型，有開源的大模型，但是我做一個創業公司，我很多的事情不需要自己做了，我可以調用這個模型。就像有了雲之後，過去沒有云的時候，你每個小公司都得自己買服務器，有的時候還要有IT的人員，有了雲之後你就不用做這事了。所以整個來講對於我們創業是一個大的機會，門檻變得更低了。

朱雲來：我也補充一點，從這個系統的發展，我們過去的最典型的兩個場景，就是大一點的平臺比較成熟的公司資本雄厚，微軟就是這麼一個例子，它非常強大，無論是技術資本各方面，是不是有了這樣的公司，其他的小公司就沒機會了，或者其他小公司就不需要了。

我也在想這個問題，其實平臺是有它存在的道理，也確實有它存在的優勢。甚至是科技進步的好處實現的一個很好的機制，但是反過來講也確實有這個問題，就是作爲一個平臺，它很可能比較穩定，在某種意義上來說，如果沒有人能超過它的時候，它自己就變得惰性了，就不想改進了，也不需要改進了。

小公司它有一幫熱情的人員，然後特別想做點什麼事情，想證明自己，想實現一個設想或者等等，所以它非常有衝勁。而且長遠的一個社會，如果沒有不斷的這種進步的衝動，可能社會很快也最後就變成趨於穩定了。

所以從這個角度來講，小公司的作用也非常重要，另外它可能客觀上也往往更具創造性。對於大公司有它帶來的系統綜合性的很多好處，但是他的惰性，他的壟斷，防止它的過分壟斷，這是你需要把握的一個度。反過來這些小的公司，你要給它一種保護鼓勵的機制，我覺得這樣就變成了一個相對比較良性的一個環境，平臺和小公司都可以有各自生存的意義，整個的結果是讓社會能夠更系統的更快的有進步。

主持人：我們讀書的時候，計算機至少還有兩款芯片，三款芯片可用，但是現在似乎人工智能的芯片只有一家是比較成熟的，就是關於在芯片和算力方面的限制，我不知道張院士和朱總你們怎麼看，這會影響到中國整個行業的發展，這會是一個受限制最大的地方嗎？

張亞勤：人工智能發展有四個大的因素，一個是數據，一個是算法，另外就是算力和人才。

算力方面的確可能以後是最大的挑戰，因爲最近其實我想最多的也是算力，這個問題當然比較複雜，也牽涉到地緣政治。

如果最終算力成爲大的限制的時候，我們一定要找到別的途徑，包括比如說一些新的模型，新的算法、新的框架，如果你們看一下，我們現在最大的創新其實是在手機裡面，包括最先進的芯片，最低能耗的芯片，都在手機裡面，因爲手機裡面它有這個需求，我要越來越多的性能，就一定要低功耗。

所以如果以後算力變成最大的一個限制，我們會有新的一些方法。我個人認爲這個都會有一些挑戰。我們這些信息語料是足夠多的，然後算法跟全世界同步，甚至是領先的。

我還要再糾正一個觀點，現在這個算法其實不是美國發明的。其實在過去的10年深度學習，特別過去的5年，很多特別創新的算法，原始的算法是中國科學家完成的，包括在國內的華人企業的科學家完成的。

主持人：謝謝謝張院士，解了我們臺下很多投資人的很重要的惑。

張亞勤：我再加一句，剛纔朱總講的創業公司，每一個大的平臺，一個新的時代，都是小公司創業公司扮演重要的角色，微軟小公司、谷歌小公司，他們開始的時候都是小公司，所以我覺得不要去低估小公司的作用。

朱雲來：我想算力這是一個基礎，是芯片的問題，但是算法也是另外一個維度，這倆是相輔相成的。而且常常一個好的算法，你可以把算力的需求差上多少，多少錢多少億倍，所以它可能最終是這兩個東西的一種平衡。可能最大的產出其實還是在算法。

張亞勤：我一直用我們的大腦作爲一個例子，就目前整體的算法不管是效率也好，它的整個機制也好，都差得很多。

比如說用ChatGPT4，你基本上問一個簡單的問題，它會激活大部分的參數，上萬億的參數。其實我們人在對話的時候不是這樣的，我現在跟你對話，可能用了1%的參數，用了某一個區域的神經元，所以我們效率很高的。怎麼樣更好的理解我們大腦這個原理，現在這個算法根本是做不了的，所以我覺得還有很多的空間可以改，儘管現在做的了不起，但是改善的空間很大。

還有另外一點就是我們現在做的這事主要還是用大數據這個模型，但是我們人類很多的通過DNA來的，先天具有的東西，這個是不需要去每次學習每次推理的。包括我們的知識體系，這些就已經形成體系。如何將大型知識圖譜和第一性原理結合起來，探索多模態的融合統一，也是未來的一個重要發展方向。“42公里的馬拉松我們現在只跑了5公里，未來還有無限可能。■

入羣瞭解更多經濟學觀點與前沿動態