ISC.AI 2024|中國科學院院士張鈸：釐清大模型四大發展方向

8月1日，中國科學院院士、清華大學人工智能研究院名譽院長張鈸在ISC.AI 2024第十二屆互聯網安全大會表示：

目前大模型的4個發展方向，這4個發展方向對今後如何改進大模型非常重要。

一是與人類對齊。剛纔我們說大模型判斷對錯能力比較差，現在人類要幫助它，人類幫助它進行改進，這就是與人類對齊的。最主要通過人類在閉環裡，它執行以後，如果有錯誤，我們告訴它有錯誤，就是在人類的驅動下改正它的錯誤。因爲它錯誤需要人類提示的，剛纔說過，它判斷對錯的能力比較差，需要外部的提示。所以，這點是我們做的第一件工作。

二是多模態生成。多模態生成將來對產業的發展非常重要，因爲大家看到大模型主要是生成文本，ChatGPT生成文本。但是我們用同樣的辦法生成圖像、聲音、視頻、代碼之後，而且生成的水平是跟人類的水平接近的。比如說生成代碼，不止生成代碼，而且相當於編程人員的水平。爲什麼會看到這樣？大模型有個重要的突破就是對“文本的處理”，原來只是對文本形式的處理，現在變成文本內容的處理。所以，我們現在做的爲什麼圖像能生成的那麼好，主要是把圖像跟文本掛起鉤。因爲文本計算機能處理內容，只要把圖像跟文本掛鉤，計算機也能處理圖像的內容，圖像的語義。所以，所有的圖象處理也會起到質的變化，大家看到我們把圖像也好、聲音也好、視頻也好，都是跟文本掛鉤的，這才能實現它們的突破。代碼本身就是個形式語言，比自然語言還容易，自然語言都能處理了，形式語言更好理解。所以，最本質的是文本處理的突破。

三是AI Agent（智能體）的概念，先把大模型與周圍的虛擬環境結合起來，結合起來重要的作用是什麼？就是讓環境提示它的錯誤，因爲一件事做了以後才能知道對和錯。而且模擬環境對我們來講是非常重要的，可以任意的生成，然後智能體自動生成。比如自動駕駛，美國人生成了大量的數字環境，先讓自動駕駛在數字環境裡進行駕駛，最後纔到實際環境中。這跟智能體的概念是非常重要的，就是要跟環境結合起來，讓環境提示智能體，讓它有反思的機會，去改正錯誤。

四是具身智能。就是把機器人加上去，使得它在物理世界裡還能工作。這裡我的觀點將來如何發展通用的機器人？我認爲是軟件通用，硬件多樣化。現在馬斯克宣傳人形機器人，人形機器人是很重要的方面，但是我認爲間來不止限於人形機器人，不僅需要這個，將來還有很多硬件，所以硬件應該多樣化。