騰訊再開源兩款最新大模型,開閉源之爭又起波瀾
11月5日,騰訊混元宣佈開源兩款最新的大模型產品,分別是MoE架構的大語言模型“Hunyuan-Large(混元Large)”,以及3D生成大模型“Hunyuan3D-1.0”,兩者都支持企業開發者精調和部署,同時上線HuggingFace和Github等技術社區,供開發者免費商用。
在騰訊口中,混元Large是目前開源領域參數規模最大、效果最好的MoE模型,而混元3D生成大模型則是業界首個同時支持文字、圖像生成3D的開源大模型,這兩個模型均爲騰訊自研,在架構、算法、數據等方面有所創新。
談及外界關注的開閉源之爭,騰訊機器學習平臺總監康戰輝表示,騰訊不急於爲了開源而開源,本次開源的模型都是自己內部業務已經在用的模型。
但騰訊方面也強調,未來將繼續加大開源力度,堅持自主可控,同時還將開源部分大模型工程框架(AnglePTM和AngleHCF),試圖讓行業開發者和企業能以更低成本使用這些開源大模型。
堅持MoE架構,押寶合成數據
據騰訊介紹,混元Large模型總參數量爲389B,激活參數量52B。它採用的MoE(Mixture of Experts)混合專家模型是目前國內外主流的大模型結構。
今年年初,混元大模型在國內率先採用MoE架構,性能比上一代Dense模型提升50%。隨後騰訊連續推出基於MoE架構的多模態理解大模型以及基礎模型“混元turbo”。
在模型訓練層面,騰訊混元Large構建了覆蓋數十個類目的中英文合成數據。合成數據也是今年行業比較流行的概念,主要解決自然數據越來越不夠用的問題。
康戰輝表示,全球目前擁有的自然數據可能會在2026年被全部用完,在未來的大模型訓練過程中,合成數據的佔比會越來越高,所以高質量的合成數據非常關鍵,騰訊混元在這方面有一定優勢。
混元Large模型想要對外展現的另一個重點是它的長文能力。其基於公開數據構建了一套覆蓋長文閱讀理解、多文檔摘要總結和長文邏輯推理領域的數據集企鵝卷軸(PenguinScrolls),用來解決長文領域測評數據集缺乏、方法不夠客觀等問題。這套企鵝卷軸評測集也將同步對外開放。
目前,混元Large模型的長文能力已經在“騰訊元寶”上應用,最大支持256K上下文,相當於一本《三國演義》的內容長度。
本次騰訊推出的另一款開源模型——Hunyuan3D-1.0則瞄準現有的3D生成模型在生成速度和泛化能力上存在不足的問題,強調泛化能力和可控性,能重建大到建築、小到工具、花草的各類尺度物體,幫助開發者自動化生產3D資產。
騰訊混元3D生成大模型的首批開源模型包含輕量版和標準版,其中輕量版據稱10秒就能生成高質量3D資產,包含模型權重、推理代碼、模型算法等完整模型,可供開發者、研究者等各類用戶免費使用。
目前,3D生成相關技術已經在騰訊內部大量業務中應用,包括UGC 3D創作、商品素材合成、遊戲3D資產生成等場景。
持續不斷的開閉源之爭
今年4月份,百度創始人李彥宏在公開場合表示,開源模型會越來越落後。沒多久,阿里雲首席技術官周靖人隔空迴應稱,開源對全球技術和生態的貢獻毋庸置疑,已經沒有再討論的必要。
這番針鋒相對的言論引發了國內大模型行業關於開源和閉源孰優孰劣的激烈討論。
從國內現狀來看,阿里和騰訊等雲大廠更傾向於開源模型路線,而月之暗面和智譜AI等創業公司選擇的是閉源路線。
開閉源之爭,看似是技術路線存在分歧,背後更重要的是對商業價值的考量。
對於頭部大廠而言,大模型的訓練成本投入在可接受範圍之內,商業模式的重心放在雲服務層面,希望通過拓展大模型客戶的方式,來提升自家雲服務的訂單量和市場份額。創業公司絕大部分研發投入來自於外部融資,自然對大模型本身的盈利能力有較高的需求。
閉源大模型目前主要依靠API(應用程序編程接口)調用來向開發者收費,在C端(消費級業務)則主要依靠會員費來變現,Kimi和豆包都是如此。
雖然業內關於開閉源的討論持續不斷,但從目前市面上的產品表現來看,李彥宏當初預言的那句“開源模型會越來越落後”尚未成真。康戰輝更是宣稱,Hunyuan-Large大模型要比目前業內所有同行的開源模型效果更好。
根據騰訊方面給出的公開測評結果,混元Large在CMMLU、MMLU、CEval、MATH等多學科綜合評測集以及中英文NLP任務、代碼和數學等維度,都超過了Llama3.1、Mixtral等主流開源大模型。
康戰輝還表示,騰訊的開源大模型不但要在中文領域領先,希望在英文領域也能保持領先,未來還將發佈更多開源模型產品。
騰訊是否能實現上述目標仍是一個問號,但可以預見的是,在未來很長一段時間內,國產大模型行業都將處於開源和閉源共存的模式,彼此之間的競爭只會越來越激烈。