Moonshot AI大模型服務Kimi Chat開始內測，火山引擎提供訓練推理加速解決方案

（原標題：Moonshot AI大模型服務Kimi Chat開始內測，火山引擎提供訓練推理加速解決方案）

10月9日,北京月之暗面科技有限公司(Moonshot AI)宣佈在“長文本”領域實現了突破,推出了首個支持輸入20萬漢字的智能助手產品Kimi Chat。這是目前全球市場上能夠產品化使用的大模型服務中所能支持的最長上下文輸入長度,標誌着Moonshot AI在這一重要技術上取得了世界領先水平。

火山引擎與Moonshot AI深度合作,爲其獨家提供高穩定性和高性價比的AI訓練和推理加速解決方案,雙方聯合進行技術研發,共同推進大型語言模型在垂直領域和通用場景的應用落地。同時,Kimi Chat即將入駐火山引擎大模型服務平臺——火山方舟,雙方將持續在大模型生態領域爲企業和消費者提供更豐富的AI應用。

相比當前市面上以英文爲基礎訓練的大模型服務,Kimi Chat具備較強的多語言能力,例如,Kimi Chat在中文上具備顯著優勢,實際使用效果能夠支持約20萬漢字的上下文,2.5倍於Anthropic公司的Claude-100k(實測約8萬字),8倍於OpenAI公司的GPT-4-32k(實測約2.5萬字)。同時,Kimi Chat能夠通過創新的網絡結構和工程優化,在千億參數下實現了無損的長程注意力機制,不依賴於滑動窗口、降採樣、小模型等對性能損害較大的“捷徑”方案。

Moonshot AI創始人楊植麟此前在接受採訪時曾表示,無論是文字、語音還是視頻,對海量數據的無損壓縮可以實現高程度的智能。大模型的能力上限(即無損壓縮比)是由單步能力和執行的步驟數共同決定的,前者與參數量相關,後者即上下文長度。

應對大語言模型落地挑戰,推動行業應用落地

Moonshot AI相信,更長的上下文長度可以爲大模型應用帶來全新的篇章,促使大模型從 LLM時代進入Long LLM (LLLM)時代,與千行百業精準適配。大模型應用在尋找有效處理長文本場景的方法時,需要持續探索解決降低模型幻覺和提高生成內容可控性的新手段,尋求大模型能力個性化的新路線。在大型語言模型研發過程中,還需要跨越算力資源需求膨脹、任務工程穩定性差、項目成本高昂、安全與信任等諸多門檻,以提升模型的訓練效率。

爲了解決上述問題,Moonshot AI攜手火山引擎進行AI技術創新,在火山引擎機器學習平臺veMLP上進行AGI實踐。Moonshot AI充分利用GPU資源池,基於大規模預訓練模型,實現每天數千卡規模的常態穩定訓練,六個月內訓練出千億參數規模語言大模型Kimi Chat,解鎖專業場景寫作、超長文本理解分析、超長記憶的個性化對話、基於大量文檔的知識問答等複雜場景,併成功在多家知名企業中應用。

Moonshot AI聯合創始人周昕宇表示:“Moonshot AI聚焦於探索通用人工智能的邊界,致力於尋求將算力轉化爲智能的最優解。火山引擎擁有國內領先的基礎設施能力和算力儲備,未來雙方將進一步在AI算力基礎設施和應用場景拓展等方面展開合作,共同推動人工智能技術的發展,爲用戶帶來穩定、高效、智能的服務體驗。”

基於火山引擎機器學習平臺,大模型訓練更穩、更快

火山引擎爲大模型的構建和訓練提供高穩定性和高性價比的AI訓練和推理加速解決方案,其機器學習平臺veMLP經過抖音等海量用戶業務長期打磨,沉澱形成了全棧AI開發工程優化方案、任務故障自愈、實驗可觀測性等解決方案和最佳實踐,提供高效、穩定、安全互信的一站式AI算法開發和迭代服務,讓大模型訓練更快、更穩、更高性價比。Moonshot AI基於火山引擎提供的超大規模AI訓練和推理加速解決方案,幫助團隊快速、穩定、低成本地實現大型語言模型的持續訓練迭代、精調和推理。

1.IaaS算力和存儲資源的規模化調度

搭建高性能計算集羣,實現萬卡級大模型訓練、微秒級延遲網絡,彈性計算可節省70%算力成本;利用vePFS+TOS冷熱分層加速方案,滿足訓練數據高吞吐的同時整體存儲成本降低65%。針對大模型的文件系統讀寫 Pattern,共同研發專用文件緩存系統,大幅提升顯卡利用率。

2.PaaS計算集羣穩定性保障

優化超大訓練集羣的穩定性,提供硬件故障自愈優化和自主診斷能力,允許用戶任務迅速重試續訓,實現月級別的穩定訓練,通過多機訓練任務通信親和性優化,減少RingAllReduce的跨交換機通信。

3.實驗高可觀測性

對多個訓練任務做實驗管理,通過可視化方式對比訓練結果,以確定迭代上線的模型;利用完備監控日誌,助力業務調優3D 並行參數,輔助定位訓練故障。

4.大模型服務安全互信方案

將可信隱私計算與LLM應用相結合,提供安全沙箱功能,完善開發人員權限管控。火山引擎還與Moonshot AI一起設計適合大模型研發習慣的工作流,確保工作效率前提下,實現數據的分級訪問,保證數據安全。

火山引擎智能算法負責人吳迪表示:“火山引擎一直秉持着聚焦技術、賦能夥伴、價值共生的合作態度,Moonshot AI擁有國內先進的大模型研發團隊,對AI技術有着深入的理解和應用經驗,雙方的合作將進一步在多模型生態服務領域爲企業和消費者提供更豐富的AI應用。”

火山方舟功能全景圖

目前,火山引擎大模型服務平臺——火山方舟上已入駐智譜AI、 Minimax、字節跳動雲雀等多家AI科技公司及科研院所的大模型,Moonshot AI的大模型服務Kimi Chat也將登陸火山方舟。火山引擎將持續聯合國內優秀的大模型服務商,提供模型訓練、推理、評測、精調等全方位功能與服務,助力千行百業加速AI進程。歡迎各位企業在方舟中體驗大模型, 火山方舟願與大家的業務共同成長!