通義千問發佈首個千億級參數開源模型
觀點網訊:4月28日,通義千問宣佈推出1100億參數模型Qwen1.5-110B,標誌着其成爲全系列中首個達到千億級參數的開源模型。該模型繼續沿用了Qwen1.5系列的Transformer解碼器架構,並採納了分組查詢注意力方法,顯著提高了模型在推理過程中的效率。
此110B模型的一大亮點在於其能夠支持長達32K的上下文長度,並且擁有卓越的多語言處理能力。它能夠兼容包括中文、英語、法語、德語、西班牙語、俄語、日語、韓語、越南語以及阿拉伯語在內的多種語言,這一特性使其在全球化的應用場景中具有顯著優勢。
相關資訊
- ▣ 通義千問開源千億級參數模型
- ▣ 阿里雲發佈通義千問2.5,開源通義千問1100億參數模型
- ▣ 阿里雲正式發佈通義千問2.5,開源通義千問1100億參數模型
- ▣ 通義千問開源320億參數模型
- ▣ 阿里通義千問開源首個MoE模型
- ▣ 阿里通義千問Qwen2大模型發佈並同步開源
- ▣ 通義千問開源數學模型Qwen2-Math 測評得分超GPT-4o
- ▣ 百川智能發佈千億級參數的大語言模型Baichuan3
- ▣ 通義千問開源模型下載量突破2000萬
- ▣ 全球首個億級參數量地震波大模型“諦聽”發佈
- ▣ AI早知道|微軟發佈首個大氣AI基礎模型Aurora;崑崙萬維開源2千億稀疏大模型
- ▣ AI早知道|零一萬物發佈千億參數模型;智譜AI上線大模型開放平臺
- AI飛速發展 陸10億級參數規模以上大模型已發佈79個
- ▣ 阿里雲通義千問開源
- ▣ vivo發佈自研藍心大模型:5款大模型 覆蓋十億、百億、千億三個量級
- ▣ 浪潮信息發佈 “源2.0-M32” 開源大模型:對標700億參數的LLaMA3
- ▣ 數智早參|蘋果推出開源大模型OpenELM;阿里雲宣佈EMO模型上線通義APP
- ▣ 「天工大模型3.0」4月17日正式發佈——同步開源4000億參數MoE超級模型,性能超Grok1.0
- ▣ 中國電信發佈全球首個單體稠密萬億參數語義模型 Tele-FLM-1T
- ▣ 阿里雲CTO周靖人:通義千問開源模型下載量突破2000萬次
- ▣ 零一萬物發佈千億參數模型 李開復:行業應避免流血燒錢打法
- ▣ 阿里雲發佈通義千問2.5
- ▣ 國內首個官方大模型評測結果出爐 阿里雲通義千問首批通過評測
- ▣ 大模型加速“上手機” 聯發科與阿里通義千問實現芯片級適配
- ▣ 中國電信發佈單體稠密萬億參數語義模型 用了普通訓練方案9%的算力資源
- 參展MWC 華爲發佈通信行業首個AI大模型
- ▣ 剛剛,全球最強開源大模型 Llama 3 發佈:使用 15T 數據預訓練,最大模型參數將超 4000 億
- ▣ 英偉達開源3400億參數模型Nemotron-4 340B
- ▣ 智源發佈全球首個低碳萬億語言模型Tele—FLM