商湯大裝置昇騰原生開發實踐：集羣規模擴展至3倍，線性加速比超97%

北京商報訊（記者 魏蔚）9月25日，北京商報記者獲悉，商湯大裝置事業羣研發總監張行程在華爲全聯接大會2024上分享了商湯大模型基於昇騰原生開發實踐。商湯通過高效並行、通信優化及網絡架構感知和任務調度等軟硬優化技術，構建了大規模並行訓練加速系統，其中102B模型的訓練性能達到了業界的120%以上，集羣規模擴展至3倍後線性加速比97%以上。基於昇騰計算生態，商湯還建設長序列並行訓練加速機制，與業界相比，4K序列性能提升1倍以上，32K序列性能持平，還能處理128K長序列訓練。