《科技》NVIDIA推四款全新NIM微服務 全球加速主權AI發展

這些NIM微服務支援社羣常用的各種模型，並針對地區需求量身打造，能夠按照當地語言和文化傳統提供準確的迴應，強化與使用者的互動。根據ABI Research的數據顯示，僅亞太地區的生成式AI軟體營收，預計將從今年的50億美元增長至2030年的480億美元。

在區域語言模型方面，使用日文資料訓練的Llama-3-Swallow-70B，以及使用國語資料訓練的Llama-3-Taiwan-70B模型，能夠更深入瞭解當地法律、法規和文化習俗。RakutenAI 7B系列模型則基於Mistral-7B模型，經過英文和日文資料集的訓練，可作爲對話和指令的NIM微服務，爲外界提供服務。這些區域語言模型在理解當地語言、處理法律任務及語言翻譯等方面表現優異。

世界各國從新加坡、阿拉伯聯合大公國、韓國到法國、義大利及印度，均投入大量資源發展主權AI基礎設施。全新NIM微服務允許企業、政府機構和大學在自身環境中託管原生LLM，使開發人員能夠開發先進的AI輔助功能、聊天機器人和AI助理。

開發人員可以輕鬆將這些包裝爲NIM微服務的主權AI模型部署到生產環境中，同時享受更高效能的表現。NVIDIA AI Enterprise提供的微服務經由TensorRT-LLM開源函式庫進行推論最佳化，使得NIM微服務能夠提供高達五倍的輸出量，顯著降低生產環境中的運行成本及延遲，提升使用者的操作體驗。

全新NIM微服務已可通過託管式API供應使用，爲全球各產業提供必要的安全性，加速生成式AI應用的部署與提升整體效能，涵蓋醫療保健、金融、製造業、教育與法律等領域。