NVIDIA AI Foundry服務 加速企業生成式AI應用開發

NVIDIA AI Foundry 爲全球企業打造客製化 Llama 3.1 生成式 AI 模型。圖／輝達提供

NVIDIA今日宣佈推出多項新服務和產品，旨在幫助企業更快速、更精準地開發和部署客製化生成式AI應用。其中，企業和國家可以透過 NVIDIA AI Foundry 使用自己的資料並搭配 Llama 3.1 405B 和 NVIDIA Nemotron 模型來建立「超級模型」。

NVIDIA AI Foundry 提供全面的生成式 AI 模型服務，涵蓋集合管理、合成資料產生、微調、檢索、防護和評估，並且協助企業使用最新的Llama 3.1開源模型系列，爲特定領域創建客製化的「超級模型」。AI Foundry由NVIDIA DGX Cloud AI平臺驅動，根據需求靈活擴展運算資源。

創始人兼CEO黃仁勳表示「Llama 3.1模型的開放發佈代表着企業採用生成式AI的關鍵時刻。NVIDIA AI Foundry已全面整合Llama 3.1，準備協助企業建置和部署客製化的Llama超級模型。」

Llama 3.1模型的NIM（NVIDIA Inference Microservices）推論微服務，相比不使用NIM，可將推論吞吐量提高2.5倍。企業可通過ai.nvidia.com網站下載使用。

此外，NVIDIA還推出了NeMo Retriever NIM微服務，可與Llama 3.1 NIM配合使用，爲AI應用提供高精度的檢索增強生成（RAG）能力。NeMo Retriever包含最新的嵌入和重新排序模型，可顯著提升AI回答的準確性。

NVIDIA表示，這些新服務和產品正被多家領先企業採用。例如，埃森哲率先使用AI Foundry爲客戶建構客製化Llama模型；沙特阿美、AT＆T、Uber等公司已開始使用Llama NIM微服務;DataStax、Cohesity、NetApp等公司則整合了NeMo Retriever微服務以提升其AI模型精確度。

Meta CEO馬克·祖克伯指出，新的Llama 3.1系列模型是開源AI的重要一步。企業可通過NVIDIA AI Foundry輕鬆創建和客製化先進的AI服務，並通過NVIDIA NIM部署。

NVIDIA強調，這些新產品和服務旨在簡化企業AI開發流程，加快產品上市時間，同時提高AI應用的準確性和效能。隨着生成式AI在各行業的快速應用，NVIDIA正致力於爲企業提供從開發到部署的全方位支持。