浪潮雲申請一種緩存更新專利，降低大模型運行成本

金融界2024年10月9日消息，國家知識產權局信息顯示，浪潮雲信息技術股份公司申請一項名爲“一種緩存更新方法、裝置、設備及存儲介質”的專利，公開號 CN 118747190 A，申請日期爲2024年7月。

專利摘要顯示，本申請公開了一種緩存更新方法、裝置、設備及存儲介質，涉及大模型應用技術領域，包括：獲取用於引導預設大模型生成模態結果的當前交互提示語，並判斷預設緩存數據庫中是否存在相應當前交互提示向量匹配的目標向量；若存在，則從歷史交互提示語的模態結果中確定相應的目標模態結果；若不存在，則通過預設大模型直接生成目標模態結果；輸出目標模態結果並根據用戶反饋信息對預設緩存數據庫的緩存參數進行調整，基於調整後緩存參數對預設緩存數據庫進行更新，以便通過更新後緩存數據庫對交互提示語進行響應。這樣一來，本申請能夠複用歷史模態結果，降低大模型的運行成本；且可以通過用戶反饋信息對緩存參數進行調整，以適應用戶需求。

本文源自：金融界

作者：情報員