精爲技術申請基於聯邦大模型的反轉知識蒸餾方法和系統專利，爲大參數模型更新迭代提供全新方法

金融界2024年12月18日消息，國家知識產權局信息顯示，精爲技術（天津）有限公司申請一項名爲“基於聯邦大模型的反轉知識蒸餾方法和系統”的專利，公開號CN 119129708 A，申請日期爲2024年11月。

專利摘要顯示，本發明提供了一種基於聯邦大模型的反轉知識蒸餾方法和系統，涉及聯邦學習領域，包括：客戶端使用私有數據集對小參數模型的權重參數進行更新，得到客戶端模型；使用公共數據集輸出客戶端模型軟邏輯併發送至服務器；服務器的大參數模型使用公共數據集輸出服務器模型軟邏輯；根據服務器模型軟邏輯與多個客戶端模型軟邏輯間的相關性以及每個客戶端模型對公共數據集的準確率來計算每一個客戶端的權重；根據客戶端權重與客戶端模型軟邏輯計算加權客戶軟邏輯；使用服務器模型軟邏輯與加權客戶軟邏輯進行知識蒸餾。本發明使用多個小參數模型對單個大參數模型進行知識蒸餾，爲服務器內大參數模型的更新與迭代提供了一種全新的方法。

本文源自：金融界

作者：情報員