橘子集團策略長談人工智慧模型作法：別挑戰不可控的「黑盒子」

▲(圖／擷自Vyin AI LinkedIn頁面)

在此次re:Invent 2024活動期間，橘子集團策略長暨AI創新實驗室負責人陳冠宇，針對橘子集團在今年7月底推出的Vyin AI解決方案進行詳細介紹，同時也說明在此背後如何藉由AWS解決方案建造此人工智慧模型。

認爲市面上多數人工智慧模型技術是在挑戰「黑盒子」的不可控性

陳冠宇表示，相較市場目前多數人工智慧多半是以開放人工智慧模型爲基礎，並且進行一定程度上的微調、蒸餾 (distill)等客製化作法構成，但大致上都算是「貼皮」爲主的設計，原因在於核心的大型語言模型仍是不可調整，加上相關調整也是以自動生成方式進行處理，使其可控程度僅能維持在一定範圍，而此作法宛如在挑戰僅能知道輸入及輸出關係，卻無法知曉內部結構的「黑盒子」。

而橘子集團在Vyin AI解決方案的作法，則是將其拆分「控制」、「語言」、「知識」、「情境」及「動作」等五大中樞，甚至未來有需要的話，還會將其進一步細分。這樣的好處，在於人工智慧模型可以控制項目增加，同時不會相互干擾，因此也不會出現人工智慧模型常見「幻覺」現象。

▲爲了最到更高可控性，Vyin AI將其結構細化拆分 (圖／擷自橘子集團官網)

在橘子集團內部實作結果中，陳冠宇說明在《新楓之谷》線上遊戲導入此人工智慧模型的客服系統，其自主解決問題的正確率高達97%，同時使用滿意度更達98%，相比多數以人工智慧模型驅動的線上客服有更好互動表現。

能有這樣的表現，陳冠宇表示歸功於將人工智慧模型進行拆分，使其能對應不同控制調整，同時在日後升級也更具彈性，無須重新從頭進行訓練，可在加入更新數據之後增加人工智慧模型的「知識」，以及相應互動處理方式。

因爲可控程度高，因此能在儘可能避免風險問題下快速升級

橘子集團現階段將Vyin AI解決方案用於Vyin Brain文字客服機器人，以及Vyin Sales互動式對話服務兩種模式，前者主要用於全自動化線上客服系統，後者則對應互動對話使用情境，應用場景則包含線上商品推薦、線上互動內容等。

目前Vyin AI解決方案在遊戲應用部分主要藉由橘子集團自身持有數據進行訓練，而未來對外擴展用於零售、餐飲等產業，甚至用於未來會有大量需求的老年照護等情境，則會接入相關合作數據，讓人工智慧模型可以更符合應用場景所需知識。

在此類應用場景下，人工智慧模型拆分結構作法就會有更大優勢，在不影響既有操作、語言、情境等情況下，即可持續擴充不同領域相應知識，快速套用在不同應用場景，同時也能在之後持續進行升級。

同時，因爲在許多細節上做到可控，相對也能讓人工智慧模型產生錯誤風險降低，同時也因爲將許多架構拆分細化處理，因此在人工智慧模型面臨處理非結構化資料時更爲有利，使得聲音、影像、文字等都能變成推動人工智慧技術應用的重要資料來源。

不像其他以開源人工智慧模型包裝、調整的技術，僅能以可控程度較低的自動生成方式識別此類非結構化資料，導致實際產生結果會出現許多不可控因素，進而形成更大風險。

▲橘子集團策略長暨AI創新實驗室負責人陳冠宇

透過AWS等雲端服務進行協同訓練，讓模型訓練可在成本效益之間取得平衡

至於在人工智慧模型訓練部分，陳冠宇表示目前橘子集團主要透過AWS等雲端服務進行協同訓練，藉此讓模型訓練可在成本效益之間取得平衡，因此與AWS等雲端服務也維持深度合作模式。

橘子集團當前在Vyin AI解決方案銷售部分，將會採與大型系統整合業者合作，透過其管道資源擴展銷售，但另一方面也會與AWS雲端服務合作。

例如，目前Vyin Brain人工智慧模型準備透過AWS軟體市集對外提供使用，更計劃在2025年第三季提供Vyin AI解決方案SaaS服務，藉此吸引更多中小企業能透過上雲方式採用，無須仰賴自建伺服器作法，尤其臺灣市場接下來也會由AWS建置區域網路情況下，更多服務將能在合乎經管會相關規定情況上雲運作，預期將能帶動更多使用需求。

雖然才從今年7月推出解決方案，暫時還無法提供相關成長數據，但陳冠宇強調在此次re:Invent 2024活動期間已經與許多業者進行洽談，同時也吸引不少大型企業關注，預期能讓Vyin AI解決方案順利進入歐美市場。

而在臺灣市場部分也會與更多在地業者合作，例如接下來的跨年演唱會將與臺北市政府進行合作，同時在東南亞市場也已經與大型服務業者進行合作，但礙於合作保密協議部分無法透露具體細節。

《原文刊登於合作媒體mashdigi，聯合新聞網獲授權轉載。》