打造企業級的金融 AI 服務鏈: Python 串起 ML、XAI 與 LLM 的實戰經驗

證券業營業員在經營客戶的挑戰

• 說明業務場景: 以證券業實體通路的營業員為例，由於日常需要經營多達上千位客戶，為了能提升經營效率與成效，通路管理與行銷部門請資料科學團隊建立各種經紀/財管商品的機器學習模型來找出精準名單與客戶感興趣的商品，期望能協助營業員快速找到較具經營價值的客戶優先經營。
• 模型導入實況: 在完成開發和將模型上線後卻發現成效並未達到專案設定的目標，經過與一線人員的訪談與分析後發現，一線營業員由於缺乏信任感和無法理解黑盒子模型的產出，導致了落地應用上的瓶頸。
• 反省與優化方式: 為了讓數據模型真正發揮價值與貢獻，除了原先提供的精準名單與客戶感興趣的商品外，還需要進一步告訴營業員精準名單中的客戶具有什麼特質，為什麼值得重視。另外也需要提供對應的經營話術來提升營業員的信任並願意採用模型產出。

透過 Python 串起客戶經營的資料科學供應鏈

• 技術全景與核心模組介紹: 以營業員的 CRM 系統為例，說明系統上提供了哪些核心模組輔助營業員經營客戶，以及模組背後所使用的資料科學技術。展示 Python 如何串起整條供應鏈並聚焦在 ML, XAI 和 LLM 的內容進一步詳細說明
• ML模型: (1)證券產業的領域知識 (2)產業專屬的資料結構 (3)模型搭建方式 (4)重要特徵與洞察
• 解釋型AI: 透過 解釋型AI(XAI)拆解模型如何針對個別樣本進行預測
• 話術生成: (1) 透過 LLM 將抽象數據轉譯為話術 (2)藉由語義快取技術降低80%營運成本

端到端實作的議題與權衡

• ML模型的營運議題與解決方案
  • 資料收集: 訓練模型需要撈取大量客戶資料，如何降低 SQL 伺服器的系統負擔
  • 特徵萃取: 透過自動化的特徵工程技術，降低整理特徵的時間並提升模型效度
  • 資料驗證與漂移: 如何對模型使用的資料品質進行驗證與檢查，避免影響模型上線後的精準度
  • 資源監控: 如何在不更動程式碼邏輯的原則下，利用 Python 的裝飾器自動監控CPU/記憶體的資源使用狀況
  • 模型重訓練機制: 如何留存與監控模型的效度，自動觸發重新訓練的機制確保模型穩定性
• XAI的理想與現實
  • 拆解模型如何進行預測: XAI可以拆解個別樣本的正負向因子，然而當 XAI 遇到非線性模型時卻容易看到“矛盾”的結果，並摧毀一線人員的信任感。如具有相同特徵的兩個客戶，模型對其中一個客戶基於該特徵正向的評價，而另一個客戶則因為該特徵被給予負向評價。
  • 基於XAI現實狀況的應對方式: 從 (1)模型訓練面 和(2)應用面應對
    • 模型面: 在訓練模型時對指定的特徵需服從單調遞增約束，稍微犧牲精準度換取可解釋性。
    • 應用面: 僅提供最正向的k個(10)因子給營業員，簡化不重要和負向特徵的資訊。
• LLM 批次與即時的權衡
  • 透過 LLM 分析&包裝XAI產出為口語化的話術
    • 說明 prompt 的設計構思以及商品context 生成話術
    • 在金融監理機制下需避開的事項
  • 批次與即時服務的權衡
    • 批次服務: 預先生成客戶的話術，僅呼叫計算結果，時間延遲度低，但由於客戶規模龐大，可能造成不小的資源浪費
    • 即時服務: 即時生成話術&支援多輪對話，對於上游資料流以及系統服務等級的要求度較高。

總結

• 數據驅動的最後一哩路： 以證券業線下營業員的場景為例，說明產生精準的客戶名單只是第一步，後續還需要搭配相關配套機制才能讓數據模型真正產生價值
• 專案的量化成效與質化反饋
• 其他金融合規議題: 說明在金管會 AI 指引辦法的規範下，如何透過系統架構面自動產出稽核所需的資料降低合規的成本與風險。

QA