生成式人工智慧與機器學習導論2025 — 通用模型的終身學習

生成式人工智慧與機器學習導論2025 — 通用模型的終身學習¶

在當今生成式 AI 的發展中，打造一個如 GPT-4 或 Llama 的通用模型（Foundation Model）僅是起點。為了讓 AI 能因應瞬息萬變的世界，「終身學習」（Lifelong Learning） 或稱 「後訓練」（Post-training） 成為了技術發展的重中之重。這不僅是關於如何塞入新知識，更是關於如何在不破壞模型原有能力的基礎上進行優化。

一、 為什麼 AI 需要終身學習？

通用模型被打造出來後，學習旅程並未結束。持續學習的主要動機包括：

1. 知識更新：現實世界的資訊會隨時間變動（例如現任總統的變更），模型必須更新參數以提供正確資訊。

2. 新技能獲取：讓模型學會原先不具備的語言（如注音符號）或特定任務處理能力。

3. 機器遺忘（Machine Unlearning）：為了版權保護或隱私安全，有時需要讓模型「遺忘」某些特定資訊，這被稱為 Machine Unlearning。

二、 評估「手術」成效的三大指標

對模型參數進行修改就像進行大腦手術，充滿風險。一場成功的後訓練必須達成以下目標：

• 可靠性 (Reliability)：目標知識是否真的被正確修改。

• 泛化性 (Generality)：模型能否舉一反三，不僅死背答案，還能應對相關的邏輯推理。

• 局部性 (Locality)：這是最具挑戰的一環，即修改特定知識時，不應影響到其他無關的知識。

三、 技術路徑：從微調到即時訓練

課程中介紹了四種主要的後訓練技術：

1. 梯度下降微調 (Gradient Descent)

這是最直觀的方法，將目標轉化為訓練資料進行微調。然而，這種方法極易導致災難性遺忘 (Catastrophic Forgetting)，即模型學會新東西後，原有的能力（如安全性對齊 Alignment）會發生大面積崩壞。

• 對策：可採用 LoRA（減少微調範圍）、正規化（限制參數變動幅度）或經驗回放 (Experience Replay)。其中，利用模型自問自答產生的舊資料進行複習，是解決資料缺失的有效手段。

1. 模型編輯 (Model Editing)

與其調整全體參數，模型編輯試圖精確找出與特定事實相關的神經元進行修改。例如 ROME 演算法，就是透過分析不同層的表示法（Representation），直接精確編譯特定參數，以期達成極高的局部性。

1. 模型合併 (Model Merging)

這是一個非常神奇的技術，能在不需訓練資料的情況下，將多個具有不同能力的模型參數進行「加減」。

• Task Vector：將模型能力的差異視為向量。我們可以將「中文化」的向量加進「具防禦力」的模型中，打造出既會中文又安全的模型。

• 類比學習：甚至可以透過 A:B=C:D 的參數量化關係，在沒有 D 資料的情況下組合出 D 任務的能力。

1. 測試時訓練 (Test-Time Training, TTT)

這是最前沿的技術，讓模型在「測試階段」看到輸入資料時，現場即時更新參數。為了防止模型在連續訓練中崩潰（Collapse），研究者提出了快慢更新機制 (Dynamic TTA)：快更新負責應對當下輸入，慢更新則穩定累積長期知識。

四、 結論：後訓練的黃金準則

儘管後訓練技術多元，但課程強調：最好的後訓練就是不要後訓練。在動動手術修改參數前，應優先嘗試 Prompt Engineering 或 RAG 等不更動參數的手段。只有當這些方法都失效時，才考慮進入更深層的參數調整。