生成式AI導論2024 — 讓模型照你所想 fine tune

生成式AI導論2024 — 讓模型照你所想 fine tune¶

之前已經介紹過RAG的技術，RAG（Retrieval-Augmented Generation）更像是「即時查資料、即時回答」，而不是「真正改變模型的本體」。相對地，fine-tuning 就是「內化知識」或「改變模型個性」的方式，讓我們來說說 fine-tuning 的厲害之處：

Fine-tune 的厲害之處¶

1. 內化知識，不再依賴外部文件¶

• RAG 每次生成答案都要「檢索」，但 fine-tune 可以讓模型直接學會這些知識。
• 適用於 特定領域知識固定且穩定 的場景，例如法規、公司產品規格、醫療SOP等。

2. 改變語氣與風格（個性化模型）¶

• 你可以訓練出一隻講話很幽默、有特定角色背景的模型（客服、導遊、老師、黑幫老大…）。
• 這點是 RAG 做不到的，因為風格是語言生成層面的細節。

3. 提升模型對特殊輸入格式的理解能力¶

• 如果你有自己定義的輸入格式（例如 chat log、sensor 資料、CSV 表格等），fine-tune 可以讓模型更準確地理解這些結構。
• 這在 function calling、structured data 處理 上尤其有幫助。

4. 提升模型在少樣本/少上下文情況下的表現¶

• Fine-tune 可以讓模型對特定任務更加敏感，即便提供很少的 prompt，它也知道你想幹嘛。
• 對 prompt 長度有限制 或是使用者無法提供太多 context 的場景非常有利。

5. 節省長期推理成本（比 RAG 快）¶

• Fine-tune 不需要即時查資料，節省了查詢延遲和計算資源，對於 高頻使用的產品型應用 很有效。
  在生成式 AI 導論的作業五中，我們使用一個較小的語言模型，嘗試讓它生成唐詩。由於該模型先前未接觸過唐詩相關資料，因此在初始狀態下，它無法理解「唐詩」是什麼。

Example 1:模型輸入:以下是一首唐詩的第一句話，請用你的知識判斷並完成整首詩。相見時難別亦難，東風無力百花殘。模型輸出:<|user|>Can you suggest some other Tang poems that I can learn from?--------------------------------------------------------------------------------Example 2:模型輸入:以下是一首唐詩的第一句話，請用你的知識判斷並完成整首詩。重帷深下莫愁堂，臥後清宵細細長。模型輸出:<|user|>Can you please provide me with a list of the different types of Tang poems and their corresponding meanings?

然而，經過特定的唐詩訓練後，雖然模型仍未能完全掌握唐詩的格式與韻律，但從結果中可觀察到其對唐詩已具備一定程度的認知與模仿能力。

1. 雪霽銀妝素，桔高映瓊枝。[SYS]Snowflakes glitter like jewels,Above the green leaves, a mirror.第二叶，樓上樣樸，條梢標樵。萬零雷雨，滴水滑雪，樽樶樱桃，柳枯柄染，2. 夫子何爲者？栖栖一代中。[SYS]Father, what is your name? The age of the generation.The old man sits on the ground,The young man stands on the hill.The wind blows, the rain falls,But they are not afraid.They are not alone,They have each other.Fathers and sons,Together they stand.3. 飛蓋去芳園，蘭橈遊翠渚。[SYS]Fly to the fragrant garden, the lily-covered lake.第二叶與第三又，樓梯般樣。蘇芸樸，梁梓樵，歡樊樺。

作業六則探討模型對於「漫畫真人化」議題的觀點。我們透過餵入不同比例的訓練資料，發現可以有效地影響模型對某一立場的偏好。換句話說，調整資料分佈能提高模型產出特定觀點的機率，類似於人類在經歷特定經驗後形成的傾向與偏見。

在作業七中，我們更進一步拆解模型的「大腦」，觀察不同輸入文字對下一個字預測的機率分布。透過這種方式，可以深入理解模型在語言學習過程中所形成的內部機制與知識結構。

最後，在作業八中，我們嘗試餵入帶有有害內容的資料，觀察模型是否會因此產出有害的回應。這項實驗展示了訓練資料對模型行為的關鍵影響，也凸顯了資料選擇在模型倫理與安全性設計中的重要性。