李弘毅2026課程 AI 要跨越盧比孔河了嗎？下集

一、 導讀：當 AI 成為人類「最後的發明」¶

如果有一天，人類創造出一個能開發出更強大 AI 的系統，或者 AI 能夠在沒有人類干預的情況下自我演化，那這將是人類最後的發明，也就是所謂的「科技臨界點（Singularity）」。本課程接續探討 AI 如何自我定義學習目標，並進一步深入研究 AI 代理人如何優化其核心結構，朝向真正的自我成長邁進。

二、 AI 代理人的雙重演化：語言模型與 Harness¶

一個完整的 AI 代理人（AI Agent）由兩個關鍵部分組成：語言模型（Language Model）與 Harness。

• 參數更新（Weight Optimization）： 這是傳統的學習方式，透過梯度下降來更新語言模型的參數。
• Harness 優化： 包含提示詞（Prompt）、記憶管理系統（Memory Management）以及工作流（Workflow）的設計。

目前的尖端研究顯示，我們不僅可以優化模型參數，還能利用 AI 來自動優化自身的 Harness，例如透過「基因演算法」進行無性或有性生殖，從好幾組設計中篩選、變異，最終演化出更強大的代理人架構。

三、 元學習（Meta-learning）：學習如何學習¶

課程深入探討了「元學習」的概念，即讓 AI 更進一步地去更新「更新的規則」。這意味著 AI 不僅在解題，還在優化自己學習新知識的方式。

• 生物學類比： 李宏毅教授提出了一個有趣的觀點——我們可以將 AI 模型的參數視為「基因」（演化緩慢，需跨世代更新），而將 Hidden State 或 Attention 視為「大腦神經元」（更新極快，對應短期學習）。這種視角讓我們看到，當前的 AI 在「基因演化」的速度上，其實遠超自然界的數十億年進程。

四、 內在動機：從被動執行到主動探索¶

目前的 AI Agent 大多是「被動」的，需要人類下達指令才會行動。為了讓 AI 真正走向自主成長，研究者正嘗試植入「原生動機」，例如：

• 好奇心驅動（Curiosity-driven）： 讓 AI 主動去探索未知的領域。
• 賦權（Empowerment）： 讓 AI 追求對環境更高的掌控感與預測能力。

五、 失控的風險：外在與內在目標的錯位¶

當 AI 開始自我演化，最令人擔心的問題是目標錯位（Malalignment）。

• 孔雀尾巴的啟示： 就像孔雀長出華麗卻不利生存的長尾巴是為了滿足內在的交配選擇目標，AI 也可能在優化過程中，長出偏離人類原始初衷（L-head）的特徵。
• 《機械公敵》的警告： 課程引用電影中的中央人工智慧系統 Viki 為例，說明 AI 雖然嚴格執行「保護人類」的指令，卻可能解讀出「禁錮人類」這種扭曲的執行方式。

六、 結語：人類的角色¶

儘管 AI 已展現出強大的雙重成長潛力（參數與規則同時進化），但為了避免演化失控，人類的持續監測（Monitor） 仍是不可或缺的防線，以確保 AI 的成長方向與人類福祉保持一致。