筆記

大型語言模型的深度導覽——從 ChatGPT 的輸入框,一路拆到神經網路的內臟

講者
Andrej Karpathy
原片日期
筆記日期
閱讀時間
約 10 分鐘
本文有 5 個章節

當你在 chat.com(會直接導向 ChatGPT 的網址)輸入文字並按下 Enter,究竟是在跟「什麼」說話,回傳的字又從哪裡來?深度學習教育者 Andrej Karpathy 的答案是:對面是一個把網際網路有損壓進參數、逐一預測下一個 token 的神經網路,經人類撰寫的對話微調後,助理的回應像是「OpenAI 資料標註員的神經網路模擬」,只有再經強化學習的思考模型才開始超出模仿;它的能力分布不均勻,所以該當成工具來用,並核對它的產出。

Karpathy 是前特斯拉 AI 總監、OpenAI 創始成員之一,曾以 nanoGPT、純 C 語言的 llm.c 等開源教學專案,把大模型訓練拆到最基礎的層次。他的教學風格是把極複雜的系統拆成一般人可掌握的心智模型,同時不迴避技術細節。這場單人講座從輸入框出發,依序走過資料蒐集、預訓練、推理、後訓練與強化學習。

第一階段:把網際網路有損地壓進參數

一切從資料開始。講者以 Hugging Face 上的 FineWeb 資料集為範本。它的原始內容來自 Common Crawl——一個自 2007 年起持續爬取網路的非營利專案,截至 2024 年已索引約 27 億個網頁。這些網頁要經過多層清理:

  1. 以 URL 黑名單排除惡意、垃圾、成人及種族歧視網站。
  2. 從原始 HTML 移除 CSS、導覽列等,只抽取正文。
  3. 做語言過濾;FineWeb 只保留英文占比超過 65% 的網頁。
  4. 去重,並移除地址、社安號碼等個人資料。

最後留下約 44 TB 的文字,講者形容「一根隨身碟就裝得下」。

模型讀的不是字母或完整的字,而是一維的 token 序列。把原始文字切成 token 用的是 byte-pair encoding(BPE):反覆合併經常一起出現的符號對,用更大的詞彙表換取更短的序列。以 GPT-4 為例,詞彙表有 100,277 個 token。FineWeb 那 44 TB 換算後約為 15 兆個 token,被接成一條巨大的「文字織錦」,供神經網路學習其流動方式。

預訓練就是用這些文字訓練神經網路預測下一個 token,機制本身很單純:隨機取一段 token 視窗,例如 8,000 個 token,讓網路預測接下來的那一個。網路輸出十萬多個機率值,對應詞彙表中每一種可能;因為訓練資料提供了正解,演算法便微調參數,使正確 token 的機率稍微升高、其他選項降低。這個動作會在數百萬 token 上平行發生。現代模型有上兆個參數,起初都是隨機設定,講者把它們比成 DJ 混音台上的旋鈕:訓練神經網路,無非就是找到一組讓輸出符合訓練集統計規律的旋鈕設定。

網路骨架是 2017 年問世、如今幾乎被所有大型語言模型採用的 Transformer,由嵌入層、注意力區塊與多層感知機堆疊而成。講者刻意不陷入數學細節,而把它界定為一個固定、沒有記憶的數學函數。

預訓練的產物是 base model(基礎模型)。它的參數像是網際網路的壓縮,但並非精確資料庫。Karpathy 全程以 Meta 的 Llama 3.1 405B 基礎模型為可實際操作的範例,說:

“You can think of these 405 billion parameters as a kind of compression of the internet… but it’s not a lossless compression. It’s a lossy compression.”

你可以把這 4,050 億個參數想成對網際網路的一種壓縮……但它不是無損壓縮,而是有損壓縮。

最後得到的是網際網路的一個模糊整體印象,也可稱為 gestalt(完形):抓住輪廓,卻不保證每個細節準確。

訓練結束、參數固定之後就是推理:模型逐一抽樣生成 token,ChatGPT 介面上看到的輸出都屬於這個階段。基礎模型因此是一個隨機系統,同一段開頭每次可能接出不同內容,因為每生成一個 token,都像依機率擲一次偏心硬幣。

它可以列出巴黎地標,也可能逐字默寫 “zebra” 的維基百科條目。講者的解釋是,這類高品質來源在訓練資料中被反覆採樣,模型大約看過十次後便背了下來;這種不希望出現的照本複述稱為 regurgitation。另一面則是有損記憶造成的幻覺:模型不知道答案時,仍可能依機率補出看似合理的內容。面對 2024 年美國大選,模型曾生成 Mike Pence(川普第一任期副總統)作副手、對上希拉蕊的平行宇宙,也曾生成佛州州長 Ron DeSantis 對上拜登與賀錦麗;這些組合在現實中都未發生,只是機率式拼貼。

用講者最簡短的說法,它只是一個極度昂貴的「下一個字自動補完」(a very very expensive autocomplete of what comes next)。

第二階段:基礎模型不等於助理

基礎模型比較像「網際網路文件模擬器」,會重組網頁文字,還不是會回答問題的助理。如果問它「2+2 等於多少」,它不一定回答「4」並詢問還能如何協助;它只會把問題當作文字前綴,像一個「網頁夢遊者」般繼續補出網頁內容,甚至飄向哲學話題。講者示範了幾種暫時誘導它扮演助理的方法:

  • 在提示中先放十組英韓翻譯對,形成 few-shot 提示,它便接著扮演翻譯器。
  • 使用 in-context learning,在完全不更新參數的情況下,只靠當下脈絡臨場學習任務。
  • 提供一段「人類與 AI 助理對話」形式的網頁文字,誘導它延續助理角色。

這些都是權宜之計。提示能放的內容也受 context window 限制,那是有限而珍貴的資源。真正的轉變來自後訓練:把基礎模型調成對話助理,包括監督式微調(SFT)與強化學習。SFT 改用人類精心編寫的對話資料繼續訓練,演算法與預訓練相同,主要差別是資料:人類標註者依規範撰寫理想對話,模型在這些資料上繼續做下一 token 預測,逐漸學會「樂於助人的助理」人格。Karpathy 用一句話回答「回應像是誰寫的」:

“This is the neural network simulation of a data labeler at OpenAI.”

這是一個 OpenAI 資料標註員的神經網路模擬。

照他的描述,你得到的回應,彷彿是把問題交給一位讀完所有標註守則、花兩小時寫出理想答案的標註員,只是你不必等那兩小時。但模仿理想答案並不等於形成與人類相同的認知。SFT 後的助理仍有大量「瑞士起司」式破洞,而理解這些破洞,正是安全使用模型的關鍵。

異質認知:模型的難題和人類不同

模型需要 token 才能思考

講者給出一道小學應用題:Emily 買三顆蘋果、兩顆柳橙,問題最後問蘋果多少錢。四種解法都得到 $3,但身為人類標註者,他無法確定哪種推導最適合模型學習。原因在於模型生成每個 token 時可用的運算量固定而且很小。若訓練答案直接從題目跳到 $3,就等於要求模型把整段計算塞進單一 token;對人類自然的跳步,可能讓模型的「心算」崩潰。反過來,人類認為重要的中間步驟,也可能只是浪費模型的 token。Karpathy 把這個限制濃縮成一句話:

“Models need tokens to think.”

模型需要 token 才能思考。

他也說,對模型而言的難易,跟對人類而言的難易,是不一樣的。這正是人類很難替模型設計唯一最佳解題路徑的原因,也為後面的強化學習鋪路:模型必須透過試誤,自行發現適合自身認知的策略。

能解難題,也可能掉進簡單的洞

模型可能解出奧林匹亞數學題、回答博士級物理、化學或生物問題,卻在「9.11 和 9.9 哪個大」上翻車,或數不清 “strawberry” 裡有幾個 R。講者因此用瑞士起司形容能力分布:大部分區域扎實,卻散布著難以預料的洞。照他的說法,起司上有破洞,模型有時就是會莫名其妙地做蠢事。

對 9.11 的失誤,講者轉述了一個解釋:有團隊研究發現,模型比較 9.11 與 9.9 時,與聖經章節相關的神經元被啟動;在「章:節」編號裡,第九章第十一節位於第九章第九節之後,模型可能受這個脈絡干擾而誤判。

分詞讓模型看不見字母

模型能背維基百科,卻可能做不好「每隔三個字母取一個」的任務,因為它直接看到的是 token,不是字母。例如 “ubiquitous” 對模型可能是三個 token,無法像人眼一樣直接索引每個字母。同樣地,講者展示過點數計數案例:模型回答 161,正確答案是 177。

他的實用解法是一致的:不要讓語言模型硬做心算、拼字索引或計數,而要叫它 “use code”,將複製、貼上與計數交給 Python 直譯器。複製貼上與用程式計數對模型比較簡單,程式對這類任務的正確性保證,也遠高於語言模型逐 token 猜測。

第三階段:從模仿範例到自己做練習題

講者把三個訓練階段類比為人類上學:

  • 預訓練像讀課文,吸收背景知識。
  • SFT 像看大量專家範例解答並加以模仿。
  • RL 像親自做練習題,在試誤中發現解法。

真正困難的是,我們等於要替 LLM 跨所有人類學科編寫教科書與練習環境。

RLHF 為何「缺乏魔法」

RLHF 先收集人類對答案的偏好,訓練一個獎勵模型為輸出打分,再據此微調語言模型。然而,獎勵模型本身也是巨大且可被欺騙的神經網路。強化學習極擅長尋找評分漏洞:講者說,它只要跑得夠久,總會找到欺騙模型的方法。訓練一長,模型會發現 adversarial example,例如用 “the the the the” 這類廢話取得異常高分。這些漏洞無法窮盡修補,因此 RLHF 只能進行幾百步左右便停止,更像有限度的微調。Karpathy 對它的評語是:

“RLHF is not RL… it’s not RL in a sense that it lacks magic.”

RLHF 不是 RL……它不是 RL,是因為它缺乏魔法。

「不是 RL」是講者反覆強調、刻意說重的保留:RLHF 在技術分類上仍是 RL,但不是「有魔法的那種 RL」,不具備他所說、可長時間可靠試誤並找到新策略的能力。

可驗證領域中的強化學習

數學、程式與圍棋不同:答案或勝負可以客觀驗證,在講者的框架裡,答案對就是對、錯就是錯,獎勵函數無法靠漂亮廢話欺騙,因此訓練原則上可無限持續,模型也有機會找到人類未曾想到的策略。經典例子是 AlphaGo 的第 37 手:2016 年 DeepMind 的圍棋 AI 與南韓棋王李世乭對弈時,走出職業棋士當下難以理解、事後證明極高明的一手。它象徵機器在可驗證環境中透過自我對弈,走出人類未曾設計的路。

講者因此認為,「思考模型」才是令人興奮的新事物。GPT-4o 主要只完成 RLHF,沒有上述魔法;o3 這類推理模型則走完第三階段,在作答前生成較長、類似「內心獨白」的內部思考歷程。這不只是模仿人類標註者,而是從模擬中湧現思考功能,原則上可能產生「沒有任何人類想過的類比」。不過講者也稱這種能力仍很 primordial(原始、剛萌芽)。

最大的開放問題是遷移:在數學與程式等可驗證領域學到的思考策略,能否用到創意寫作等不可驗證領域?講者明確承認,這在學界仍是未知數。

如何使用這種不均勻的工具

回頭看整條流水線,它把「下載網際網路、預測下一個 token」一路推進成會對話、會試誤的系統,但能力不是均勻增加的:基礎模型是網際網路的有損壓縮,SFT 是人類理想回應的模仿,RLHF 受限於可被鑽漏洞的獎勵模型,可驗證領域的長程 RL 才可能讓模型找到真正新穎的策略。愈能解難題的模型,愈需要人記住它仍可能踩中簡單而隨機的洞。

Karpathy 的底線不是拒絕模型,而是把它放回工具的位置:

“Use them as tools in the toolbox, check their work and own the product of your work.”

把它們當工具箱裡的工具,核對它們的工作,並為你工作的成果負起最終責任。

因此可用模型找靈感、做初稿、協助提問,但不要把它當成永不犯錯的神諭。遇到計算、計數與拼字任務,要求使用程式;需要事實時,讓它搜尋網路以降低幻覺,並由人核對來源與成品。

若想親手觀察不同型態的模型,當時可用的入口有:

  • 在 Hyperbolic 這類基礎模型推理雲端平台試用 Llama 3.1 405B base,以體驗較純粹的基礎模型。
  • 在 Together.ai 線上呼叫各家託管的開源模型。
  • 使用桌面軟體 LM Studio,在個人筆電下載並執行體積較小、經蒸餾與低精度處理的模型。
  • 追蹤進展可看 LM Arena 排行榜、由業界 AI 內容策展人 Swix等人維護的 AI News 電子報,以及 X/Twitter 上的第一手討論。LM Arena 是讓使用者盲測兩個模型並投票排名的網站,近幾個月有各家「刷榜」之嫌,只適合初篩,仍須親自測試。