軟體進入 AI 紀元——Andrej Karpathy 演講筆記
- 講者
- Andrej Karpathy
- 來源
- YouTube
- 原片日期
- 筆記日期
- 閱讀時間
- 約 12 分鐘
本文有 8 個章節
當程式可以直接用英文寫,即將入行的人該學什麼、該做哪一種產品?前 Tesla AI 總監 Andrej Karpathy 的回答是:手寫程式碼、訓練神經網路、用英文提示 LLM,三種寫法都要流利;產品則先做有專屬 GUI、能讓人類快速驗證的部分自主 app,再逐步放大自主程度。
這是他在 YC AI Startup School 的主題演講,台下是大學部、碩士與博士生。他的觀察同時來自前沿 LLM 實驗室,以及在 Tesla 五年帶領「部分自動駕駛」量產系統的經驗。他一面說軟體正發生歷史級變化,一面反覆用「自駕車為什麼花了十二年還沒完全成功」替 AI 樂觀情緒踩煞車。
軟體不是變了一次,而是連續變了兩次
Karpathy 的開場判斷是:軟體約七十年來不曾在如此根本的層次改變,最近幾年卻快速變了大約兩次。七十年大致從現代電腦程式設計成形算起。他用「Map of GitHub」——把全球開源專案視覺化成星系版圖的工具——展示人類寫過的程式碼,再提出 Software 1.0、2.0、3.0 三層框架:
- Software 1.0 是人類用 C++、Python 等語言明寫給電腦的程式碼。
- Software 2.0 是神經網路的權重。開發者不直接逐行寫出行為,而是調整資料集、運行優化器,產生模型參數。
- Software 3.0 是用自然語言提示詞編程大型語言模型;令人意外的是,這門編程語言竟是英文。
提出這套框架的 Karpathy 是 OpenAI 創始成員之一,也長期從事深度學習教育;他在史丹佛開設的 CS231n 被視為最具影響力的深度學習入門課之一,連同一系列 YouTube 科普影片,影響了一代研究者。幾年前他提出 Software 2.0 時,神經網路還常被理解成決策樹那樣的固定功能分類器:影像進去,類別出來。真正足以另取新名的變化,是大型語言模型讓神經網路變得「可編程」。他多年前寫下「我們現在用英文編程電腦了」,至今仍把那則推文置頂。提示詞竟是用英文寫的,在他看來,這讓英文成了一種非常有趣的編程語言。
以情感分類為例,同一個「判斷文字是正面或負面」的功能,可以寫 Python(1.0)、訓練神經網路(2.0),也可以在提示詞中提供幾個範例,讓 LLM 做 few-shot 推理(3.0)。三條路都能抵達,各有代價。對準從業者而言,務實結論不是押注其中一種,而是三種範式都要流利,能針對每個功能當場判斷:該訓練網路、直接 prompt LLM,還是寫成明確程式碼?
Tesla 如何讓 Software 2.0 吃掉舊軟體棧
Tesla Autopilot 是這個轉變的實例。自駕系統從感測輸入一路產生轉向與加速;早期軟體棧含有大量 C++,中間只夾著若干影像辨識網路。隨著 Autopilot 增強,神經網路的能力與體積持續成長,手寫程式碼則一行行消失。原先由明確程式碼負責的多攝影機、跨時間影像資訊「縫合」,後來整段交給神經網路,大批 C++ 因而被刪除。Karpathy 的說法是,Software 2.0 的軟體棧幾乎是字面意義上地吃穿了(eat through)Autopilot 的整個軟體棧。
這台新電腦像什麼
Karpathy 依次用公用事業、晶圓廠、作業系統與 1960 年代的分時計算逼近 LLM;每個類比都照亮一面,也都有邊界。
公用事業:按量供應的智力
Andrew Ng(吳恩達)說「AI 是新電力」,他也恰好排在 Karpathy 之後上台。LLM 實驗室以 CapEx 訓練模型,像建電網;再以 OpEx 維持 API,按百萬 token 計費。使用者要求低延遲、高可用與穩定品質,也像要求水電服務。
電力系統可用轉換開關在電網、太陽能與電池之間切換;OpenRouter 則以統一介面切換不同模型供應商。LLM 是軟體,不爭奪同一塊物理空間,因此同時有六家供應商並不矛盾。這個類比也揭示依賴的脆弱性:演講前幾天,幾個頂尖 LLM 同時當機時,許多人立刻無法工作。Karpathy 這樣形容那一刻:
“When the state of the art LLMs go down, it’s actually kind of like an intelligence brownout in the world… the planet just gets dumber.”
當頂尖 LLM 當機,那就像是世界的一次「智力突降」……整個星球都變笨了。
brownout 原指電壓不足造成的「半停電」。模型愈成為日常基礎設施,停機就愈像全球智力供應突然降壓。
晶圓廠:高資本與快速增長的技術樹
LLM 訓練資本密集,技術樹又快速增長,研發機密集中在少數實驗室。用自研 TPU 訓練的 Google,像 Intel 的自有晶圓廠模式;只租 NVIDIA GPU 的實驗室,則近似自己設計晶片、把製造外包的 fabless 公司。不過 Karpathy 自己承認,這個類比到了某處會「糊掉」:軟體可塑性太強,硬體式護城河未必同樣牢固。
作業系統:目前最貼切的類比
LLM 不只是一股從水龍頭流出的商品,而是日益複雜的軟體生態。幾家閉源供應商像 Windows、macOS,旁邊則可能出現像 Linux 的開源替代;Meta 的 Llama 生態有潛力扮演後者。若把 LLM 看成 CPU,上下文視窗就是記憶體:模型編排有限記憶與算力來解題。
應用層也呈現相似結構。VS Code 能跨 Windows、Linux、Mac 運行;Cursor 這類 LLM app 則能從下拉選單切換 GPT、Claude、Gemini。既然如此,使用者不必每次都直接「和 OS 對話」,而應由針對任務設計的 app 管理上下文、工具和介面。
仍在 1960 年代:雲端主機、分時與終端機
LLM 算力仍昂貴,因而集中在雲端。大多數人只是透過網路存取的瘦客戶端,無法獨佔一台模型,所採用的其實是昂貴主機年代的分時(time sharing)。個人計算革命還不經濟,但已有早期跡象。Mac Mini 適合跑某些 LLM,因為 batch-1 推理受記憶體頻寬限制,而不主要受算力限制。
Karpathy 說,純文字使用 ChatGPT 很像「透過終端機跟作業系統溝通」:真正通用的圖形介面還沒有被發明。
技術擴散第一次倒著走
電力、密碼學、計算、飛行、網路、GPS 等變革性技術,通常因為新且昂貴,先由政府與大企業採用,再逐步擴散至消費者;早期電腦服務的是彈道與軍事。Karpathy 說 LLM 顛倒了這個擴散方向,最常見的問題之一是「怎麼煮一顆蛋」;他自嘲,這正是自己大量使用魔法電腦的方式。
企業與政府反而落後於一般使用者。ChatGPT 幾乎一夜之間就像被「下載」到全球數十億人的電腦上;如今輪到這些使用者進入產業、編程這台新電腦。這種由消費端領先的格局,也使產品設計、安全與治理問題同時變得迫切。
LLM 的心理:超人與缺陷共居
要編程 LLM,得先理解它的特殊心智。Karpathy 稱它為「人的隨機模擬」:底層是自迴歸 Transformer,一個 token 接一個 token 輸出,每個 token 使用幾乎等量的算力;因為訓練資料來自人類文本,模型湧現出類人的心理,卻不是完整的人。
“The way I like to think about LLMs is that they’re kind of like people spirits. They are stochastic simulations of people.”
我喜歡把 LLM 想成「人之魂靈」——它們是人的隨機模擬。
它的超人面是百科全書式記憶。Karpathy 以《Rain Man(雨人)》中 Dustin Hoffman 飾演的自閉症學者天才為喻:角色能讀完整本電話簿並記住名字與號碼,LLM 也能記住 SHA 雜湊值。
缺陷則呈現「鋸齒狀智能」:
- 幻覺:模型會編造內容,自我認知模型不足;雖有改善,仍不完美。
- 能力邊緣不平整:某些領域超越人類,卻會堅持 9.11 大於 9.9,或數不清 strawberry 裡有幾個 R,犯下人類幾乎不會犯的錯。
- 順行性失憶:新同事會累積組織脈絡、睡眠後鞏固知識並發展專長,LLM 天生不會如此,這個研發問題尚未解決。上下文視窗只是工作記憶,必須由開發者直接編程。可把它想成《Memento(記憶拼圖)》與《50 First Dates(我的失憶女友)》的主角:權重這份長期記憶固定,短期上下文每天早上被抹掉。
- 安全脆弱性:模型容易受騙,可能遭提示注入劫持,也可能洩漏使用者資料。
因此,編程的核心不是只看見能力或只看見缺陷,而是同時把 LLM 當成「有一堆認知缺陷的超人」:繞過粗糙邊緣,使用它的超能力。
產品機會:先做鋼鐵人裝甲,而非鋼鐵人機器人
Karpathy 認為,眼前最大的機會是「部分自主 app」。Cursor 是代表案例:使用者當然能在 ChatGPT 與編輯器之間複製貼上程式碼及 bug 報告,但既然 LLM 像 OS,就應由專門 app 代為管理,而非讓每個人直接操作 OS。
好的 LLM app 通常做四件事:
- 管理遠多於使用者能手動整理的上下文。
- 編排多次模型呼叫。Cursor 底層既有處理檔案的嵌入模型,也有聊天模型與套用 diff 的模型。
- 提供應用專屬 GUI。長段文字難以審核,diff 的紅綠變化卻能一眼辨識;Command-Y 接受、Command-N 拒絕,也比打字更快。
- 提供「自主滑桿」。Cursor 可以只做 tab 補全,由人主導;可選取一段用 Command-K 修改、用 Command-L 改整個檔案,或按 Command-I 讓全自主 agent 修改整個 repo。人依任務複雜度決定交出多少控制權。
Karpathy 的說法是,GUI 讓人類能審核這些會出錯的系統,並且跑得更快。
Perplexity 也採相同結構:打包資訊、編排多個 LLM,以 GUI 顯示引用來源供人審核,並把快速搜尋、research、deep research 排成自主程度不同的選項;deep research 可能運行很久,使用者十分鐘後再回來看結果。
對產品開發者,「產品如何變成部分自主」轉化成三個檢查問題:LLM 能看到人能看到的一切嗎?能執行人能執行的一切動作嗎?人類能否監督並留在迴圈中?即使 Photoshop 的每個開關,也需要重新設計成 LLM 可存取的形式。
鋼鐵人裝甲把「自主滑桿」變得具體:Tony Stark 可以親自駕駛裝甲,某些電影中的裝甲也能自主飛去找他。長期來看,滑桿可以逐步往自主端移動;但在模型仍會出錯的現在,Karpathy 明確主張:
“It’s less Iron Man robots and more Iron Man suits that you want to build.”
你該打造的,與其說是鋼鐵人機器人,不如說是鋼鐵人裝甲。
也就是少做炫目的全自主 demo,多做有客製 GUI、能讓人類快速驗證的部分自主產品。這是短期務實、長期樂觀,而非放棄 agent。
為什麼他說這是「Agent 的十年」
當業界宣稱 2025 是 agent 元年,Karpathy 說自己「非常擔憂」。理由來自一段十二年的自我修正。2013 年,一位在 Waymo 工作的朋友帶他在 Palo Alto 兜風 30 分鐘;當時他還戴著同年推出、後來失敗的 Google Glass。那趟高速公路加街道的行程零接管、完美無瑕,令他相信自駕迫在眉睫。
十二年後,人們仍在研究自駕。Waymo 看似無人駕駛,背後仍有大量遠端遙控與人類留在迴圈中,甚至尚未能簡單「宣告成功」。曾經過度樂觀、後來被現實修正的 Karpathy,因而用軟體的棘手程度勸觀眾不要重蹈覆轍:
“I get very concerned… this is the decade of agents. We need humans in the loop. This is software. Let’s be serious here.”
我非常擔憂……這是 Agent 的十年。我們需要人類待在迴圈中。這是軟體,嚴肅點吧。
Vibe coding:程式碼變簡單,產品卻沒有
Software 3.0 讓 Karpathy 對「人人都能編程」感到興奮。以往可能要學五到十年才能寫軟體,如今可以直接用英文。Hugging Face 共同創辦人 Thomas Wolf 曾分享孩子們 vibe coding 的影片,Karpathy 看完問:「你怎麼能看著這影片還對未來感到悲觀?」「Vibe coding」一詞來自 Karpathy 一則意外爆紅並形成迷因的推文,指完全依靠自然語言、順著感覺讓 AI 寫程式而不深究細節;他把它視為軟體開發的「入門毒品」。
但 MenuGen 的經驗立刻限制了這份樂觀。他到餐廳時常看不懂菜名,想直接看圖片,於是用自然語言順著感覺做出 menugen.app。註冊贈送 5 美元額度,使它成為自嘲的「負營收 app」,淨虧一大筆錢。程式 demo 幾小時就在筆電上運作;真正把它做成「真的」產品——身分驗證、付款、網域、部署——卻花了整整一週。這些工作幾乎不是寫程式,而是 DevOps 雜務:他在瀏覽器裡反覆點擊的苦工。照他的說法,寫程式碼其實是 vibe code MenuGen 最簡單的部分。
設定 Google 登入時,身分驗證服務 Clerk 給他一長串步驟:前往某個 URL、點下拉選單、選取選項。於是 Karpathy 指出人機關係的荒謬倒置:
“A computer is telling me what actions I should be taking… you do it. Why am I doing this?”
一台電腦在告訴我該採取哪些動作……你自己做啊,為什麼是我在做?
這正是他主張為 agent 重建基礎設施的起點。
為網路上的「人之魂靈」重建基礎設施
數位世界原有兩種消費者與操作者:透過 GUI 的人,以及透過 API 的程式。現在多了網路上的「人之魂靈」——類人、卻又是程式的 LLM agent。若只讓它解析為人設計的網頁、模仿滑鼠點擊,既昂貴又容易失敗;基礎設施可以主動走向它。
- llm.txt:類比 robots.txt,以簡單 Markdown 直接說明網域內容,避免 agent 抓 HTTP 後再費力解析 HTML。
- 為 LLM 提供文件:大量人類文件依賴清單、粗體與圖片,模型不一定能直接存取。Vercel、Stripe 是提供 Markdown 版文件的早期先行者;純文字標記對 LLM 更容易使用。
- 改寫動作,而不只改格式:把文件轉成 Markdown 只是簡單部分。文件若只寫「click」,agent 仍不能原生執行滑鼠動作。Vercel 把每一處 click 改成等效 curl 指令,讓程式可直接發出網路請求。
- MCP:Model Context Protocol(模型上下文協定)由 Anthropic 提出,目的是直接對 agent 這個新消費者說話。
- 改 URL 就能餵給模型的工具:Karpathy 的 NanoGPT 是極簡 GPT 訓練範例 repo。GitHub 頁面是給人看的;把網址中的 github 改成 gitingest,就能把所有檔案串成巨大文字並建立目錄結構,供人複製貼上。Cognition——AI 軟體工程師 Devin 的開發商——推出的 DeepWiki 更進一步,讓 Devin 分析整個 repo 並生成完整文件頁,而不只是交付原始檔案。
可供 LLM 閱讀的文件能釋放多少價值,Karpathy 舉了自己的例子。3Blue1Brown 是 Grant Sanderson 經營、以動畫解說數學的 YouTube 頻道,其開源的 Manim 是數學動畫 Python 函式庫。Karpathy 想做動畫卻不想讀冗長文件,便把整份文件複製給 LLM,再描述需求;模型直接 vibe code 出所需動畫,令他覺得「太神奇了」。
有人會反問:未來——甚至今天——LLM 已能自己點網頁,何必改造基礎設施?Karpathy 的回答是「兩邊我都看好」。電腦操作工具仍有必要,因為長尾軟體未必有人持續維護或適配;但直接操作畫面昂貴且困難,活躍維護的數位服務值得把資訊與動作變得容易存取,讓雙方「相向而行、在中間點相會」。
收尾:把滑桿慢慢推向自主
整場演講的判斷同時樂觀與克制:現在是進入軟體產業最獨特、最好的時機,海量程式碼將由專業人士與 vibe coder 共同重寫。LLM 像公用事業、像晶圓廠,最像仍停在 1960 年代的作業系統;它又是會出錯的「人之魂靈」。未來十年的主線,是透過 GUI 與人類驗證,把自主滑桿從左側的增強逐步推向右側的自主。Karpathy 的收尾是:「我等不及要跟你們一起打造它。」