筆記

陶哲軒 × Dwarkesh Patel:當點子近乎免費,科學的瓶頸轉向哪裡?

講者
陶哲軒
筆記日期
閱讀時間
約 18 分鐘
本文有 10 個章節

當 AI 讓提出點子幾乎不花成本,科學的瓶頸會轉到哪裡?數學家陶哲軒的回答是:點子生成早已不是瓶頸,真正不知如何規模化的是驗證、評估,以及判斷哪些東西真會推動學科;AI 擅長廣度、人擅長深度,兩者的混合會長期主宰數學。

這是陶哲軒(Terence Tao,1975–)與科技播客《Dwarkesh Podcast》主持人 Dwarkesh Patel 的一場對談。

克卜勒:錯誤美學如何被精確資料逼向真理

克卜勒(Johannes Kepler, 1571–1630)處在占星傳統向現代天文學過渡的年代。哥白尼(Nicolaus Copernicus, 1473–1543)在《天體運行論》提出日心說,但這個想法可追溯至西元前三世紀的阿里斯塔克斯(Aristarchus of Samos)。哥白尼仍承襲古希臘的美學信念,把行星軌道設為完美圓形。

克卜勒最初相信的是另一套漂亮但錯誤的設計。當時已知 6 顆行星:水星、金星、地球、火星、木星、土星,天王星與海王星尚未發現。6 顆行星之間正好有 5 個間隙,而凸的柏拉圖正多面體也恰好只有 5 種:正四面體、立方體、正八面體、正十二面體、正二十面體。他把這些由全等正多邊形構成、被古人視為神聖幾何的多面體,依次內接與外切在 6 個行星天球之間,視為「上帝的設計藍圖」。數字的吻合美得令人難以抗拒。

要檢驗它,他需要第谷·布拉赫(Tycho Brahe, 1546–1601)的觀測資料。第谷獲丹麥國王賜予汶島(Hven),在島上的烏拉尼堡天文台以數十年、每個晴夜的肉眼觀測,建立當時全世界唯一的高品質天文資料集。他是望遠鏡發明前最後一位、也最精確的肉眼天文學家;望遠鏡要到 1608 年才問世。第谷把資料視為私人資產,每次只交出一小部分。1601 年他驟逝後,克卜勒近乎以半偷取的方式取得全部資料,並與第谷後人涉訟。

資料沒有成全漂亮理論:多面體模型約差 10%,在第谷的精度下大到不能忽視。克卜勒花了 20 多年反覆測試,最後得到三條經驗定律。第一定律:行星走橢圓,太陽位於一個焦點。第二定律:行星與太陽的連線在相等時間掃過相等面積,因此近日較快、遠日較慢。又過十年,第三定律才從最難處理的木星、土星資料得出:公轉週期的平方與平均日距的立方成正比,即「立方—平方律」。他卻無法說明為什麼。將近一個世紀後,牛頓(Isaac Newton, 1643–1727)才以萬有引力的平方反比律與自己創造的微積分,從同一套理論推導出三條定律,完成「經驗規律 → 深層理論」的典型進程。

Dwarkesh 因而把克卜勒稱作「高溫採樣的 LLM」:大量、隨機地提出多數會錯的點子,再由資料與驗證器篩掉錯誤。這是這一集最重要的提問框架。克卜勒一生試過大量今日看來荒謬的關係,以占星維生,還在《世界和聲》(Harmonices Mundi)主張各行星對應音符:地球唱 mi-fa-mi,對應拉丁文 miseria(苦難)與 fames(饑荒),所以人間多苦難。Dwarkesh 的重點不是嘲笑錯誤,而是:如果第谷資料能作過濾器,大量亂試中留下的立方—平方律,便可交給後來的「牛頓」深化。LLM 或許也能大量扮演克卜勒。

Dwarkesh 訪問過多位 AI 實驗室創辦人與科學家,在矽谷 AI 圈有影響力;他的立場較樂觀,擅長以科學史逼問 AI 的能力邊界。兩人的分歧在於怎麼描述克卜勒的方法。陶哲軒起初說,克卜勒先有柏拉圖多面體假說,再找資料驗證,仍是「假說 → 驗證」;現代大數據方法則先收集資料,再萃取假說。Dwarkesh 反駁:克卜勒在 1595–96 年《宇宙的奧秘》提出的多邊形、多面體理論全錯,拿到第谷資料後又花 20 年對著資料亂試,這更像大型資料庫上的隨機搜尋;若沒有資料糾錯,他只會繼續寫占星音樂。陶哲軒部分讓步,承認資料不可或缺;他說,我們歌頌克卜勒,也該歌頌第谷孜孜不倦的資料收集,其精度是先前觀測的十倍。

但陶哲軒也補上一道限制:第三定律只建立在約 6 個資料點上,克卜勒有運氣成分。「對資料亂試」本身不可靠;可靠的是往後的驗證與理論化。

點子已近乎免費,驗證成為稀缺品

陶哲軒用一句話描述瓶頸的轉移:

“AI has basically driven the cost of idea generation down to almost zero, in a very similar way to how the internet drove the cost of communication down to almost zero. It doesn’t create abundance by itself.”

AI 基本上已把產生點子的成本壓到接近零,就像網際網路把通訊成本壓到接近零一樣。它本身並不會創造豐裕。

網路把通訊成本壓低,並沒有讓每則訊息都變得有價值,反而帶來垃圾訊息;AI 讓點子大量生成,也不等於知識豐裕。

科學不是只有 Eureka 時刻,而有十多個環節:選題、收集資料、設計分析、提出假說、驗證、傳播、說服同儕等。第谷資料比前人精確 10 倍,按陶哲軒的說法約多一位有效數字;正是這一位小數,讓 10% 的軌道誤差無法被美學掩蓋。沒有足夠精確的資料,再強的假說生成器也沒有篩選能力。

陶哲軒把科學方法的演變概括為四階段:古希臘的純理論思辨,伽利略以後的受控實驗,20 世紀的電腦數值模擬,以及 20 世紀末至今的大數據。如今常先收集海量資料,再從中找假說,順序幾乎與古典方法相反。

現實裡,期刊已受到 AI 生成投稿衝擊。過去同儕審查這道牆還能擋住數量有限的業餘「黎曼猜想證明」;當 AI 每天能產出上千個理論,人的審查、評估與品味沒有同步加速,整個系統就會堵塞。Dwarkesh 想像未來有數十億個 AI 科學家,在各領域尋找「克卜勒第三定律式」的經驗關係,再由人或更強的 AI 提供「牛頓式」統一解釋。陶哲軒的回應是:生成早已不是瓶頸,真正不知如何規模化的是驗證、評估,以及判斷哪些東西真會推動學科;今天的共識仍依賴數年的辯論、引用與複現,每天一千個理論會令它失靈。

博德定律:六個點也能製造漂亮幻覺

博德定律是最直接的警告。克卜勒第三定律本質上是對當時約 6 顆行星做迴歸,幸運地碰到真實物理。18 世紀,提丟斯與博德(Johann Bode)用同一批行星距離,擬合出「移位的等比數列」:每項約為前項兩倍再加一個常數,並預測火星與木星之間有一顆失蹤行星。

它起初看來被驚人地驗證:1781 年發現的天王星距離吻合;1801 年發現的穀神星(Ceres,小行星帶中最大的天體)又正好填上缺口,天文界一度把它當成與克卜勒定律同級的法則。直到 1846 年海王星被發現,其距離完全偏離預測,才顯出這只是 6 個點的數值巧合,沒有物理機制。陶哲軒推測,克卜勒也許本能地知道第三定律證據薄弱,所以沒有在著作中大肆強調;這種對自身結果的信心校準,正是難以量化的科學品味。

新理論不一定立即贏:價值依賴未來與脈絡

Dwarkesh 用貝爾實驗室提出另一個篩選難題。1940 年代,美國電話電報公司 AT&T 旗下的 Bell Labs 已孕育電晶體、資訊理論與 Unix;當時有大量工程論文討論 PCM(脈衝編碼調變,把連續語音轉成離散數位脈衝)。Claude Shannon(1916–2001)在 1948 年的〈通訊的數學理論〉從中提煉出通用資訊單位 bit,創立資訊理論,影響通訊、計算乃至物理。若未來 AI 每年產出百萬篇論文,我們怎麼從一片 PCM 式文獻中認出「夏農」?

陶哲軒認為「時間的考驗」無法被取消。深度學習在 2010 年代爆發前,長期處於 AI 的邊緣;當時的主流信奉符號邏輯與第一性原理推理,從訓練資料學答案曾被視為不入流。科學價值也有路徑依賴:曾有人提出三進位資訊單位 trit,每位有 0/1/2 三種狀態,另一條工程史也許會讓 trit 取代 bit。2017 年 Google 提出的 Transformer,也可能只是第一個複雜到足以捕捉語言結構的架構,不必然是唯一或最優。十進位在數學上並不特殊,只因人有十根手指而成為標準,慣性使它難以替換。

所以,一項科學成就無法脫離過去與未來被客觀打分;價值取決於後來由誰採用、催生什麼。這個分數依賴未來,可能永遠不能像局部正誤題那樣,立即成為強化學習的 reward。

更棘手的是,正確的新理論一開始常比錯誤但成熟的舊理論難看。古代反駁阿里斯塔克斯日心說的理由是觀測不到恆星視差;真正的答案是恆星太遠,視差小到當時測不到,人類到 1838 年才首次測得,但這在古人耳中像狡辯。萊布尼茲(Gottfried Leibniz, 1646–1716)認為萬有引力的超距作用在哲學上說不通;牛頓也困惑慣性質量為何恰好等於重力質量。兩百多年後,1915 年的廣義相對論才以時空彎曲與等效原理重構問題。

哥白尼的圓軌道日心說,在預測上其實輸給托勒密(Ptolemy,西元二世紀)的地心體系,後者歷經一千多年、不斷疊加本輪(epicycle)修補;直到克卜勒改用橢圓,日心說才反超。部分正確的新解,可能不如補丁齊全的錯誤舊理論。只以當下準確度篩 AI 理論,很可能錯殺突破。

陶哲軒說,進步也常不是增加更多理論,而是刪掉腦中既有的某些預設。亞里斯多德物理預設物體自然靜止、運動需持續施力;在此框架下,地球高速繞日而人毫無感覺當然荒謬,直到伽利略的慣性概念拿掉這個預設。達爾文也拿掉「物種由上帝創造後固定不變」的預設。

這引向陶哲軒所稱的「認知版哥白尼革命」:

“Right now we’re going through a cognitive version of the Copernican revolution—we used to think that human intelligence is the center of the universe.”

我們現在正經歷一場認知版的哥白尼革命——我們過去以為人類智能是宇宙的中心。

人類智能不是智能唯一的形態或中心;AI 的強弱項與人不同,會重排人對難度的直覺,例如它可能會解奧數難題,卻數不對一個單字有幾個字母。

AI 解數學:同時驚人又令人失望

在這場對談裡,陶哲軒以一位深度使用 AI 工具的一線數學家身分說話:測試前沿模型、用 AI agent 執行多步工作、整理論文格式,也追蹤 Erdős 問題集的 AI 解題進度。他出生於澳洲,現任 UCLA 教授,研究橫跨調和分析、數論、偏微分方程與組合數學,2006 年獲菲爾茲獎(數學界最高榮譽,每四年頒給至多四位 40 歲以下數學家)。他既驚嘆又審慎,關切的是驗證與人機互補,而不是一步到位的全自動科學。

Erdős 問題集來自 Paul Erdős(1913–1996)。他是 20 世紀產量最高的數學家,發表逾 1500 篇論文,四處旅行合作,以獎金懸賞問題;Thomas Bloom 建立 erdosproblems.com,整理他留下的上千個未解問題。題目敘述明確、難度跨度大,且有已解/未解標記,因此成為 AI 數學的天然試驗場。

對談當時,陶哲軒給出的概況是:約 1100 題中,約 50 題已在 AI 協助下解決,仍約 600 題待解,其餘先前由人解決或部分解決。某一個月曾出現純 AI one-shot 的浪潮,之後卻停滯。至少三個獨立團隊用前沿模型系統性地攻擊所有剩餘問題,只得到小觀察或重複發現既有文獻結果,沒有新的純 AI 突破。

陶哲軒用黑暗中的山壁說明:一片山群裡有 3 英尺(約 1 公尺)、6 英尺(約 2 公尺)、15 英尺(約 4.5 公尺)的牆,也有一英里(約 1.6 公里)的絕壁;黑暗中無法從題目外觀判斷是哪一種。費馬大定理敘述極簡,卻花了 358 年。AI 像能跳 2 公尺的機器,方向常錯也常摔倒,卻不疲倦,可以掃遍整片山域,翻過所有 2 公尺以下的牆。最初的浪潮就是矮牆被平行清掉;剩下的牆超過它的跳躍高度。

這也帶出倖存者偏差。那約 50 題多為「文獻空白」:某個冷門領域的既有技巧配上另一篇既有結果就足以解題,只是過去沒人同時掌握。社群媒體只展示贏家,系統掃描卻顯示 AI 對任一指定問題的成功率約 1–2%;上千題乘 1% 足以產生幾十個捷報,研究者拿自己在意的一題去問,仍多半得到 1–2% 的體驗。陶哲軒的說法是,這些工具只是能靠規模取勝,只挑贏家來看就顯得很漂亮。未來仍會有名題因 AI 找到眾人漏掉的後門而上新聞,但不能據此估計一般成功率。他因此主張建立標準化、公開的 benchmark,不應任由 AI 公司選擇性公布勝利、隱藏負面結果;那在方法上就像藥廠只發表成功的臨床試驗。

真正的缺陷不只是牆高。這些工具常只有成功/失敗兩態,不擅長產生有價值的 partial progress,例如證不出全題但證出特例或弱化版,也不會判斷該先攻哪個中間台階。數學界本身也還沒有自動估計部分進展價值的機制。陶哲軒總評:進展同時驚人又令人失望。

廣度與深度:不是把舊工作做快,而是重設流程

Dwarkesh 提出兩種讀法。看空者說 AI 只過矮牆,高牆永遠留給人;看多者把能力看成上升的水位,一旦到達某高度,就能同時淹過所有領域在該高度以下的問題。人類不可能複製一百萬個陶哲軒,每個給一百萬美元 inference compute,再同時跑一百年的主觀思考;AI 若達到人類水準,規模化近似按一個鈕。因此「人類級 AI」會比單一人類寬得多。

陶哲軒同意廣度/深度的框架:

“They excel at breadth and humans excel at depth… we have to redesign the way we do science to take full advantage of this breadth capability.”

它們擅長廣度,人類擅長深度……我們必須重新設計做科學的方式,才能充分利用這種廣度能力。

現代的博士、期刊、終身教職都圍繞深度設計,因為人不能窮盡廣度。新的工作流可以先讓中等能力但極寬的 AI 測繪領域:做完容易的觀察、驗證顯然的猜想、標出「困難之島」,再由專家攻堅;AI 像科學的偵察兵團。

這可能創造數學的「實驗面」。物理、生物有大型實驗社群,數學幾乎是唯一的純理論學科;過去沒人能拿一千道題,比較技巧 A、B 哪個較常有效,因為一題就可能花數月。AI 令規模化數學成為可能。它仍在襁褓期,但陶哲軒認為,這比搶先解某道名題更可能改變學科。

頂級數學論文的典型形態,在陶哲軒描述中是:既有方法處理 80%,剩下頑強的 20% 迫使作者發明新技巧,價值就在這 20%;完全不靠文獻、想法憑空而來的論文已極罕見。AI 很擅長前 80%,可系統性套用標準技巧,實作錯誤率也已和人類打平;他形容「我們互相抓對方的錯,目前算平手」,只是雙方會犯不同類型的怪錯或粗心錯。到了核心 20%,AI 會源源不絕給出似是而非的建議,人為驗證耗掉的時間常比它節省的更多。

從「人工聰明」到「人工智能」,缺的是累積

陶哲軒以人類合作解題來描述智能:兩位數學家面對都不會的問題,提出雛形策略,嘗試失敗,但讀取失敗中的資訊,再修改、適應,逐步畫出可行與不可行的地圖,直到找到路。智能不只是一個靈光,而是讓策略累積演化。

AI 能模仿表面的試錯,卻常每次從地面重來。延續山壁比喻,陶哲軒說:

“What they can’t do is jump a little bit, reach some handhold, stay there, pull other people up, and then try to jump from there.”

它們做不到的是:跳一小段,抓住某個把手,停在那裡,把其他人拉上來,再試著從那裡起跳。

更深的問題是缺少持續的自我。陶哲軒說,開一個新的 session,它就忘了自己剛做過什麼。AI 解出一道題,自身的數學理解並不因此前進;那次成功或許只有萬分之一機會,成為下一代訓練資料的 0.001%。人類解完一題,整個人已經改變。這是「artificial cleverness」與「artificial intelligence」的差別。

這也關係到數學家真正要的東西,陶哲軒說:

“In math, the process is often more important than the problem itself. The problem is kind of a proxy for measuring your progress.”

在數學裡,過程往往比問題本身更重要。問題有點像是用來衡量你進展的代理指標。

AI 替人交出答案,不等於人完成了數學過程。

Lean 是形式化證明助理語言。數學家把證明逐步寫成 Lean 代碼,由電腦機械檢查邏輯;只要編譯通過,便保證形式系統內每一步邏輯成立,不必再依賴人逐行驗證,但這不等於證明必然容易理解。陶哲軒是近年推動 Lean 採用的重要人物。在這場對談裡,Lean 代表可機器驗證的數學基礎設施。陶哲軒希望有一種介於自然語言與 Lean 之間的「策略與猜想半形式語言」,可表達證明策略、部分進展並給予評估。但他自承這是「有願望、無計劃」;評分器還必須防止模型在強化學習中鑽獎勵的後門,以糊弄分數代替真正進展。

AI 會不會取代數學家?先問工作會變成什麼

Dwarkesh 追問陶哲軒:他 2023 年曾預測,到 2026 年 AI 會在正確使用下成為可信賴的合著者,如今似乎應驗;那麼他的研究生產力哪年翻倍?又到哪一年,遇到千禧年難題的解答時,應有 95% 機率預設是 AI 自主完成?千禧年大獎難題是克雷數學研究所 2000 年公布的七題,每題一百萬美元,包括黎曼猜想、P vs NP;至今只有 2003 年佩雷爾曼解決的龐加萊猜想,且他拒領獎金。

陶哲軒認為生產力不是一維的量。他說,現在某類論文若不用 AI 也許要花 5 倍時間,但若沒有 AI,他根本不會選擇那樣寫。AI 加速文獻搜尋、數值計算、繪圖、調整 LaTeX 括號大小等次要任務,使論文更豐富、更寬,卻未必更深;最核心的攻堅仍在紙筆上。

「取代我」也可能問錯了。十年內,AI 或許能完成數學家現在花大量時間處理的內容,但那時大家會發現,那些本來不是最重要的工作。19 世紀數學家受雇為工程、航海解特定微分方程,今日可能只需一行 Mathematica。computer 曾是一種人工計算職業;高斯(Carl Friedrich Gauss, 1777–1855)曾親手算巨大的質數表。職業消失,數學沒有。基因定序曾是一整個博士學位的工作量:人類基因組計畫花 13 年、30 億美元;如今約一千美元即可把樣本寄給定序儀,但遺傳學沒有死亡,而是升級到研究整個生態系統。

因此他的立場是 centaur model:人類與 AI 的混合會長期主宰數學。純自主取代需要超出「更大模型+更多資料+強化學習」配方的額外突破,尤其是累積性。目前 AI 是互補品,不是替代品;但他也保留不確定性:「此刻世界極度不可預測,什麼都有可能。」

他還談到兩件較私人的事,顯示他如何理解人的研究狀態。一是學習新領域的驅力:他說,別人能做到一件他認為自己該做得到卻做不到的事,會讓他渾身不對勁。二是干擾的價值:他說生活其實需要一定程度的干擾,它會加入足夠的隨機性與「高溫」。背景是他在普林斯頓高等研究院(Institute for Advanced Study,愛因斯坦晚年任職、沒有教學雜務的純研究機構)待太久反而靈感枯竭,以及 COVID 疫情後會議遠端化。

當證明存在,但人看不懂

Dwarkesh 的思想實驗是:AI 若在 Lean 中證出黎曼猜想,內含一個「笛卡爾座標系等級」的新構造——也就是能把幾何轉成代數那樣、改變整門學科的橋樑——但它在代碼中只是平凡的 R → R 函數,我們如何看出革命?黎曼猜想由黎曼於 1859 年提出,關於 ζ 函數零點分布,也等價地刻畫質數分布,常被稱為數學最重要的未解問題,也是千禧年難題之一。

陶哲軒不太擔心,因為形式證明可以原子化拆解。專家可逐一辨認標準引理與沒見過的步驟;未來也許會有專門為巨型 Lean 證明做 ablation 的數學家,逐項移除組件,看什麼真正必要,再用其他 AI 透過強化學習縮短、優化證明,由另一些 AI 評分。Erdős 網站已有先例:AI 產生 3000 行驗證代碼解題,研究者再用 AI 摘要、重寫成人類可讀的證明。陶哲軒的要點是,一旦擁有「證明」這項 artifact,就有很多工具可以解構、詮釋,總比沒有證明好。

但不保證每個證明都有優雅的概念。四色定理說任何平面地圖只需四種顏色即可使相鄰區域異色;Appel 與 Haken 在 1976 年以電腦窮舉近兩千種構型證明,是首個依賴電腦的重大證明,當年引發「算不算數學」的爭論。至今仍沒有概念上優雅的人類證明,也許永遠不會有。

驗證迴路之外:傳播、說服與達爾文為何來得晚

Dwarkesh 問:天擇不需要高深數學或儀器,為何達爾文比牛頓晚近兩百年?Thomas Huxley(1825–1895,因捍衛演化論而被稱為「達爾文的鬥牛犬」)讀完《物種起源》後那句著名反應是「我怎麼笨到沒先想到」。

對談裡給的答案是驗證迴路。牛頓能計算月球週期,立即對照觀測;天擇依賴地質紀錄、物種地理分布、人工育種等累積且回溯的證據,沒有單一決定性實驗。西元前一世紀的 Lucretius 在《物性論》已寫下「適應性狀使生物存活」的思想雛形,卻因無法驗證而被遺忘兩千年。Dwarkesh 推論,AI 時代的數學與程式因驗證迴路緊密,可能比概念較簡單、但證據累積緩慢的領域進步更快。

陶哲軒則提醒,傳播與說服也是科學。達爾文以平易的英文綜合大量事實,坦承不知道遺傳機制——孟德爾遺傳學尚未被接受——也承認缺乏過渡化石,仍建構出有說服力的整體敘事。牛頓用拉丁文寫《自然哲學的數學原理》,採用自創的微積分,因怕虎克等競爭者搶功而刻意隱晦,個性也孤僻;數十年後,歐拉、伯努利家族與法國啟蒙學者用更簡單的語言、符號重述,思想才普及。問題因此不是只有正確性:「說服力要怎麼打分數來做強化學習?」它也許始終包含人的工作。

結語:可驗證的廣度,與不可跳過的人類判斷

兩人的共同點不是「高溫亂試必然成功」,而是點子與驗證缺一不可。高品質資料或驗證器——第谷式資料庫、Lean 式機器檢查——能讓廣泛試探成為進步;AI 的廣度與人的深度互補,真正的躍升要靠偵察、測繪、標出困難之島、專家攻堅的流程重設。

陶哲軒仍把驗證、品味、說服、辨認部分進展視為未自動化、也可能難以完全自動化的環節。人類對新技術的適應又很快:2026 年的 AI 若放到 2021 年會像魔法,幾個月後人們便像使用 Google 搜尋一樣習以為常。這正是進展為何「同時驚人又令人失望」。

給年輕人的實際建議,是保持 adaptable,不把人生押在單一固定技能。過去似乎要讀完數學博士才能碰前沿問題,如今高中生也可能藉 AI 與 Lean 參與形式化專案、對研究作出貢獻。基本功暫時仍重要,但也要向尚不存在的科學做法開放。「這是個可怕的時代,但也非常刺激。」