筆記

謝賽寧談世界模型:研究的根、組織的氧氣,與走進真實世界

講者
謝賽寧
原片日期
筆記日期
閱讀時間
約 33 分鐘
本文有 15 個章節

一個能寫程式、能對話的人工智慧,為什麼還不會像孩子那樣理解身邊的世界?計算機視覺研究者謝賽寧把這個問題連回自己的研究選擇、帶人方式,以及與楊立昆共同創辦AI研究公司AMI Labs的決定。他的回答是:世界模型不只是另一種熱門模型的名稱,而是一個長期目標,要讓系統從感知中學會預測,並據此安排動作。

決定去哪裡之前,先問想和誰做什麼

謝賽寧沒有把自己的經歷說成一條早已算好的成功路線。許多選擇來自好奇、具體的人與當時的機會;有些實習沒有結果,有些論文被拒,後來被視為代表作的研究,也不是按計畫逐步長出來的。他從中得到的態度是:研究要有穩定的問題,卻不能把一時的評分、熱門方法與機構名氣,誤認成那個問題本身。

他回憶,童年一邊跟著母親旅行,一邊在家翻父親滿牆的書。後來有了電腦與網路,他不只玩遊戲,也在論壇、部落格與早期社群寫東西。這些經驗讓他的興趣不侷限於理工;他後來選擇紐約,也包含喜歡城市生活、電影與藝術的一面,而不只是比較學校排名。

他把自己和身邊那些一路讀頂尖學校、贏競賽、進名校博士班的朋友相比,認為自己不是每一步都在既定軌道上的人。高中有了提前進上海交大的機會,他看重的是想學計算機,也喜歡上海與學校的氣質。進了ACM班(交大以計算機人才培養為重點的班)後,課程不只有技術訓練:學生要做與正式課業不同的分享,可以講哲學、歷史與其他興趣。依他的體會,寬鬆與通識教育並不等於沒有競爭,而是不把每個人都逼向同一種評價。

學長侯曉迪的研究與《交大生存手冊》,也影響了他如何使用大學時間。相較於只求符合制度中的分數,他更在意自己究竟想理解什麼。對計算機視覺的興趣,一部分來自閱讀神經科學、意識與大腦相關書籍,一部分則很直接:視覺是他感受世界的重要方式,電影、遊戲與日常的獨立活動都與它有關。

訪談還以視覺演化與寒武紀物種變化作延伸:視覺不只是人類的特殊感官,也可能與動物的捕食、避敵和演化競爭相連。他用這套說法解釋自己的研究興趣,而貫穿後續研究的問題是:如果視覺與智能相互纏繞,那麼理解圖像,也是在接近理解智能。

大三實習時,班上原本有到微軟亞洲研究院的常見路徑,但當時沒有合適的視覺研究組接收他。他不願只為取得一段研究經歷,就改做完全不同的方向,於是自行聯絡新加坡國立大學的實驗室,談妥機會與補助後,再向老師提出。老師最後支持他;依他的回憶,這個選項也成了後來學弟妹可走的路。在那裡,他跟著當時還是博士生的研究者做研究,第一次完成一篇論文。雖然沒有投上原本嚮往的CVPR(計算機視覺的主要學術會議),卻讓他知道真正把研究寫完與只在旁觀看的差別。

申請博士班時,相同的取捨又發生一次。到了很晚,他仍沒有拿到想做視覺的導師的錄取,差點轉向其他機器學習題目。最後屠卓文回覆了郵件,兩人在時差下通電話,才把機會接上。原先的錄取在UCLA,但導師即將離開,去處尚未確定;他可以留下,也可以等導師的新去向。他選擇跟人,而不是先保住名校名稱,後來到了UCSD。

這不是因為他知道學校之後一定會變強。他當時也有疑慮,只是把問題收回到自己能判斷的部分:和誰共事、做什麼、是否真心想做。機構的潛力與未來排名,是後來回頭看的結果,不能反過來當成當時已知的答案。

成果不是直線,研究的評價也不該只看一個時間點

博士初期,屠卓文會坐在學生旁邊,一行一行討論程式。謝賽寧把這種從底層動手的訓練看成重要影響。導師在深度學習尚未被所有視覺研究者接受時,就願意轉向新方法;他強調,今天回看似乎理所當然,在當時卻需要判斷與勇氣。

他參與的Deeply Supervised Nets,讓神經網路不只在最終輸出處接受訓練訊號,也在中間層加入出口與監督。誤差不必全部從最末端一路傳回最前端,中間節點也能幫助訓練,因而緩解部分梯度消失問題。

之後的邊緣偵測研究HED,把多層資訊融合起來,辨識圖像中物體的邊界。讓他更感興趣的不只是輸出更準,而是神經網路的中間層本身就包含不同層次的結構。他把多層資訊的整合,視為理解網路內部與尋找新研究問題的入口。

HED得到重要獎項提名,曾讓他感覺人生終於開始,但後來沒有一路重複拿獎。他逐漸理解,論文是否入選、是否得獎,含有很大的隨機性,不適合成為研究者唯一盯住的目標。另一篇早期論文,依他的回憶,曾因公式少了平方項、回覆審查時未能補救而被拒,後來改投別處,很多年後又拿到時間考驗獎。

因此,他勸學生不要在時間軸上的每一個點,都急著判定自己是好研究者還是壞研究者。長期價值更像累積後的總和。不過他也承認,知道這個道理不會讓當下的挫折消失;被拒的那一刻,很難真的相信十年後會有別的評價。

博士期間,他先後到NEC研究實驗室、Adobe、FAIR(Meta的AI研究機構)、Google Research與DeepMind實習,希望看看不同組織與不同問題。每次通常是幾個月,其中一些沒有做出理想成果。Adobe那段涉及設計、使用者回饋與視覺任務的研究,就讓他頗感挫折。他沒有把這段改寫成失敗必有回報的故事,只說後來逐漸接受:沒有做出結果,也不等於一切都結束。

在FAIR實習時,前期同樣卡住。何愷明加入後帶著他討論,最後一個月一起參加ImageNet圖像辨識競賽,做出了ResNeXt。訪談把它描述為ResNet的下一步:把網路中的計算分成多個平行的小路徑,在相近計算量下得到更好的效果。他把這件事和今天增加模型分組、探索可擴展能力的做法(例如混合專家模型)相類比;這是類比,不是說兩者在技術上相同。

這段合作對他的影響不只是一篇論文。他看到優秀研究者如何把普通想法推成有分量的結果,也體會到研究經常長時間沒有進展,最後才突然收斂。合作成功後,何愷明仍建議他去別處看看,不要因為一次有成果,就把所有探索鎖在同一個團隊。

不同組織教他的,是探索與執行如何接起來

Google的實習讓他研究視訊網路,DeepMind則讓他接觸強化學習。後一段做得辛苦,卻讓他看見很不同的組織形式:早期小組可以從下往上探索想法,一旦有了成形的方向,就轉向更有組織、由上往下協調的執行,產品經理也會協調不同研究團隊。

他回憶,當時有人問DeepMind最後想成為什麼樣的公司,得到的回答是:能拿多個諾貝爾獎的公司。在他眼中,AlphaFold團隊逐步成形的過程,具體呈現了這個組織如何從探索過渡到集中執行。

五次實習使博士研究看起來分散,也確實打亂了常見的求教職路線;如果留在一個強團隊持續發論文,可能更有利於當時的求職。但他逐漸找到共同的主線:表徵學習,也就是把原始資料轉成更有用的內部形式,讓分類、分割、辨識動作等任務更容易完成。資料像原材料,表徵是系統從中整理出的結構,不只是某個任務最後的一個答案。

他用樹作比喻:圖像辨識、邊緣偵測、視訊和具身任務是不同枝芽,表徵是根。他想做的不是在一根枝上一路加長,而是讓根扎得更深。這也是他寧願以基本問題描述自己,而不以某個熱門方法定義職涯的原因。他批評神經架構搜尋曾吸走大量研究注意力,用意是說:一個方法名稱可能很快退流行,問題本身卻不會因此消失。

博士畢業後,他選擇到FAIR,因為想和那裡的視覺研究者共事,也看重當時的開放學術氣氛。依他的回憶,他已拿到FAIR錄取,再拒絕OpenAI,OpenAI共同創辦人Ilya Sutskever為此打電話追問。2024年Ilya另創AI公司SSI後,又邀他一起工作;這回他剛在紐約大學(NYU)開始工作,也發現雙方當時想探索的問題不同,於是再次沒有加入。

他並不把這段經歷說成語言與視覺必須你死我活的陣營戰。大家可以在不同位置做不同事情,語言模型的進展也幫助了視覺。他與Ilya談到如何讓AI具備愛的能力,卻沒有得到完整答案;對新智能的恐懼、愛是否也包含反面、技術能控制哪些風險,都仍是討論中的問題。

發論文是把理解交出去,不是替主管累積名氣

人為什麼在他的選擇中占這麼大位置?他認為,研究本來就是由老師、學生與合作者連起來的網路,而且知識不只從老師流向學生。人們甚至可以透過作品,理解一個未曾深入來往的人如何思考,並建立信任。

他對論文的要求,也因此超過「發出來」本身。把問題講清楚,應該讓其他人看完後有新的事情可做,能繼續理解、繼續探索。他借用自己對阿倫特的閱讀來說明:相較於以自我為中心的影響力,他更喜歡共同理解與彼此被理解。讓他警惕的是:我想改變世界,不代表世界上的人同意我替他們安排這種改變。

這也影響他如何看待研究宣傳。他不反對把工作濃縮、解釋,吸引同行來看,卻反對把學生做出的成果包裝成某位負責人的個人光環。如果主管不是主要實作者,就不該只放主管照片與名字、說某某團隊又創造突破。更重要的是這件事解決了什麼、為什麼重要,以及真正做出它的年輕人能否被看見。

定義問題,比在別人的題目裡搶第一更重要

謝賽寧到NYU,不只因為喜歡紐約,也因為楊立昆與跨學科環境。數據科學中心把不同院系的人連在一起,讓AI成為數學、統計、科學與商業等領域之間的接口。在他的記憶中,開放的空間與不同背景的人同樣重要:環境會影響大家能碰到什麼問題、和誰交流,而不只是提供一個職稱。

與李飛飛合作後,他更明確意識到,重要研究者不只會解題,也能定義問題。在他看來,ImageNet不只是很多圖片與標籤,而是一個讓領域有共同問題、共同平台、可以集中探索的安排。談到空間智能與視訊理解的合作,他同樣強調先問哪些問題值得解,而不是先追求一個更漂亮的模型。

這讓他逐漸把研究主線整理成三件相互牽動的事:模型架構、資料,以及訓練目標。架構像引擎的結構,但只有引擎沒有燃料也跑不起來;資料提供經驗,目標則決定系統究竟因為什麼而被訓練得更好。只改架構,不一定能跨過理解世界的障礙。

自監督學習是這條主線的重要一段。訪談舉的代理任務有:把照片轉向,請系統判斷轉了多少;把顏色拿掉,請它恢復顏色;遮住一塊,再請它猜缺掉的內容。這些任務的用意,是讓系統必須從觀察中學到某些結構,而不只是背下某個類別名稱。

他特別反對把自監督的理由縮成省下標註費。真正的限制是:大量不同的椅子都被壓成一個「椅子」標籤,系統可能記住圖片,或靠桌子、背景等不可靠線索猜中,卻未必學到我們希望的常識。自監督要碰的是這個更大的問題;但早期許多巧妙任務的效果仍明顯落後有標籤的訓練,不能只因構想優雅,就說已解決問題。

MoCo(動量對比學習)採用對比學習:在表徵空間裡讓相關的觀察靠近、不相關的遠離,訪談用椅子與貓狗來說明這種距離直覺。謝賽寧指出,對比學習不是從他們開始,之前的度量學習、以預測為目標的對比研究,以及用記憶庫保留比較對象等工作,都已經鋪路;重要的是把方法真正做通,並讓它往更大模型、更多資料推進。後續版本使用視覺Transformer時,他們一度在多種任務上得到比ImageNet有監督預訓練更好的表徵,因而十分振奮。但局部任務的結果變好,與是否已找到一條能持續擴大的路,仍是兩件事。

好點子不是閉門想出來,而是在探索中找到方向訊號

談到何愷明對自己的影響,謝賽寧先說專注。那不是只在會議中認真,而是大部分思考時間都圍繞一個問題,持續閱讀、與人討論、做實驗,還能辨認論文裡真正重要的部分。很多文獻不會直接把關鍵講出來,有時作者自己也未必完全清楚;研究者需要把表面形式拆開,看出不同工作之間的聯繫。

他因此不鼓勵學生一開始就坐著等一個巧妙主意。憑空想到的點子,可能同時有很多人想到,也可能早被別人試過而失敗。直覺不是沒用,但不能把「自己很容易想到」當成問題有價值的證據。

他給學生的流程是,先有大方向,再留出真正探索的時間。在當時的競爭環境下,他用約六個月作為一篇研究的示意週期,其中最初一到兩個月應該讀、推導、寫程式、重現別人的方法,或在基準上做小幅改動。這些程式不必全都服務最初的想法;目的正是發現自己原本不知道的事。

他把探索中的結果叫作方向訊號。實驗成功能提供訊號,實驗失敗也能,出乎預料的失敗甚至更能指出下一步。最糟的不是結果不好,而是不知道結果告訴了你什麼。經過這些碰撞長出來的問題,才真正帶有研究者自己的經驗;它不是先寫好結論,再把程式做成支持結論的工具。

因此,他格外警惕從最初構想到最後論文完全不變、一路沒有阻礙的研究。依他的經驗,這往往意味著題目太平、沒有發現新東西。他要求的是:當觀察推翻起初的想法,願不願意轉向,而不是只守著一個方便發表的小技巧。

這也解釋了那些看起來在最後一個月突然完成的工作。前面的幾個月不一定白費;最後的轉向可能正建立在那些探索之上。他的示意流程,是探索後再用幾個月拓展、補足實驗,最後留時間寫作;但他提醒,這已經是很順利的情況,不是可保證準時交件的研究工期。

研究是追求代表作,不是每一手都不能錯的比賽

他借用研究職涯的圖像,說明成果與回報並不是線性關係。普通或不成功的工作未必有人注意,真正重要的一篇卻可能改變職涯。這不等於別的努力都沒有用,而是不能把平均每篇的表現,當成研究價值的全部。

他把這和棋賽、運動競賽對照:後者常要求每一步不出錯,研究則比較接近發明,有機會做出一次真正的新東西,就有很大意義。他所說的「無限遊戲」,是讓探索能持續、容許修正路線,而不只爭奪某一場既定比賽的輸贏。

他的擔心是,當大型AI公司的產品發布與排行榜決定下一輪題目,學術界也跟著進入同一場資源不對稱的競賽。大公司先規定了問題,學校再拿很少的資源追趕,便可能連定義問題的能力也一起交出去。他在NYU期間同時到Google兼職,部分用意正是看看大公司在做什麼,藉此知道自己的小團隊不必再做什麼。

他也沒有因為有幾篇知名工作,就說自己已經做到理想的代表作。在他的尺度裡,能讓整個領域換方向、跳出原本局部最優解的工作,才屬於另一個層次;他隨口列舉的例子有LeNet、AlexNet、ImageNet、ResNet、Transformer、BERT、GPT-3、CLIP等。他把自己的DiT生成模型架構看成既有方向上的推進,仍希望參與下一次更根本的改變。

把基準做強,才知道自己是不是在自欺欺人

對比式學習沒有帶來團隊期待的持續擴大效果之後,他們換了一條更簡單的路:MAE(遮罩自編碼器),遮住圖片的一部分再讓模型重建。這和對比式方法不是同一種訓練目標,學到的表徵性質也不同:有的方法在固定表徵、只加簡單分類器的測試裡較好,有的在整個模型一起調整之後更好。不能拿一張總分表,就把這些差別抹掉。

MAE的結果讓團隊興奮,但謝賽寧沒有宣稱它已經帶來視覺領域的GPT時刻。他的回顧是,這些研究證明表徵學習不只對圖片有效,也能延伸到三維點雲等不同領域,卻還沒有交付一個像大語言模型那樣、能持續隨規模擴大而進展的完整範式。這是成績,也是尚未做到的事,兩者同時成立。

在他看來,何愷明的貢獻不只是提出方向。以他參與的工作為例,何愷明會親自寫基準、跑實驗、寫論文,承擔大量第一作者和研究帶頭人的工作;他享受親手研究的角色,不把管理大團隊本身當成目標。謝賽寧覺得,這種讓身邊的人更有效率、更有能力的方式,本身就是一種領導。

其中一個重要影響,是何愷明面對研究基準的態度。省事的做法,是把基準做得普通,讓新方法比較容易顯出進步;他們強調的恰好相反:先把基準做到很強,再問新想法還能不能站住。

這不只是寫好程式。他們曾為不易使用的Google TPU運算平台搭建基礎設施,讓它能真正支援實驗,也花很多力氣把實驗系統做穩。謝賽寧稱這是研究的「腳手架」:若底座不可靠,看到的好結果可能只是基準太差,而不是找到真正的新訊號。

實驗表格,是推理過程的外部記憶

他回憶,在FAIR實習時有個玩笑:入門第一課不是最炫的模型,而是Excel。重點當然不是哪一套軟體,而是怎麼安排實驗表:哪些欄位值得記,哪些指標真正回答問題,哪幾行必須放在一起比較。

兩個極端都不好。一邊是實驗太少,無法辨認訊號;另一邊是有算力就把所有工作跑滿,把結果倒進表格,卻沒有形成更清楚的理解。好的實驗應該幫研究者判斷下一步往哪裡走,而不是只證明機器一直很忙。

因此,他們也重視負結果。如果一個改動讓表現大幅下降,至少說明碰到了重要因素,值得理解為何如此,甚至探索反方向;最難受的,反而是怎麼改都沒差。把壞改動反過來不保證成功,但變差本身就是資訊。

何愷明還要求在跑實驗前先預測結果。預測對了,原先的理解可能可以往前延伸;預測錯了,就要問思路哪裡需要修正。這樣,實驗才是用來更新理解,不是事後替任何結果編一個故事。

研究品味要回到事實

「研究品味」在謝賽寧的描述裡,不只是挑中熱門題目。他把它連到看穿表象、追問實質:論文錄取、外界稱讚、漂亮包裝,都不等於問題真的被解決。

他也不認為表達與這件事無關。何愷明會提早完成論文,留下時間反覆打磨字句、表格和版面;連一個詞孤零零占一行,都會影響讀者的觀感。謝賽寧做網站、錄影片、設計論文風格,也是希望知識透過更順暢的界面抵達讀者,而不是只服務作者自己。

他把寫論文和拍電影相比:真正重要的不只是從A走到B,而是在某個關口作了什麼選擇、為何改變方向、這個決定又如何帶來下一步。把這條探索路徑說清楚,別人才可能從中得到方法,去解另一個不一樣的問題。他曾向學生推薦麥基的《故事》,也是從這個角度理解研究敘事。

但他立即為「相信自己的方向」加上限制:科研的每個決策仍然要基於事實,不能因為相信一件事,就把所有反面結果都忽略掉。個人風格與精神力量可以支持探索,不能替代證據。

ConvNeXt與DiT:突破往往從質疑一個常識開始

在ConvNeXt的工作裡,他與合作者重新檢查一個當時很自然的說法:視覺Transformer的進步,最重要的原因是不是自注意力?他們沒有只爭論名詞,而是逐步更改卷積網路的設計、控制變數,看哪些改動真正帶來效果。

謝賽寧的結論是,事情沒有大家想的那麼單純,整體架構與許多大小設計也很重要。他特別重視論文中把這條路一步步畫出來的圖:它不只展示最後成績,也讓其他研究者看見怎麼有條理地拆開問題。

DiT用Transformer作為擴散生成模型的核心架構,但這項工作並不是一開始就被設計成「下一個重大生成模型」。他與實習生最初仍在研究表徵:生成模型學到的內容,與其他視覺方法到底有什麼不同?為了比較,他們採用了相近的Transformer架構。原先的表徵方向沒有帶來期待的結果,卻意外看見另一個訊號:新架構用來生成時,簡潔、有效率,也呈現出擴大的潛力。

這才讓他們在後期轉向,把這件事往前推。謝賽寧回憶,當時組織開始投入更多自上而下的研究對齊會議,希望集中資源做更大的計畫,但並不容易討論出應該做什麼;DiT並不在大家預設的核心路線上。他不適應的不是協調本身,而是用開會規定未來一兩年要發現什麼,這與他相信的由下而上探索相衝突。

他說,這項工作在FAIR完成,最後論文卻沒有使用FAIR的機構署名。DiT起初被會議拒絕,也沒有立刻換來各家公司的採用。後來合作者加入OpenAI,這條架構路線才與更大的團隊、資源及膽量相遇。他肯定的不只是選對一種架構,而是有組織願意相信研究者,讓他們做出原本不敢想的東西;架構是其中一環,不是Sora等產品成功的全部原因。

他也坦承自己沒有看懂所有機會。早期看到Perplexity的展示時,他曾懷疑這不就是在GPT外面包一層;後來對創業者的理解才慢慢改變。不過,他不把當年的拒絕一概叫作後悔,因為當時的選擇忠於自己想走的研究路。

從DiT到後續生成研究,他想建立的是一套更能承受意外的研究方式。他借用「反脆弱」來說明:不只是在衝擊下勉強撐住,也希望從拒稿、意外與失敗裡得到新的方向。這不是說每次挫折都有益,而是把個人與組織設計得不會因一次結果就倒下。

在紐約大學,他又把同樣的質疑精神用到多模態系統:哪些視覺表徵、資料和處理結構真正重要?語言是否帶來容易作答、卻沒有真正看懂的捷徑?大型合作研究需要學生願意一起探索,也需要實際的資源。面對難用但可取得的運算平台,他不希望只試一週就退回熟悉的工具;但也願意在多試幾週、確認有解不了的技術障礙後換路。堅持與改道,都需要具體理由。

讓模型看懂連續的世界,不只是回答圖片問題

研究資源的限制,也影響了謝賽寧能做的事情。他把青年教師的工作比作創業:不只要找到題目,也要找到能讓學生與算力持續運作的資源。他回憶自己曾在Google附近的步道上,邊走邊向合作夥伴說明團隊做過的基礎設施,以及長期合作對雙方的價值。他特別感謝學生把原本不熟悉的運算平台一步步用起來。這不是學術生活的旁枝,而是研究能否真的開始的條件。

有了更多資源,他把表徵學習的問題往多模態推進。語言提供了很方便的界面:不用為每個任務另外設計輸出格式,使用者可以直接問一張圖裡有什麼、某個物體在哪裡。但他不滿足於「給一張圖、問一個問題」的模式,因為人活在一段不中斷的視覺流裡。

他從賈樟柯、畢贛等導演的電影和長鏡頭得到啟發。影片的時間軸雖然是一條線,每一個時刻背後卻有一個空間:鏡頭外還有物體與人,物體之間還有關係,剛才發生的事也不會因為換了一幀就消失。人看到的不只是逐張畫面的像素,還會推想空間、因果和正在發生的事情。這讓他認為,即使影片難做、需要大量資料,仍必須面對它。

他把這條路畫成幾個能力台階:先是只有語言、無法直接觀察影像的系統;接著是能看圖回答的系統;再來是能處理連續視覺流、理解事件的系統;然後要從畫面推知背後的空間;最後才走向能預測的世界模型。這是他用來說明研究方向的框架,不是已有定論的分級,也不表示他已經知道終點的完整答案。

視覺不只是一個被語言模型邊緣化的學科

謝賽寧不因為大語言模型成為主角而沮喪,反而感謝它讓視覺問題進入更大的多模態範圍。過去從辨認小圖片,到分類、物體偵測與分割,研究者往往要事先限定任務;有了語言,人可以更自由地提問。

不過,提問變容易,也可能掩蓋另一個問題:有些看似多模態的題目,模型其實靠文字的常識就能作答,並沒有真正利用視覺。他認為,等到系統必須在真實世界互動,薄弱的視覺表徵就會成為缺陷。這裡的「真實」不是說法律、教育或寫程式不重要,而是特指需要感知物理環境、採取動作並面對後果的任務。

他把視覺看成一種研究視角,而不是一張固定的任務清單:要處理連續、高維度、有雜訊的訊號;要形成從細節到抽象概念的層次;要並行處理不同物體和因果關係;還要理解照片、卡通與兒童畫中看起來極不相同的「狗」為何仍是同一類事物。在他看來,這些要求不會因為一個系統能用流暢的語言回答問題,就自動消失。

他想「不做機器人硬體,而解決機器人的問題」,意思是先集中在大腦:感知、表徵與預訓練。這不是否認機器人需要真實測試。他接受模型必須在機器人上形成回饋,但認為可以透過合作來做,不一定要自己同時承擔硬體、控制與大量機器的投入。

語言的優點,也可能成為學習世界的捷徑

謝賽寧提出一個有爭議的看法:語言模型未必適合被當成「幾乎沒有人工監督」的典型。人類早已用很長的文明歷程,把經驗、知識和判斷整理成文字;互聯網只是讓這份成果很容易取得。沒有另外付費請人標註,不等於資料裡沒有人的整理與監督。

在他的論述裡,語言首先是溝通工具,為了把意思有效傳出去,會省略大量資訊。「杯子掉到地上碎了」足以讓兩個人交流,卻沒有交代杯子如何旋轉、撞擊、破裂,以及背後的物理變化。因此,他的疑問不是文字有沒有知識,而是:一個主要依靠文字的系統,是否已經擁有與物理世界互動所需要的完整理解?

同樣地,他用「拐杖」來形容語言可能帶來的捷徑:它很好用,卻可能讓研究者不再鍛鍊視覺系統原本欠缺的能力。這是他對研究路線的擔心;對不同任務,什麼叫聰明,本來就需要先說清楚。

他也從自己的視覺推理研究談到學術界與產業的關係。人回答「旁邊垃圾桶是什麼顏色」時,會先找垃圾桶、再觀察與推理;團隊想讓系統在回答前也有這種行動。他回憶曾把相關工作與測試分享給OpenAI的研究者,後來看到產業產品朝相近方向前進,既受鼓舞,也感到苦澀:當公司越來越少發論文、署名與引用時,外界更難知道研究從哪裡來。他重視的不只是榮譽,而是這套讓貢獻可見的機制,長期支持著學術交流。

表徵的主線也延伸到生成模型。他談到REPA(表徵對齊):讓生成模型的內部表徵與外部自監督模型對齊;接著再問,能不能更直接地以強表徵作為生成的基礎,而不只在中間加一個對齊目標。他從這些工作得到的押注,是未來可能由一個更強的表徵或世界模型打底,再把它轉成語言、影像或動作。語言仍然很重要,但可能主要成為溝通界面,不必承擔今天所有的理解工作。他明說這是押注,不是定局。

世界模型不是多拍一段好看的影片

謝賽寧給世界模型的基本定義很直接:給定當前的環境狀態,再給定一個動作或干預,模型能預測接下來的狀態。要預測的是「做了這個動作之後,世界會怎麼變」,不是把「預測下一個字」機械地換成「預測下一個動作」。

預測之所以有價值,是因為它能指導決策。知道把手伸進火裡會痛,就可以不做;在控制系統裡,也可以先想像幾組動作會帶來什麼結果,挑選較接近目標的一組,執行第一步,再根據新的情況重新預測。這樣的想法與控制理論、以模型為基礎的強化學習早有連結,不是近年才突然出現的新名詞。

這裡的狀態,不必是物理世界所有細節的完整副本。若任務是坐在桌前聊天,需要知道麥克風能否穩穩放在桌上,未必需要知道桌面每一條紋理;設計飛機時,也不會逐一模擬每個分子的碰撞才開始理解空氣。重點是保留足以支援眼前決策的資訊。這也把世界模型重新接回表徵學習:要學到哪一層抽象,才能抓住真正有用的變化?

因此,他不把世界模型當作一種固定演算法,而把它看作目標。不同團隊可能從不同方向逼近:影片生成側重模擬出連貫、可控制的畫面;明確的三維空間表達側重能使用、編輯與探索的空間資產;他希望推進的則更像一個能預測的「大腦」。這是他自己的分類,其他團隊未必這樣定義自己。

他認為,這個大腦需要理解物理世界,有能連結經驗的記憶,能推理和規劃,能思考假如採取另一個動作會怎樣,也必須可控制且安全。他以拿刀切菜的機器人說明:除了用大量例子告訴它什麼不能做,若能先預測一個動作會傷到人,也可能在執行前避開。

最後,他沒有把這條路簡化成對語言模型的全面替代。他承認大語言模型已讓系統對世界產生一定認知,也會繼續是智能系統的重要部分;他的主張是它不等於全部。問題在於接下來還缺什麼,以及怎麼把欠缺的部分真正學出來。

資料與產品,是這個研究方向還沒跨過的兩道門

從語言轉向影片,在謝賽寧看來是一個進展:模型不只在有限的標籤裡選答案,還要學到世界裡什麼樣的畫面和變化比較可能出現。但他也認為,把像素一一生成出來仍不是終點。像素排列和影片,都是讓人看見結果的界面;世界模型的核心,應該是學到有用的抽象、做出更好的預測,而不只是交出一段令人驚豔的畫面。

他的押注是,這樣的系統未必需要把所有見過的細節都記在一個極大的模型裡;它可能更需要選擇、壓縮與過濾資訊。人的感官接收大量訊號,最後用於決策的部分卻少得多。他用這種落差提醒研究者,重要的不只是輸入多少資料,而是怎麼找出與行動有關的內容。

不過,他也坦承不知道這條路一定會成功。第一個困難就是資料。文字有互聯網這個已整理過的大型來源;世界裡連續發生的事情、人的感知與操作,並沒有同樣現成的資料庫。他以「下載人類」形容下一階段的難度,指的是取得人如何觀察與理解世界的經驗,不是已經有一套能完整複製人的方法。

他認為影片可以先提供入口,但明說平台資料涉及使用條款、版權與取得限制;最終會如何處理,他並不知道。

第二個困難可能比資料還大:產品。ChatGPT有一個非常自然的對話界面;世界模型會以什麼形式成為人願意使用的東西,仍然沒有同等明確的答案。他舉了兩類可能出口,也立即承認,現在憑空想出的產品可能是錯的。

一類是持續感知環境的個人裝置,例如眼鏡或穿戴設備。現有手環能持續量心跳與睡眠,再把垂直的訊號整理成一點建議;他想像更完整的系統能連結生活的前後文,例如一杯咖啡與晚間狀態、運動動作與表現,或長者的日常活動與照護紀錄。這些是用途想像,不是AMI Labs已經交付的產品,也不是已證明的醫療判斷能力;功耗等硬體問題,在對話裡同樣尚未解決。

另一類是機器人。表演動作與能安全照顧長者、進入一般家庭之間,仍有很大距離。他不否認表演有自己的市場,而是提醒:看到漂亮展示,不能就以為通用機器人的大腦已經準備好了。

為什麼創辦AMI Labs:不想停在「中等論文陷阱」

謝賽寧沒有把創業說成自己早就安排好的人生主線。學校讓他有空間探索,卻也有資源限制。他擔心自己進入一種「中等論文陷阱」:可以繼續發不錯的論文,卻無法把已經看到的研究想法推到更大的突破。

他回憶,2025年思考下一步時,有人建議他與楊立昆聊聊;不久後兩人一對一會面,楊立昆主動說想在外面成立公司。他發現對方想做的事情與自己所想的高度一致。這種一致不只是世界模型的技術定義,也包括公司應該怎樣連接研究與真實需求。

他對當時矽谷環境的批評,是一條誘因鏈:先有大家共同追逐的AI敘事,再有測試榜單,接著資源跟著榜單目標分配。即使研究者知道某些根本問題重要,也可能沒有時間去做,因為產品發布與競爭順位更急。他以影片理解為例:人可能有能力研究模型怎樣真正理解影片,實際職責卻變成替影片生成系統做字幕或描述。這是他根據自身交流形成的觀察。

因此,他想做的不是再搭一個一模一樣的競賽團隊,也不是完全不必面對商業結果的學術機構。他強調AMI Labs是一家需要商業模式的創業公司,同時希望保留一部分真正前沿、自由的研究。這種平衡要努力建立,不是只要創業便會自動存在。

世界需要世界模型,世界模型也需要世界

描述這家公司的商業邏輯時,他用了「反向的OpenAI」這個說法。按他的簡化對照,一條路是先從互聯網訓練出模型,再把能力推向市場;他們希望走另一條路:從已有具體問題、資料與需求的合作夥伴出發,一起讓模型產生價值,再讓使用過程帶來更多資料,反過來改善共同的基礎。

這裡的世界,不只有影片。工廠、醫院、農場或飛行引擎的感測器,也可能產生連續、高維度、有雜訊的訊號,而這些內容未必會出現在YouTube。他用飛行引擎作例子:能不能在更通用的預訓練基礎上,理解某一台引擎的狀態、發現長尾問題?這仍是研究與商業方向,不是已經完成的跨產業通用模型。

更重要的是,這些合作夥伴也參與定義問題。好的產品不能把研究者認定的AI能力硬放在人身上,而應先理解人每天做什麼、哪裡真的需要幫忙。對他而言,「熱愛生活」不是一句與工作無關的勸告,而是避免只從模型出發、看不見使用者的起點。

他借用信用卡聯盟的故事作比喻,想說明許多個別規模不大的參與者,可能透過合作建立另一種力量;他也明確保留,公司不一定照那個模式運作。他所描述的開放,也不等於所有研究都會開源。

給年輕研究者空間,而不是只收集明星

謝賽寧把自己的角色定位為共同創辦人與首席科學家,仍希望重心在科學,而不是自稱已擅長營運大型公司。楊立昆則擔任執行董事長。他轉述對方的帆船比喻:先信任每個人完成自己的事,發現偏差時盡早修正,而不是事事先抓在手上。

他想吸引的,也不只是已經有重大歷史成果的明星。與其期待把一群成名者放在一起自然產生突破,他更重視能力很強、使命感很強,但還沒有充分被看見的年輕人。他的說法是,一個人很難再被「閃電擊中」一次。

同時,他不贊成以團隊合作為名,讓每個研究者都變成可替換、不可見的零件。研究者不能只有自我,但也需要讓個人的貢獻被看見,才有機會成長為能引領方向的人。

他希望保留與紐約大學及學生的學術連結,並強調公司與學校之間仍要有清楚邊界,不是把所有學生自然轉進公司。訪談錄製時,他談到約25人的初始團隊與跨城市布局,也說到融資目標;這些都是錄製當時的說法,融資是目標,不是已完成的事。

選擇與楊立昆合作,也有很個人的理由。謝賽寧敬佩他長期堅持研究方向、願意在白板前推公式,又讓人能直說不同意見,不必擔心一句話得罪權威。他認同的不是永不改變,而是要靠事實改變,不是只因公司當下的敘事需要就換立場。創業的技術路線、組織想像與他對共事者的信任,因此連在同一個決定裡。

JEPA、動物智能,與一塊能替團隊充電的電池

談到楊立昆的路線,謝賽寧說自己經過「質疑、理解、成為」幾個階段。JEPA是一種在抽象表徵空間做預測的研究思路,重點不是重建所有可見細節,而是預測值得保留的內容。他起初把它看作另一個自監督學習方法,後來才認為,背後還連著更完整的認知系統想像:理解世界、預測、規劃,以及不同元件如何合作,語言模型也可以是其中一部分。

這不是把公司鎖定在一個永遠不能改的單一演算法。至少在他的理解裡,這個方向應該留下足夠空間,讓人探索不同路徑。他也沒有對突破何時出現給出保證。談到預訓練,他能說明希望處理連續、高維度、可能有雜訊的輸入,但最終的訓練設定與輸出仍是研究問題。方向很大,不等於具體方案已經全部知道。

先別急著談超級智能,看看孩子與松鼠會什麼

謝賽寧反對把AGI當作一個毋須澄清的終極標準。他認為,人類自己的智能也受感官、身體與環境限制,並不是能處理所有可能問題的抽象通用能力。

他推薦閱讀關於動物智能的書,提醒人不要因為自己擅長語言,就把會使用工具、推測同伴行為、記住食物位置等能力全排在智能之外。他轉述松鼠的例子:一個能在真實環境活下去、有目標、能感知並採取行動的系統,可能比在人類已整理好的符號世界裡解某類難題,更接近另一種根本挑戰。

在他轉述並認同的觀點裡,建立這種能在環境中自主生存的智能,比後來接上人類熟悉的文字與程式任務更根本。這仍是研究路線的判斷,不是已經完成的能力推導,也不否認現有模型的進展。它提醒的是:對人很難的事,未必對機器最難;孩子看似普通的能力,也未必容易用現有系統重現。與其只談超級智能,可以先問:有沒有一個足夠可靠、足夠通用的機器人,能像孩子一樣在家庭裡處理多種家務?這也解釋了他為何一直把視線拉回感知、預訓練與機器人的大腦。

創業需要勇氣,也需要一起改方向的人

他把開始創業的感受比作學滑雪:直覺叫人往後縮,卻要學著面向下坡、找到平衡,才比較能控制速度。他也知道公司與學校不同,需要考慮資本使用、商業模式、跨辦公室的法律與協作,以及團隊接下來一個月、幾個月究竟要做什麼。

相較於同時切換許多研究計畫,他享受能集中思考一個共同使命。不過,他不保證自己的每個設想都對,更看重團隊能不能一起面對失敗、一起改方向。他選人的標準裡,除了實際面試與能力,也包含是否真心想理解一個問題、願意長久帶著它思考,而不只是完成眼前工作。

他喜歡利物浦教練以「普通的一個」而非「特殊的一個」自居,也喜歡對方把自己看作團隊的電池。他想在學校或公司裡扮演相似角色:不是宣稱自己從不低落,而是在研究者經常迷惘的探索裡,讓別人得到繼續做事的能量。他把楊立昆看作一塊大電池,也希望把接到的電力再傳下去。

同樣的講座反覆聽,為什麼還會得到新東西?他的回答不是多聽幾次就有神奇效果,而是自己真的去做研究之後,才能把講者的抽象論述對上具體經驗。信任人、理解一條研究主線,都需要時間與實踐。

最後,走出研究室,看見不以AI為中心的生活

紐約讓謝賽寧感到重要的一件事,是從家裡步行穿過公園。彈琴、跳舞、推嬰兒車、下棋與坐著發呆的人,都在過自己的生活。他們未必在意AI圈今天爭論什麼,但未來可能受AI影響。這段路讓他重新問:研究者應該為誰做事,什麼才是下一代AI值得理解的世界?

這也連回他推薦的電影與書。他提到《Person of Interest》、動畫《萬神殿》,以及其他讓人想像技術如何改變社會的影視作品;談到Runway的AI短片《Total Pixel Space》,則把它接回智能與世界模型。他喜歡的是這些作品提出的問題,不是把它們當成能預測未來的證據。

書籍方面,他回憶大學同學一起讀《哥德爾、艾舍爾、巴赫》,也提到《禪與摩托車維修藝術》。有些作品不是讓人覺得自己裝進了更多答案,而是把原有的確定感掏空,重新追問什麼重要。他最後仍把真誠的人際交流放在很核心的位置:別人能透過作品理解一個人的選擇與方法,即使尚未熟識,也能建立信任。

臨近收尾,他再提出一個具體反對:不要把名人名言當作技術路線的捷徑。拿維特根斯坦關於語言與世界的話,就斷言語言模型足以包含世界;或拿費曼關於創造與理解的話,就替某個理解與生成合一的模型背書,在他看來都跳過了必要論證。他自己也保留哲學理解的限度。

他很肯定Seedance等影片生成系統展現的能力,也把大量功勞歸給資料的清理、品質、多樣性、描述與提示對齊。對具體模型規模或架構的說法,他明說只是聽聞;他用很高的比例形容資料的重要,是強調,不是拆解計算後的成本或貢獻占比。

這場訪談沒有替世界模型交出一份保證成功的藍圖。從視覺到表徵,從表徵到預測與行動,再到什麼樣的組織能讓這些問題繼續被研究,真正未決的仍然是:資料怎麼取得、學習系統怎麼做、產品怎麼讓人使用,以及商業壓力升高之後,能否守住當初想保留的探索空間。

訪談最後,主持人問世界是不是一個巨大的世界模型,能不能預測命運。謝賽寧沒有交出預言;他笑著把問題推到需要整個宇宙作為電腦的尺度,最後用科幻作品裡的「42」作結。這場談話從如何理解世界出發,結尾仍留著對自己不知道什麼的自覺。