筆記

楊植麟談大模型創業:從雕花走向新組織

講者
楊植麟
原片日期
筆記日期
閱讀時間
約 16 分鐘
本文有 9 個章節

2024年初,月之暗面創辦人楊植麟面對的問題,不只是怎麼把一個模型訓練好。模型研發要持續花錢,公司又必須讓真實用戶願意使用產品;眼前的收入、下一輪融資,以及他想追求的通用人工智慧(AGI),未必有同一套時間表。他在一場訪談裡說明怎麼把這些事情放進同一家公司的運作。他把AGI視為需要研究、工程、產品與商業共同完成的長期目標,回答因此落在三個相連的判斷:研究不能困在小問題的精修裡;技術變了,組織也要重新設計;產品與用戶不是研究完成後才來接手,而是形成更強智能的一部分。

一、能不能創業,取決於資本與人才何時一起鬆動

楊植麟在2022年11月ChatGPT發布前,已在找人、組團隊、討論新的認知。ChatGPT令他興奮,不只因為產品展示了幾年前難以想像的推理能力,更因為它可能同時改變兩項生產要素:資本開始相信這件事,人才也開始願意離開原來的工作。獨立公司從零開始做AGI,不再只是他個人的研究願望,而可能成為資源上做得到的選擇。

這不是所有人同一天醒悟的過程。他回憶,有人很早知道ChatGPT,有人稍晚才接觸,有人先懷疑,再震驚,最後才相信。融資與招人都要配合這段認知擴散。按他的經驗,2023年2月是第一輪集中融資的窄窗口:2022年12月或2023年1月,疫情與市場尚未反應過來;等到4月,又可能錯過。人才願意流動的時點則較晚,許多人到3月、4月才把通用AI視為未來十年最值得投入的事情。

2022年底至2023年初,他在美國待了一兩個月。有一晚,他在住處把計算量、訓練成本、模型處理用戶請求的成本與用戶量放在一起估算,得出至少要在幾個月內籌到1億美元的結論;訪談沒有公開這筆計算的公式與參數。他特別澄清,第一輪並沒有直接融到1億美元;2023年完成兩輪,合計接近20億元人民幣,當時第三輪尚未正式對外宣布。

張小珺在文章前言另報導,2024年2月公司以15億美元投前估值,完成超過10億美元的B輪融資,投後估值約25億美元,阿里領投,礪思資本、小紅書等跟投。公司拒絕回應或評論這筆交易。這些是作者的報導,不是楊植麟在訪談中確認的融資數字。

他看到的矽谷情緒,同時有興奮與害怕錯過。技術圈的早期用戶開始用ChatGPT寫績效評估,平常不擅長正式表達的人,也能交出像樣的文字。許多人考慮換工作或創業,深夜仍在討論機會。楊植麟的回應不是追所有熱點,而是先判斷:自己的目標需要哪些人與錢,這些條件在哪一刻能一起成立。

二、從「雕花」解放,不等於停止研究算法

楊植麟1992年出生,2011年進入清華讀本科,之後在卡耐基梅隆大學攻讀博士。他早期研究較發散,探索過圖與多模態,2017年才收斂到語言模型。當時語言模型的常見用途很窄,例如語音辨識產生多個候選答案後,用它替答案排序。

他關心的卻是更底層的可能:語言是世界的一種投映,預測語言的機率,可能通往對世界的機率建模。如果模型能處理的符號範圍擴展到語言以外,也許能把不同事物如何產生、發展放進同一個框架。這是他支持通用模型路線的出發點。

在Google實習、2018年底開始做以Transformer為基礎的語言模型時,他學到最重要的一課,是把自己從「無限雕花」中釋放出來。所謂雕花,是在很小的既定問題上不斷修改細節,卻沒有問這個問題是否抓住了能力進步的主要來源。他的具體例子是:研究者在只有一兩百萬個token的資料集上,反覆調整模型架構,降低困惑度或訓練誤差。數字變好可能是真的,但小資料集上的技巧,不一定回答了這個領域真正缺少什麼。

楊植麟用選路作比喻:眼前有十條路,先決定走哪一條,比一直研究某一條路上遇到行人該怎麼煞車更重要。對他來說,大方向是找到同時滿足兩個條件的框架:足夠通用,能容納廣泛問題;可以擴大規模,投入更多算力時能力仍能改善。他把這種思考稱為scaling law。

他認同的原則是,若擴大規模可以解決問題,就不要先發明另一套算法繞路。這不代表算法沒有價值;他把新算法的主要價值放在讓系統更好地擴大規模,而不是在固定的小測試上獲勝。這是他的研究取捨,訪談沒有提供跨任務實驗來證明它總是成立。

同時,持有相同理念,也不等於能做成相同成果。他認為Google當時已有這些思想,卻常是這裡五個人追一套原理、那裡五個人追另一套原理,沒有整合成一個自上而下的「登月計畫」。這正是他從研究方法走向組織設計的轉折。

三、新組織要整合整個系統,而不是把實驗室塞進舊公司

楊植麟認為,AI從探索研究走向較成熟的工業化過程後,重要突破會更多出現在產業界。這不表示不再需要研究,而是只靠純研究,愈來愈難做出有巨大實際價值的系統。他以Google Brain為例:把研究組織安插在大公司裡,可以產生Transformer這樣的新想法,卻未必能形成ChatGPT那樣完整的產品系統。

他的類比是搜尋引擎。要形成Google那種有真實用戶、處理巨大資訊量的服務,不能只留在實驗室研究資訊檢索。算法、穩定的工程、產品與商業要共同運作。他預期科研與教育組織的職能也會轉變,人才培養會變得更重要。

因此,他想建的不是純科學研究院,而是一家公司。它要有明確的整體方向與資源規劃,又要保留由研究者從下而上探索的空間;因為技術還未確定,不能把每一步都預先寫死。上層負責讓工作朝同一個大型目標收斂,下層仍能提出新方法。

在他看來,既有公司的文化本身可能成為限制。談到Sam Altman曾可能加入微軟、領導新的AI團隊時,他指出,在舊文化中產生新組織,難度很大。不過,訪談沒有把這種難度拆成決策權、激勵或預算制度,也沒有給出一套可以照抄的組織圖。它提出的是重新設計的必要性,還不是完整的管理操作手冊。

他也拒絕把目標描述為「中國的OpenAI」。在他的長期判斷裡,真正的AGI公司需要全球化、有通用能力,並有大量用戶的產品;不能只靠某個區域的市場保護。他認為應該學習OpenAI早期的技術理想主義,而不是以複製OpenAI為終點。

他回憶2017至2018年,自己接觸的研究圈對OpenAI有很多懷疑。他看重的是,一個組織能不能在大多數人尚未相信時,持續投入有根據的非共識方向,同時用產品與用戶共同創造價值。只有理想沒有現實追求,或只有現實追求沒有技術理想,都不是他想要的公司。

談到與知名學者、投資人合作,他不喜歡「搞定大佬」的說法。他和Yann LeCun、Yoshua Bengio合作的經驗,是先有值得研究的想法,再找對方共同推進;合作成立的前提是雙贏,自己能提供獨特價值。他把不同腦袋碰撞觀點,類比AI把多個模型結果結合的集成方法:差異不是只用來達成共識,也可以用來產生一個人想不到的東西。

四、先做長上下文,是選一個有根據的新維度

月之暗面在2023年二、三月成立之初,就決定投入長上下文,讓模型一次處理更多內容,而不是只能看一小段。這不是看到風口後,才臨時找兩個團隊趕工;楊植麟說,他們花了半年多提前布局。官方文章記載,訪談當時公司的產品Kimi支持20萬漢字輸入;他舉的使用例子,是讓它幫助用戶理解英文文獻。

他把長上下文比作新計算機的記憶體。傳統計算機的記憶體多年來擴大好幾個數量級,他預期新的計算方式也會發生相似變化。要處理更完整的世界,模型就需要承載更多原始訊息。他進一步設想,若能做好長上下文的無損壓縮,未來可能直接放入多模態原始資料,不再需要當時那樣的標記器。這是他的技術展望,不是Kimi當時已具備的全部能力。

另一個理由是個性化。他認為AI的價值最終落在個性化互動,而關鍵不一定是替每個人微調模型,也可能是保留使用者與機器之間足夠長的互動歷史。這些歷史成為上下文,影響之後的回答。這個判斷談的是能力方向;原文沒有交代如何處理隱私、記憶錯誤或不同使用者資料的隔離。

長上下文也不能只看窗口數字。他明確反對單純比誰能塞進幾百萬或幾億個單位,而要求同時看三件事:模型能否在這個長度下推理;是否忠實於原始資訊;能否遵循指令。如果能力也隨窗口改善,幾萬字的指令就可能描述複雜工作,甚至定義高度個性化的智能體。

楊植麟不否認中國公司的後發追趕:綜合能力需要逐步接近GPT-4。但只用「大家都在追同一個模型」描述它們,也會漏掉差異化空間。長上下文就是他選的另一個維度。他還以當時DALL-E 3與Midjourney V6的圖片效果作例子,說明綜合能力領先,不等於每一種具體能力都最強。

新維度不能完全脫離綜合能力,因此他無法直接給出兩者應投入多少資源的固定比例。也不能只拿一個新功能作裝飾,必須有足夠投入,才能形成用戶能感受到的獨特能力。

他覺得刷排行榜的意義已經很小,真正要讓用戶投票。追趕速度仍有意義,尤其領先半年以上時,但價值取決於能拿這段時間做成什麼。在他的產品野心裡,Kimi不是只把一個搜尋場景改善10%或20%;它應該帶來新的智能增量。依他的意思轉述,如果產品的核心價值只有10%至20%來自AI,就不符合他的要求。

五、用戶增長與模型進步,要形成同一個循環

楊植麟不接受把研究和應用排成前後兩階段:先做出技術,再找地方商業化。產品既是形成更強智能的手段,也是智能最終要服務的對象。他說,Kimi用戶拿它來篩選履歷,就是團隊設計產品時沒有想到的場景。用戶把真實問題帶進系統,讓公司看見原來沒發現的使用方式。

他稱這為user scaling與model scaling一起做:一方面擴展使用者與使用場景,另一方面持續提高模型能力。他以Midjourney為例,認為其效果與使用者端的擴展有關。不過,訪談沒有交代每一筆用戶輸入怎麼轉成訓練資料,也沒有提供因果實驗,這段還不能直接讀成「用戶越多,模型自然越好」。

張小珺帶入投資人朱嘯虎的另一套看法:應用最難的是找到產品與市場契合(PMF);找不到這件事,增加團隊與資金未必有用。楊植麟的回答則把時間放到十至二十年:模型能力如果再跨一個台階,今天精心找到的狹窄需求,可能整個被更通用的系統取代。他以以往客服與對話系統為例,認為靠填入預設欄位完成任務的產品,曾被後來能力更強的技術壓過。

他並沒有否認只做應用的機會。若一個簡單任務在「原本做不到」到「能做到」之間,帶來很大增量,即使後續擴張空間有限,也能成立,例如圖片或文案生成。但他的目標是更大的超級應用,因此相信最強的技術能力不能缺席。張小珺追問,應用公司難道不能更換底層模型嗎?他仍認為,這樣不容易做得比提供核心能力的一方更大。

他對開源也有很強的立場:當時的模型開源不像過往軟體那樣,可以讓很多人直接加入有效開發;重要貢獻還需要算力驗證,而人才與資本聚集讓閉源組織佔優。他據此判斷,閉源最後會更好,領先者也沒有太大動機把領先模型開源。

六、長期主義的前提,是公司仍能活下去

面對「不快點落地就融不到下一筆錢」的壓力,楊植麟並沒有說收入不重要。他明確承認,完全沒有用戶、沒有收入,肯定不行。長期與短期應該是螺旋式相互推動:模型變強,新的場景才可行;新的場景與產品又支持下一步能力投入。

他預期,從GPT-3.5到GPT-4,再到後來的模型,能解鎖的場景會繼續增加,甚至可能呈指數型成長。他把這稱為「場景摩爾定律」,這是預測性的比喻。最關鍵的限定條件反而很直白:要在能活下去的情況下追求長期;但若完全沒有長期投入,也可能錯過整個時代。

他也不完全認同「2023年下半年市場已經全面轉冷」的說法。市場情緒確實有變,他自己的公司卻在下半年完成融資,模型能力、用戶與收入也仍在成長。因此,他不想讓市場情緒替公司決定方向。

月之暗面從第一天就決定服務一般消費者,而不是企業客戶。楊植麟的理由是先想清楚自己要什麼:一個不符合目標的機會,即使得到也沒有意義,便不必因為害怕錯過而追逐。這不是企業服務的商業模式不成立,而是他主動選擇不走那條路。

他還說,當時儲備的資金,不只是為了做到GPT-4或Sora的水平,更多是為下一代、甚至下下代模型做前沿探索。公司需要的資本,並沒有隨追上某一個既有產品而停止。

資源配置也不是一次定案。談到算力,他回憶一段時間一台機器的價格可能從260變到340,又很快跌回來;原文沒有說明幣別、計價期間與機器規格,不能換算成訓練成本。地緣政治、供貨批次、市場情緒,以及有些公司放棄訓練而退卡,都會改變供求。他因此不斷調整去哪個渠道、買還是租。當時他認為未來一至兩年,算力供應不會成為很大的瓶頸。

他看待巨頭與創業公司的關係,也是競爭與合作並存。第一目標不同,會影響兩者的動作和結果。他預期產業將整合、公司數會減少,但不認為被巨頭收購必然是所有模型公司的結局。OpenAI與微軟,是他覺得值得參考、也可以再優化的深度合作例子。

七、人才密度之外,還要補齊能帶隊與把產品做成的人

月之暗面的早期招人重點,是找有直接經驗、上限高的人:能動手調整模型,訓練過超大規模系統。楊植麟說,這樣的對口人才可以很快做出成果,早期團隊曾長時間維持在30至40人,訪談時約80人。他形容Kimi發布的資本與組織效率很高,但沒有公開足以計算成本效益的完整數字。

後來,人才畫像開始改變。公司不能只由技術天才構成,還補進產品營運的人、能帶隊的人,以及能把事情做到極致的人。他希望得到的是更完整、有韌性、能打仗的團隊。

這段轉變和前面「研究、工程、產品、商業相結合」相呼應。公司的上限不能只押在個別研究者身上,還要有人把不同工作接成能持續運作的系統。不過,訪談未說明帶隊的人如何取得資源、怎麼考核或如何處理跨團隊衝突。

他對當時成果的比喻,是已造出火箭原型、開始點火試飛:累積了團隊、懂了一些燃料配方,也看見產品與市場契合的雛形。那不是已登月成功,而是走出第一步。

八、Sora讓路線更可信,但統一不同模態仍未解決

2024年2月,OpenAI發布能生成影片的Sora。楊植麟覺得生成式AI走到這種效果,方向上在預期之內,意外的是到來得更早。他尤其看重影片能在較長時間內保持一致,以及對複雜動作、逼真畫面的生成。按他的判斷,這可以提高影片生產效率,也可能讓模型學到文字以外的世界訊息。

但影片生成不等於通用智能已經完成。他認為Sora的重要突破,是證明可以用一定方式大規模擬合影片資料;未解決的問題則是統一架構。他提到的DiT這類影像生成架構,可以很好地處理視覺訊號,卻不表示它已能把語言、影像、聲音與行動放進通用計算框架。

讀Sora技術報告時,他不期待競爭者公開所有關鍵細節。但即使不完整,報告和展示效果仍能讓其他研究者少做一些摸索,得到原本需要花錢做實驗才會知道的訊息。判讀方法不是只照著報告重做,也要結合既有實驗,從效果與已知訊息形成新的判斷。他也保留了另一種可能:某些架構差異,在這個問題上未必像外界想像得那麼本質。

張小珺提出Yann LeCun對生成路線的反對:高維、連續的感官資料有大量不確定性,逐一生成像素可能浪費資源。楊植麟不同意。他把影片機率建模視為對原始世界的壓縮,把語言模型視為對人類行為的壓縮——文本已經包含人類大腦處理後的訊息,影片也可能包含創作者的智能。兩者可以結合,從不同角度學習世界。

對他來說,生成不是終點,好的生成可能表示模型已經很好地壓縮與理解資料。不過,他並未完整證明反方向:一個不能生成的模型,是否仍可能有很好的壓縮能力?他只說這點存疑,好的生成可能是好壓縮的必要條件。

他把Sora比作影片生成的GPT-3.5時刻,期待模型規模變大還能提高效果;同時也承認,不同模態統一在同一模型的做法,還沒有一個被充分驗證的架構。語言模型與影片模型若能結合,可能提升數位任務的端到端完成能力,也可能走向自動駕駛或家務等物理任務。但他說的是可能的橋梁,不是Sora當時已經能可靠完成這些工作。

九、他對擴大規模很有信心,對終點仍沒有答案

在2024年的規劃裡,楊植麟把下一步集中在兩個里程碑:建立能統一不同模態、可以擴大規模的世界模型;以及讓AI在沒有新增人類資料輸入的情況下持續進步。他預期兩至三年,甚至更快,可能取得相當進展,出現某種程度的通用智能。他認為推理與智能體能力會從這兩個根本問題的解決中發展出來。這些是當時的路線與時程預測。

對「一個通用模型處理所有事」和「多個專門小模型各司其職」的爭論,他選擇前者。中美的產品與商業生態可能不同,但他不預期通用能力會分成完全不一樣的底層路線;差異更可能建在共同通用能力之上。他也預期,中國公司若能用兩、三年累積技術基礎、人才與組織文化,可能在某些維度領先,而不是立刻全面追平。

他對預測下一個token、再擴大規模這條路線非常有信心,甚至把走到最後行不通的概率說成接近零。面對幻覺,他的回答仍是擴大規模,只是要擴大的東西不同;訪談沒有進一步交代具體方法。對AI安全,他把AI研究者Geoffrey Hinton的擔憂解讀為對技術能力將大幅提升有信心,也表示願意和不同社會角色合作,在模型上做更多安全措施,但並沒有提出完整的安全安排。

他還預期,未來最成功的AGI公司會比當時所有公司都大,但未必是OpenAI。這是他對技術與商業空間的判斷,沒有估值模型支撐。

公司在2024年有兩類目標:做出比2023年更好的模型,以及讓產品有更多成規模的用戶與黏性。他預期全球領先者仍會領先,下半年可能出現下一代模型與影片生成進步;中國則可能出現某些世界領先的新能力、更大用戶量的產品,以及進一步的產業整合。

訪談最後,張小珺問,如果現在拿到的是最後一筆錢,他會怎麼花?楊植麟沒有給出資金耗盡時的應對方案,只說希望這永遠不會發生,因為往後還需要很多錢。這是整套長期路線中沒有被解開的現實條件。

他最想知道的,仍是AGI的上限、它會形成怎樣的公司,以及那家公司能做出什麼產品。對自己的創業,他接受有失敗的概率。這件事已經改變他的生命,他對此充滿感激。強烈的技術信念與承認個人可能失敗,在這段回答裡同時存在。