ARM 怎麼變成全世界預設的晶片架構:Rene Haas 談軟體相容性、授權模式與 AI
- 講者
- Rene Haas
- 來源
- YouTube
- 原片日期
- 筆記日期
- 閱讀時間
- 約 27 分鐘
本文有 13 個章節
一顆當年只求省電、功能有限的處理器,為什麼後來從手機一路吃到汽車、家電和資料中心?ARM 執行長 Rene Haas 給的答案是:處理器的勝負由跑在上面的軟體決定,不由晶片本身的優劣決定。ARM 先靠低耗電拿下 x86 根本進不去的手機,再靠「只授權設計、不自己賣晶片、不准任何客戶改指令集」讓所有廠商的軟體互通,等到其他架構因為沒人投資而一個個消失,世界上就只剩 x86 和 ARM 兩個選擇。
Haas 在 ARM 十一年,之前是 NVIDIA 副總裁、直屬黃仁勳。這一集最早在 2024 年 12 月 2 日發佈,YouTube 版是 2025 年 4 月才上傳,所以文中的營收、市值都是 2024 年的狀況。
ARM 做的是「CPU 的設計」,而且幾乎所有數位裝置都在用
這場對談出自 Acquired 的訪談節目 ACQ2,提問的是兩位主持人 Ben 與 David。Haas 先用一句話定義公司:ARM 做 CPU,而 CPU 是每一台現代電子裝置的數位大腦,負責跑作業系統、應用程式,或是你看到的那塊螢幕。Ben 追問:我手機裡的 A18、Mac 裡的 M4 不是 Apple 做的嗎?Haas 往下拆一層。ARM 做的是指令集架構(instruction set architecture,簡稱 ISA,也就是軟體和處理器之間約定好的那套指令)以及 CPU 的設計,並用兩種方式交給客戶。第一種是只授權指令集架構,客戶自己設計一顆相容 ARM 的 CPU,Apple 走的就是這條路。第二種是 ARM 自己把 CPU 設計好,再授權給 Samsung、聯發科、Tesla、Qualcomm、Amazon 這類公司。所以 iPhone 和 MacBook 裡的處理器都是 ARM 架構。
至於一個家裡到底有多少 ARM,Haas 說很難給數字,改用自己家走一遍:開進車庫的 Audi,儀表板顯示、部分駕駛輔助、大概還有電動門鎖和車窗,用的是 ARM;Nest 門鈴攝影機是 ARM;LG 冰箱和 Wolf 爐具他敢保證裡面也有,大概負責顯示和爐溫控制;Samsung 電視跑的是某個版本的 Android,也是 ARM;PS5 裡大概有 ARM 在管顯示控制器和手把;Pixel 手機和 iPad 更不用說。Ben 估「家裡有上百個 ARM」,Haas 同意大概是上百個,家裡連網的東西越多就越多,並說要避開 ARM,幾乎得回去用純機械式控制的機器,因為「只要是數位的,我幾乎可以保證它是 ARM」。
Ben 補了一個他從 ARM 上一季財報簡報看到的數字:2024 會計年度估計出貨將近 290 億顆 ARM 架構晶片,等於過去十二個月替地球上每個人出了四顆。Haas 拿筆電當對照:筆電是人人想打進去的大市場,一年也就兩億台上下,只是 290 億的一小部分。除了家裡那八、九樣東西,飛機上有 ARM,機場顯示登機門和航班的螢幕後面也是 ARM。Ben 再加一句:連這些裝置背後連上的雲端服務,現在也跑在 ARM 上,這和十年前大家對 ARM 的印象完全相反,Haas 說沒錯。
起點是電池:第一個產品是 Apple Newton
Haas 說,公司三十多年前從英國劍橋起家,第一個被採用的產品是 Apple Newton,一台在網際網路、語音辨識、指紋辨識都還沒出現時就做出來的 PDA(掌上型個人數位助理)。裡面那顆 ARM 晶片有兩個要求。第一,它靠電池運作,所以一開始就得定義成低耗電。第二,效能和成本都很要緊:當時晶片的封裝有塑膠和陶瓷兩種,他說塑膠封裝在那時還很少見,陶瓷散熱好但是貴,而最早的設計指示之一就是「要能放進塑膠封裝」。所以從最早的 Arm1 開始,這個架構就是為了靠電池跑而定義的。
Ben 指出,那時幾乎所有運算都發生在插著電的電腦上,省電看起來沒那麼重要。Haas 用自己的經歷說明「能帶著走」在當年有多稀奇:第一次有人能拿著大型衛星電話不插電走上二十分鐘,感覺像魔術;任何稍微複雜的裝置能有三、四十分鐘續航,就被當成徹底改變局面的東西。他早年做現場應用工程師(field applications engineer,派駐在客戶端的技術支援),在客戶之間開車奔波,要找公用電話打回辦公室聽留言,留言內容往往只是「回我電話」「我不確定你問什麼」「我在忙」。後來車上有了電話,他們覺得那是生產力的終極躍進。
Ben 把整集的主線講明:一顆為了不快速耗光電池而設計、能力很受限的處理器,照理不會成為最先進運算的主流架構,結果它是。
RISC 比較有效率,卻沒有贏得 PC 時代
要理解 ARM,得先知道 RISC 和 CISC 的差別。Haas 說,RISC(精簡指令集)的概念他記得是加州大學柏克萊分校的教授 David Patterson 等人提出的。在那之前的處理器,像 x86 或 Motorola 的 68000,被歸為 CISC(複雜指令集):它們有非常多指令,而且因為先前寫好的軟體依賴這些指令,只能一路背下去。一條複雜指令要花好幾個時脈週期、做好幾個動作才執行完,電晶體運轉得比必要的多,電就這樣燒掉。
他打了一個比方。複雜指令像是「往前三步、往左兩步、斜向右兩步、再三步」這樣一整套動作。如果剛好有程式用得上這套動作,那很好,但多數程式用不上;偏偏只要有一支程式用了它,架構就得永遠保留它。RISC 的想法則是只留簡單動作,往前一步、往後一步、往左、往右,也就是加、減這類基本運算,再把它們有效率地組合起來。他自己說這個比方過度簡化了。Ben 從另一面補充:CISC 讓一條組合語言指令就能做很多事,例如同一個時脈週期內從記憶體取值、放進暫存器、相加再回傳,所以到處都得預留餘裕;早期 RISC 的一條指令只做一件事,「載入」就只是載入。
Haas 還補了兩個背景。一是當時的程式設計正從組合語言轉向 Fortran、Pascal、C、C++ 這些高階語言,編譯器把高階語言翻成底層指令時會用上那些笨重的指令,產生的程式碼更肥、更沒效率。二是當年記憶體很貴,RISC 的程式能放進比較小的記憶體,這本身就是好處。他把這段歷史大致放在 1970 到 1980 年代,並提到 MIPS 是最早的 RISC 處理器之一。他還注意到,那個年代累積的軟體遠沒有今天多,業界才有那麼多心力花在發明新的處理器技術上。
David 問了關鍵問題:CISC 配大型主機時代說得通,那 PC 時代應該是 RISC 的機會,為什麼 CISC 還是延續下來?Haas 的回答是 IBM PC。IBM 原本是什麼都自己做的電腦龍頭,軟體、服務、硬體一手包辦。1981 年它決定進入個人電腦市場時已經落後,Apple 和 TRS-80、Commodore 這些家用電腦都已經在賣。出人意料的是,IBM 沒有自己做處理器,也沒有自己做作業系統,而是把這個平台做成「開放」的。作業系統方面,它先找過 Gary Kildall 的公司(做 CP/M 的那家),最後選了 Microsoft;處理器方面,它也考慮過當時的霸主 Motorola,最後選了 Intel 的 8086。於是這台 IBM PC 一點也不像 IBM 的產品:外購記憶體、外購硬碟、Intel 處理器、Microsoft 作業系統。也正因如此,任何人買 Intel 的處理器、Conner 或 Maxtor 或 Seagate 的硬碟、台灣廠商的螢幕,再取得 DOS 授權,就能做出相容機。
接下來就是軟體相容性的力量。Lotus 1-2-3 這類早期程式都是針對 x86 寫的、針對 x86 最佳化的;整個 1980 年代,IBM 相容機市場越大,為這個平台寫的軟體越多。Haas 稱之為 CPU 架構「不可告人的小祕密」,原話是:
“A CPU is only as good as the software that’s written on it.”
一顆 CPU 有多好,全看寫在它上面的軟體有多好。
還要加上這些軟體能活多久。SPARC、MIPS、ARC、Tensilica、AMD 29000、68000、DEC Alpha,架構出現過很多,但決定存亡的是軟體。所以 x86 這個 CISC 架構成為事實標準,並不是因為有人判定 CISC 比較好;他說 RISC 大概真的比較好,但那不重要,IBM 一選了 8086,DOS 和後來的 Windows 都為它最佳化,事情就定了。
他順帶提到 Apple 是在這件事上轉彎最多次的公司:先用 Motorola 68000,再和 IBM、Motorola 組聯盟做 PowerPC(他形容那是有點 RISC 又有點 CISC 的混合體),每次轉換都是很大的成本,不過當年要搬的軟體量遠比今天少。他引用 NVIDIA 執行長黃仁勳在 ARM 自家 podcast 上說的一句話「software never dies」,軟體不會死,所以換架構永遠是苦工。
那要多大的好處才值得換?Haas 的說法是,任何可程式化的架構要讓人願意付出轉換成本,都需要在耗電或成本上有相當大的躍進。大家常說要有十倍優勢,他不確定是不是十倍,但絕對不是 15%。另一條路是從一個全新的領域開始,那裡需要既有架構做不到的東西。Newton 就是例子:x86 根本不是選項,用它做不出那個產品。Ben 提議,Apple 最後一代 Intel 版 MacBook Pro 和換成 M1 之後的 Geekbench 跑分差距,大概就是「留在原本的產品型態裡、只換一匹馬」所需要的門檻,Haas 說差不多。
不賣晶片,只收授權費和權利金
ARM 的第二個關鍵是商業模式,Haas 說這在今天大概做不出來,當年是對的時間、對的地點、對的策略,也有運氣成分。那時的處理器,x86、68000、AMD 29000 等等,全是垂直整合的,很多公司花大量人力設計自己的微處理器。ARM 的想法是:這件事很費工,而一顆微處理器和另一顆之間其實做不出多少差異,那就不要自己做晶片去擠一個已經很擁擠的市場,改成把設計授權出去,讓別人不用自己開發。
收費分兩段:先收一筆不高的授權費,等客戶量產出貨再抽權利金。Haas 把它叫做共享成功的模式,並把功勞歸給創辦團隊的 Robin Saxby 和 Tudor Brown。授權費可以看成研發支出的替代品:客戶本來就得花錢請工程師開發處理器,現在 ARM 已經做好了,這筆錢不是多花的。之後客戶賣得多,對客戶好,ARM 抽一個比例,對 ARM 也好。
現在回頭看理所當然,但 1990 年代初 ARM 起步時,讓這件事行得通的工具和流程都還很新:Synopsys 的高階設計語言、Cadence 那種能把別人的設計整合進自己流程的後段設計工具,都才剛出現。更大的問題是 ARM 沒有軟體,沒有應用程式生態,沒有作業系統跑在上面,早期很難建立黏著度。
從 Nokia 手機到 iPhone:兩次決定性的採用
讓公司站穩的第一個設計案,Haas 說又是一個天時地利的故事。1990 年代中期行動電話起飛,Texas Instruments(TI)是 2G、GSM 手機基頻晶片(負責無線通訊的晶片)的大供應商,需要一顆小型微處理器協助基頻晶片運作。這顆處理器不用跑任何應用程式,那時的 GSM 手機沒有應用程式,David 說得更直接:應用就是打電話本身。直接客戶是 TI,真正的大客戶是 Nokia,最早的 Nokia GSM 手機用的就是內含 ARM CPU 的 TI 晶片。TI 選 ARM 的理由是手上沒有像 ARM 這麼精巧的東西,而且 TI 產品的價值在無線電,不在處理器,沒有理由自己設計 CPU。Haas 說每家晶片公司回頭看都有一個讓它立足市場的設計,對 ARM 來說就是這一個。
兩位主持人各給了一個類比。David 想到台積電:同樣只拿下產業分工裡的一層,同樣不去碰 PC 那種大市場,從不起眼的小東西做起。Ben 想到 Windows:早期賺不多沒關係,一旦所有人都以你為標準,你在市場裡就有很大的力量。Haas 同意。打進 Nokia 手機之後,其他想做 GSM 基頻晶片的廠商也跟著用 ARM,ARM 成了事實標準。他坦白說這時靠的還不是軟體,因為根本沒有作業系統和應用程式,只是「它運作得不錯,耗電對,效能對」。後來 GSM 手機變聰明了一點,開始跑 Symbian 作業系統,才第一次有一群軟體開發者學著在 ARM 上開發,有了一點黏著度。
把 ARM 帶上另一個層次的是 iPhone,而這要從 iPod 講起。2000 年代初的第一代 iPod 選了 ARM,因為 ARM 這時已經有低耗電、又能跑小型作業系統和小型應用的名聲。那台 iPod 有一塊簡陋的螢幕、一個小作業系統、一個轉盤介面,就是一台迷你電腦。幾年後 Apple 開始考慮做手機或平板(先做哪一個有各種事後說法,Haas 認為不重要),必須決定處理器。Haas 說,業界流傳的說法是 Apple 確實和 Intel 談過,Intel 當時主推的是 Atom。Atom 是給小筆電(netbook)用的,Ben 回憶當時整個 PC 產業都認定小筆電是未來。Haas「恕我直言」地說,Atom 其實沒有那麼省電,也沒有那麼便宜,它是一顆大幅精簡的 x86。這是典型的創新者兩難:Intel 得從 Core i7、i5、i3、Pentium、Celeron 一路往下做到 Atom,給精簡的低功耗小筆電用還可以,給耗電要求更嚴的手機就不夠好。
但 Intel 在 Apple 內部正當紅。Apple 那時剛把 Mac 從 PowerPC 換到 x86,Ben 說光是讓原本為 Power 架構寫的程式改編譯到 Intel 就是編譯器上的奇蹟,Haas 說那是 Apple 好幾年的工夫。Tiger、Leopard 這些厚重的 Mac 作業系統都已經針對 Intel 最佳化,公司裡最大的事業建立在 Intel 加 Mac 作業系統上;另一邊只有一台跑 ARM、螢幕簡陋的小 iPod,Ben 說它基本上是嵌入式系統。David 補充,當時對新裝置作業系統的目標,就是在行動裝置上跑某個版本的 OS X,而 OS X 跑在 Intel 上。
Haas 描述他所理解的 2006、2007 年 Apple 內部爭論。省事的做法是用 Atom,把筆電和桌機的作業系統精簡之後搬到手機上,兩邊長得一樣,軟體比較好做。另一種做法是從 iPod 往上蓋,用 ARM,做一套和 Mac 作業系統不同的 iOS,理由是手機這個市場對效率和耗電的要求不一樣,從白紙開始、照對的方式做,最後產品會比較好,這是 iPod 團隊的立場。最後 iPod 團隊贏了。Ben 修正說其實是折衷:處理器用 ARM,但作業系統是拿 Mac OS 的核心,另寫編譯器讓它以 ARM 為目標。Haas 同意他們不是從零開始,是把東西砍掉、簡化再蓋起來,但對 ARM 來說這就是關鍵的設計案。
之後 Android 陣營很快跟上,Samsung、HTC 這些公司隨著 Andy Rubin 的 Android 起飛而採用 ARM,圍繞 Linux 的許多工作也已經在 ARM 上進行。iPhone 加上 Android 生態系,在 2007、2008 年前後讓 ARM 成為手機的事實標準。
「ARM 就是 Intel」,差別在供應商不只一家
Ben 問,那時 ARM 提供的到底是哪一樣東西,第一代 iPhone 的處理器又是誰做的。Haas 的回答是一句對照:
“If 1981 is 2007, ARM is Intel.”
如果把 1981 年換成 2007 年,ARM 就是 Intel。
也就是說,ARM 在 2007 年智慧型手機裡的位置,等於 Intel 在 1981 年 IBM PC 裡的位置。差別在於 Intel 自己製造 x86、自己擁有架構,ARM 則把架構授權給 Samsung 這類公司。他記得第一代 iPhone 的晶片是 Samsung 替 Apple 做的,後來 Apple 才轉到台積電;當年做 ARM 手機晶片的還有 Qualcomm,以及 NVIDIA,它的 Tegra 系列全是 ARM 架構。市場很擁擠,因為智慧型手機起飛,晶片商都有機會用 ARM 做手機晶片。
他再用 PC 的歷史對照一次:這就像 Intel 當年把 x86 授權出去。Intel 其實授權過,對象只有 AMD 一家,而且是被迫的。Haas 說如果他沒記錯,是 IBM 擔心 x86 這麼關鍵的零件只有單一來源,要求要有第二供應商。ARM 則從一開始就有多家來源,這個商業模式因此突然變得很有力。回到 Ben 的問題,如果把手機比成一鍋燉菜,ARM 提供的是最基本、沒有它就什麼都沒有的那樣東西,他說就當它是水吧:想進智慧型手機市場的人,沒有一個能繞過 ARM。
Ben 補上從客戶角度看的好處,也就是可攜性:Apple 設計下一代手機時,只要選了 ARM,就有一整片供應商可以挑,後來在收購 PA Semi 之後,連自己也成了選項之一。
授權收入、權利金,以及為什麼不准客戶加指令
在商業模式上,Haas 說早年到現在大致沒變,就是前期的授權費加上後面的權利金。公司剛起步時,多數客戶還沒量產,絕大部分營收來自授權;在晶片業,這對應的指標叫 design win(客戶決定在產品裡採用你的設計)。拿到很多 design win,表示很多人承諾採用這個架構,但還沒出貨,權利金要等量產才會進來。所以有很多年授權收入都比權利金多。樂觀地看,這表示只要熬到量產那天,未來很亮;David 說悲觀地看就是「這東西沒人用」,Haas 也承認,那等於一直在前端下注,不知道這些設計會不會真的問世。
授權本身有兩種。一種是授權 ARM 做好的核心,公司內部稱為 implementation,等於 ARM 把藍圖畫好,告訴你房子長這樣。Ben 確認這表示 ARM 內部有自己的晶片設計師,用 Cadence、Synopsys 的工具做布局,做的就是一般人想像中 NVIDIA 在做的那種事,Haas 說對。另一種是架構授權(architectural license):有些客戶認為自家硬體和軟體需要更緊密的配合,或相信自己的工程師能做出比 ARM 更高效能的設計,就拿這種授權自己實作 CPU。
這裡有一個常被誤解的地方:拿了架構授權的客戶,能不能加幾條別人沒有的特殊指令,取得獨門優勢?不能。Haas 解釋原因:假設客戶 A 有一條「加速」指令,客戶 B 有「加速兩倍」,客戶 C 有「加速三倍」,替 ARM 寫軟體的開發者不會去用那條三倍指令,因為他不知道是不是每台機器都有。結果大家只會用所有晶片共有的部分,ARM 內部稱之為最小公分母做法,那些特殊指令等於白做。所以 ARM 從早期就堅持、他接手後也維持的原則是:絕不破壞指令集架構,不讓客戶加自訂指令,因為一加就破壞軟體相容性,而相容性正是 ARM 的超能力之一。他再拿 PC 對照:x86 在 IBM PC 上那麼黏,是因為 Intel 是唯一的來源,軟體當然都能跑;Compaq、Dell 這些相容機廠商能複製 PC,也是因為軟體直接能跑,做不到這點就不可能成功。所以架構授權真正允許的,只是客戶自己做一份實作。
他接著說,這種授權以前簽得很多,現在已經很少人做了。它很難,而且就算做出 10% 到 15%、甚至只有 5% 的優勢,投資報酬也不高。與其讓三、四百個工程師去設計一顆本來就能向 ARM 買到的 CPU,不如把這些人放去做只有自己有的東西。(Haas 第一次說成「三、四個工程師」,David 當場糾正,Haas 改口說至少三、四百人。)David 的總結是,現在對幾乎所有客戶來說,跨廠商、跨應用的軟體相容性太值錢,根本不會有人考慮去改指令集。
CPU 的墳場:為什麼最後只剩 x86 和 ARM
Haas 認為過去十五到二十年 CPU 產業有一件事常被忽略。1980 到 1990 年代初有過很多微處理器:68000、PowerPC、AMD 29000、DEC Alpha、SPARC。它們的效能和設計都很好,卻都進了他所說的「CPU 墳場」。原因還是軟體:一旦軟體的飛輪在某個架構上轉起來,做新硬體的人就不會去選那些沒有軟體可用的架構,它們只能慢慢凋零。
網際網路興起,尤其網路泡沫時期及之後,大量資金湧進軟體公司,後來又有 SaaS、訂閱、經常性收入這些模式。這帶來兩個結果。一是軟體的創新和投資越來越多,各種複雜的軟體堆疊跑在雲端、網路交換器、汽車裡。二是同一時間,半導體的投資萎縮了(他補充現在情況有一點改變),創投的錢很少流向半導體新創,而新創正是新運算架構(包括 CPU)冒出來的土壤。他自己待過最後一批拿到資金的 CPU 新創之一 Tensilica:一群 Synopsys 和 MIPS 出身的人做可配置處理器,讓客戶能加上自己的擴充指令。他記得公司大約 1997 年成立,自己 2004 年離開,公司後來被 Cadence 買下,他記得是 2012 年;出貨的核心很多,照他的說法是數以億計、也許超過十億顆。Tensilica 和做同樣事情的 ARC 之後,CPU 新創幾乎沒有人投資了。Ben 說這是矽谷這個名字最大的諷刺:做矽的新創在矽谷募不到創投的錢。
一邊是架構一個個凋零,一邊是巨量資金投進軟體和雲端,最後真正留下來的架構只有兩個:存在四十多年的 x86,和 ARM。資料中心為什麼用 ARM,Haas 歸納成三點。一,資料中心跑的負載極大,不管是一般運算,還是現在的 AI 加速運算,能源效率變得極其重要,而 ARM 是很好的低功耗架構。二,已經有非常多軟體創新是在 ARM 上完成的。三,因為投資萎縮,其他選項消失了,現在不是有十七個架構可以挑。
Ben 說第三點聽起來像「剩者為王」,幾乎是套套邏輯:對手都倒了,總有人會剩下。Haas 不同意這個讀法。他說這不是市場無趣所以只剩一家,恰好相反,市場從來沒有這麼有意思過;選項少是因為軟體所需的投資太龐大。今天如果有人說要用 Motorola 68000 架構做一顆系統單晶片,有什麼軟體能跑在上面?David 把它類比成晶圓代工:所需投資大到最後先進製程只剩台積電和 Samsung 等少數幾家。Haas 說兩者確實相似,但錢的形式不同。晶圓廠是直接的資本支出,蓋一座 2 奈米以後的廠要 300 到 350 億美元。ARM 這邊沒有那種支出,可是有兩千多萬名開發者長年在 ARM 上開發所累積的投入,新架構得把這一整塊扳過來。
被問到 x86 還有什麼位置,Haas 講的幾乎全是 ARM 的優勢
Ben 請 Haas 盡量誠實地評估:x86 還適合哪些地方?整個世界都該換成 ARM 嗎,還是各有用途?Haas 說他會努力不偏頗,雖然他的職位就是 ARM 執行長,然後列出對 ARM 有利的事。
第一是開放模式:ARM 的產品可以由任何晶片公司、在任何晶圓廠生產。x86 只有兩家在做,AMD 交給台積電生產,Intel 自己生產(他補充 Intel 現在也有不少東西在台積電做)。選 x86 不只是押這兩家公司,還得指望它們晶片周邊的技術,像通訊、加速運算、網路儲存,都能做到位。有人會問 Intel 和 AMD 為什麼不乾脆把 x86 授權出去,他說那套打法也許很久以前就該做了。Ben 指出,原本做高毛利生意的公司很難轉去做低毛利的模式,Haas 說正是如此,ARM 的出身完全不同,所以光是模式就占很大優勢。
第二是資料中心。Microsoft、Google、AWS 都有自己的 ARM 客製晶片,Haas 說它們都公開談過在同條件比較下得到約 60% 的效能好處。他強調這不只來自 ARM 指令集、不只因為 ARM 比 x86 有效率,而是因為它們可以做一顆客製的系統單晶片,搭配自己要的記憶體、儲存、刀鋒伺服器、內部連接和卸載運算的設計,從總持有成本來看彈性極大,可以做出剛好適合 Azure、GCP 或 AWS 自家機房的東西。這些雲端大廠的規模和支出夠大,做客製晶片才划算。x86 做不到這點,David 說你去找 Intel,它只會說「這是我的產品」,其餘要你自己拼。
ARM 這邊則是兩種都有:有 Ampere 這種賣標準產品的公司,也有客製路線,還有 NVIDIA 的 ARM 架構 CPU Grace。Grace 現在越來越常和 Blackwell GPU 高度整合成 Grace Blackwell 一起出貨。為什麼不是 Intel 或 AMD 的 CPU 配 Blackwell?Haas 說看 NVIDIA 用 NVLink 把 CPU 和 GPU 耦合在一起的方式,以及高頻寬記憶體(HBM)和 CPU 記憶體之間的介面,那在 x86 的世界做不到。另一個好處是 Grace 能跑作業系統的所有主要部分,原本為 ARM 一般運算寫的軟體堆疊,可以直接在 AI 叢集裡跑。
講到這裡他自己笑說,本來是要談 x86 的位置,結果一直在講 ARM。對於「x86 還適合哪裡」,他最後只留下一句「難」。所以這個問題在節目裡其實沒有得到正面回答。
市場為什麼這麼看好:AI 讓運算再也沒有「夠用了」的時候
Ben 把話題拉到現在,先給數字:錄音時的上一季營收是 9.39 億美元,年化大約 40 億美元,而市值約 1,500 億美元。(Ben 在開場交代過公司的身世:ARM 原本是上市公司,2016 年被 SoftBank 買下而下市,錄音的前一年重新上市。)為什麼投資人這麼樂觀?
Haas 說這要回到前面講的基本優勢,技術面有,但更重要的是對 ARM 有利的市場力量。每年出貨的晶片越來越多,其中用 ARM 的比例越來越高;他家裡那些例子,車、攝影機、爐具,所在的終端市場都在成長。上市以來大家更興奮,他猜是因為 AI 帶來新一層的運算需求。
他知道有人會沒完沒了地爭論「花 40 美元買 Copilot,我真的回本了嗎」這類短期經濟帳(Ben 笑他講話像 Salesforce 執行長 Marc Benioff)。他認為用短期經濟模型看 AI 是看錯方向,應該拿汽車、工業革命、智慧型手機革命、網際網路革命來類比。對 ARM 來說重點是 AI 需要更高一級的運算能力,而且不只是訓練下一代大型語言模型或影片模型所需的龐大運算,還有把這些模型拿來用的推論:在車上、爐具上、耳機上、穿戴裝置上,到處都要跑推論,全都需要運算。
他在 NVIDIA 時,同事們常談一件事:對做運算或加速運算的公司來說,喪鐘是什麼?是市場覺得「夠用了」。Haas 1984 年畢業後進 TI,入行至今經歷過幾次這種時期,他覺得 2000 年代末到 2010 年代初就是,小筆電正是「夠用了」的代表:當時看不出有什麼應用需要更多運算,於是大家做出一台 199 美元的陽春電腦,因為它能做大電腦做的所有事。那種時期運算創新會慢下來,雖然從沒停過。而 AI 在可見的未來看起來幾乎沒有盡頭,想想它在教育、藥物研究、投資上可能帶來的好處。所以他的判斷是,不論在資料中心、汽車、手機還是穿戴裝置,AI 運算總會以某種形式經過 ARM。David 借 Bezos 的話類比:他無法想像顧客會說「真希望這個再貴一點」,同樣也無法想像有人說「真希望 GPT-7 再笨一點」。
Haas 甚至說,他樂見有人抱怨「我還沒從 AI 得到什麼好處」,因為那代表創新的空間很大。原因之一是今天的硬體,尤其終端裝置上的硬體,是幾年前設計的,那時根本沒有在本機跑大型語言模型的需求,所以現在到處都是沒有為 AI 最佳化過的架構,他把這看成一大片運算上的空白地帶。最後回到估值:半導體到這個十年結束時會是一兆美元的市場,ARM 現在的營收是 40 億美元,以這家公司的重要性,他認為將來某個時候「大概可以」從那一兆裡拿到更大的一塊。
GPU 當紅對 CPU 是好事
Ben 提出一個他覺得近乎矛盾的地方:ARM 自稱做 CPU 的公司,可是過去五到十年整個產業,包括他和 David 自己做的 NVIDIA 節目,都著迷於 GPU 和加速運算,想把工作從 CPU 搬到 GPU。他聽過 Haas 的一個說法:歷史上,跑到加速器上的用途往往會慢慢搬回 CPU,CPU 的定義也跟著變。
Haas 的立場是,加速運算和 GPU 的興起對 ARM 再好不過,因為它說明運算需求很大,而且需要基礎運算加上加速運算一起跑。他遇過投資人問「什麼都搬到 GPU 了,還需要 CPU 嗎」,他說這就像在問:我的引擎從 V6 換成 V8 了,是不是就不需要輪胎和方向盤?從架構上想就知道不合理。他也講明,目前這波加速運算主要發生在資料中心。
這對 CPU 有利的原因有兩個。第一,這些資料中心顯然都需要 CPU,Grace Blackwell 就是例子。第二更重要:訓練出來的模型最後都要變成推論。他的比喻是,訓練是老師,推論是學生,而世界上學生遠比老師多,所以推論的工作量會遠多於訓練,而且會跑在各種最小的裝置上,穿戴裝置、頭戴裝置、擴增實境。你不可能把一顆 100 瓦的 GPU 戴在頭上,這類裝置必須是完全不同的形態,而裡面一定有 CPU,因為加速器旁邊總得有東西負責跑主系統。
ARM 可以用幾種方式接這個需求。一是在 CPU 裡加進更多幫助 AI 加速的擴充指令,這現在就在做。二是加一個小型 AI 加速器,例如 ARM 現有的 Ethos NPU(神經網路處理器),算力是 4 TOPS、8 TOPS 這個等級(TOPS 是衡量 AI 晶片算力的單位),用來分擔一部分工作。他預期的模式是終端裝置和雲端搭配,一部分在本機處理,一部分送雲端;本機還需要安全、身分驗證與證明機制,讓模型知道是你本人,資料也只屬於你。他的結論是,「只有資料中心裡的大 GPU 才能跑運算」不是世界運作的方式。
NVIDIA 曾想買下 ARM,這件事本身就是證據
Haas 接著提醒:黃仁勳把 NVIDIA 經營得很出色,但別忘了他曾經想買 ARM。當時 ARM 年營收約 20 億美元,NVIDIA 約 250 億美元(Ben 以為是市值,Haas 澄清是營收)。黃仁勳不是為了增加營收而買,是知道 ARM 對整個產業的重要性。
細節是這樣:NVIDIA 在 2020 年出價 400 億美元。Haas 說當時 NVIDIA 的市值大約 3,500 到 4,000 億美元,遠不及現在。那時 ARM 還沒重新上市,核心業務的轉型也還沒真正開始。SoftBank 在 2016 年以 320 億美元買下 ARM,等於四年後只多一點、以 400 億美元賣出。當時很多人批評 NVIDIA 出價太高,理由是 ARM 不算成長型公司。現在回頭看,這個批評顯得可笑;Haas 說「他們」的市值大概是當時的十倍、營收四倍,但沒有講清楚指的是哪一家。
除了嫌貴,還有很多人根本反對這筆交易,監管機關、客戶、生態系夥伴都有。Haas 的解讀是,這種反對繞了一圈反而說明 ARM 比外界原本以為的重要。Ben 認為這是監管做對了的例子:ARM 是服務一大群客戶的水平供應商,對整個產業不可或缺,而其中一個客戶想把它整個買走,長期下來其他客戶多半拿不到同等的待遇。
Haas 說他從這件事學到很多併購和監管的事。這是一樁垂直合併,不是水平合併;垂直合併通常只有在它會封閉某個市場或壓抑某個市場的競爭時才會被反對。當時 ARM 的營收主要來自智慧型手機,NVIDIA 不是手機公司,所以推動交易的團隊原本判斷,這不違反垂直整合的審查原則,加上監管機關一向重視近期影響多於長期影響,應該過得了。結果監管機關這次看的偏偏是長期可能發生什麼,而不是近期會發生什麼。
David 問 Haas,NVIDIA 是做 PC 顯示卡起家的,PC 和它後來轉進的資料中心都是 x86 的天下,它是什麼時候開始認真看待 ARM 的?Haas 在 NVIDIA 工作時,公司明確轉向用 Tegra 加速行動業務,並擴大所有和 ARM 有關的投入。NVIDIA 買過一家叫 PortalPlayer 的公司,它替 iPod 做音訊晶片;NVIDIA 也替 Microsoft 的 Zune 做過系統單晶片,還碰過 Windows CE 等各種 ARM 架構的東西。真正讓 NVIDIA 加碼的有兩件事。一是智慧型手機起飛。二是大約 2009 年 Microsoft 承諾做 Windows on Arm,NVIDIA 因為和 Windows 生態系、PC 遊戲的長年淵源,認為自己很有機會;Haas 當時負責 NVIDIA 全部筆電業務,也就親自接下 Windows on Arm。Ben 說 Windows on Arm 要是成了又是一個奇蹟,幾十年專為 x86 寫的東西都要能轉過來。Haas 說現在很多原生軟體已經移植到 ARM,這得益於行動裝置,例如 iPad 上的 Office。
他離開 NVIDIA 之後,ARM 成為 NVIDIA 在車用上的預設平台:NVIDIA DRIVE 平台和機器人相關的東西全是 ARM 架構,用到加速運算的整套軟體堆疊都跑在 ARM 上。他說這也是 ARM 在車用這麼強的原因,Renesas、NVIDIA、Qualcomm 的車用軟體堆疊現在很多都原生跑在 ARM 上。所以 NVIDIA 對 ARM 的投入順序是 Tegra、Windows、車用,再來才是起飛的資料中心,而 Grace Hopper 和現在的 Grace Blackwell 的架構方式,給了 NVIDIA 用其他辦法得不到的創新空間。
Compute subsystems:把樂高先拼好再交給客戶
最後 Ben 問到他眼中 ARM 的策略演變:compute subsystems(運算子系統)是什麼,怎麼來的。
Haas 說這是矽智財授權模式的自然延伸。他先修正自己開場那句「我們做 CPU」說得太簡化,ARM 還有別的產品:GPU、給 AI 用的 NPU,以及做伺服器晶片所需的複雜內部連接 CMN(coherent mesh network)。CMN 是管線:一顆系統單晶片如果有 128 個 CPU,需要這種網狀網路把 CPU 彼此連起來,再接上記憶體。
他用上市路演時用過的比喻:這些產品像一塊塊分開的樂高。對很厲害的客戶,把積木給他們,他們自己拼得出漂亮的自由女神像。ARM 也可以說:照這個方式全部接起來,你會比自己從頭拼快得多拿到自由女神像。運算子系統就是後者。ARM 把 128 個 CPU、網狀網路、其他控制器和記憶體介面接在一起,並且驗證過整體功能正確,客戶放進自己的設計就能運作,可以省下三個月、六個月甚至九個月的工程時間,產品更早上市。ARM 還可以再深入一層,和台積電、Samsung 或 Intel 這些製造廠合作,向客戶保證:照這種方式、這些條件製造,可以達到 4.4 GHz 的運作頻率。他形容這幾乎是一顆虛擬的晶片組,還沒到真正做出晶片,但很接近。
Ben 說這是從指令集、到設計、再到整套方案的大量整合和「綁售」。Haas 說他寧可稱為「包裝」而不是綁售,目的是讓客戶快很多上市;對 ARM 的好處是能更早開始做軟體原型。他的理由是,把 CPU 接起來、把 ARM 交付的矽智財整合好,對終端客戶不算加值:做手機晶片的客戶想專心在影像訊號處理器和相機,雲端客戶想專心在加速器或類比輸出入。而只要是和運算本身、跑系統主要軟體的部分、以及它在某座晶圓廠能有多少效能有關,ARM 大概最有資格定義最佳結果。
Ben 順勢問了最後一題:既然已經有一份怎麼做出好晶片的參考設計,我們會不會看到 ARM 打電話給台積電,說幫我做幾百萬顆?Haas 的回答只有一句:
“Nothing I can say about that today.”
這件事我今天什麼都不能說。