筆記

每家公司都要像實驗室團隊那樣運作:Google Labs 負責人 Josh Woodward 的做法

講者
Josh Woodward
原片日期
筆記日期
閱讀時間
約 20 分鐘
本文有 17 個章節

底層模型變化這麼快,一家公司怎麼比對手和新創更早發現「現在做得到什麼」?Google Labs 負責人 Josh Woodward 同意每家公司都需要一組專門待在技術前緣的人,但他強調難處在細節:這組人要有獨立的空間、要清楚自己是為使用者和母公司服務而不是為自己,還要有人能把「現在看起來像玩具」的東西接回公司主業。大公司設的實驗室多半三到四年就無聲無息,通常就敗在最後這一步。

Josh 在 Google 超過 16 年,目前同時負責 Google Labs、Gemini app 與 AI Studio。主持人 Lenny Rachitsky 這集的前提是「每家公司都被迫像 labs 團隊那樣思考和運作」,整場訪談就是請 Josh 拆解 Labs 過去四、五年怎麼找點子、判斷去留、挑人和排節奏。

好點子很少來自排好的腦力激盪

Josh 說他希望有標準答案,但 Labs 的好點子來源很雜,他歸納出三個觀察。

第一,要一直保持警覺,留意任何抓住你目光的東西。第二,好點子很少出現在常規場合。在他的經驗裡,它們極少來自設計衝刺(design sprint)或行事曆上排好「今天來想下一個點子」的時段,而是出現在走廊閒聊、週末,或者長假期間:Labs 很多人放假時忍不住動手做東西,回來丟一段影片說「你看這個」。他的說法是:

“You can’t microwave good ideas.”

好點子沒辦法用微波爐加熱出來。

第三,有時重點不在點子,而在「誰是有意思的人」,以及他們手上有哪些小小的副專案和熱情所在,再替這些人創造化學反應。NotebookLM、Flow、AI Studio、Google Beam 這些產品,起點都是很小的一群人,對某件事著迷、非常好奇,而且停不下來。主管的工作是創造一個能讓這種事發生的空間,然後保持警覺,看到了就把它往前推。

列一張「快要做得到」的清單,再配上 82 條對未來的預測

Lenny 追問創辦人或大公司的人可以怎麼複製這些條件。Josh 的答案是先把自己帶到前緣:一邊玩模型,一邊看有哪些體驗剛剛變得可行。團隊有個說法叫「almost possible」(快要做得到),並且真的維護一張清單在追蹤。某一項跨過門檻時,像物質發生相變,你會意識到「這個剛剛變成可能了」。他說兩天前才看到一個這樣的例子,到現在還一直在想,但還不能公開。一旦確認某件事跨過去了,他們就想辦法湊一組人直接開始。

不過光有技術不夠,還要對上一個有意思的使用者問題,而且最好好到讓人願意付錢。這三樣的組合是他們很早就開始找的。

清單上有什麼?Josh 只肯講方向。Labs 會做思想實驗:某個領域的未來長什麼樣,例如軟體設計與開發、創作、工作與知識。他們目前盯得很緊的是娛樂,尤其是沉浸式娛樂,底下列了一串條件:模型的延遲降到多少、支援多少語言、多少種模態,就能開始做什麼。另一半功課是行為和趨勢往哪走。有些在灣區就能觀察,但他一直在想怎麼讓團隊走到灣區以外很遠的地方,去其他城市、教室,去「挖」點子和行為變化。

他提到一份內部文件,裡面有 82 條預測,全都以「我們相信未來是……」或「我們預測……」開頭。他說做一條預測都危險,何況 82 條,而且十條裡會錯九條,甚至 9.9 條。但他認為你必須對未來有觀點。「追逐未來」是團隊的價值觀之一,方法是把自己丟出去,試著先活在未來裡一點。

判斷點子值不值得做:讓你興奮只是起點

什麼訊號表示一個點子值得押?Josh 說,當你有清單、又在想未來的時候,看到讓你驚訝或特別感興趣的東西,而且能向自己說清楚為什麼,那就是他用的訊號。48 小時前那個 demo 讓他離開時覺得「太令人興奮了」。

Lenny 反駁這個門檻太低,現在什麼都很神奇。Josh 同意:興奮多半是技術面的事,現在每隔一天、甚至每小時都有炫目的 demo。所以接著要想的是使用者行為,有沒有普世的需求,或者行為正在轉變。變現上則是問:能不能找到一群「沒有它活不下去」的人,價值高到他們真的會付錢。

他舉了兩個例子。第一次聽到 NotebookLM 的 podcast 時,他還記得自己站在哪裡,是某個星期二傍晚六點半左右,兩位同事跑來說「你一定要聽這個」。內容是英國國會辯論紀錄,不是什麼引人入勝的材料,但兩個 AI 主持人講得真的有趣,他們當下就覺得非做點什麼不可。另一個是他第一次看到 Google Flow 做出來的東西。在 Flow 之前他們有個專案叫 Whisk,可以把多張圖像「攪」在一起再做成動畫,那種控制力和創作表達以前做不到,而它把這件事變得人人可用。

他也補充,同樣有很多次是大家很興奮、做出產品,結果就是不好。這件事有一部分是數量遊戲。

產品市場契合:早期看的是眼睛,不是數據

Josh 說這件事最棘手的地方在於它遠比較像藝術而不是科學。他們很會做實驗、用數據決策、訂 OKR,但早期有時就只是團隊裡幾個人有信念,覺得未來會長這樣,卻解釋不出來。他承認這種建議沒什麼用,所以給了比較具體的三點。

第一是走出辦公室,直接把原型拿給人看。這時他看的是對方的眼睛:

“And like, that is the metric.”

那就是指標。

不是日活躍、不是日活躍除以月活躍、不是七日回訪。就是問對方「你看到這個了嗎?你覺得怎樣?」然後看他眼睛有沒有亮起來、身體有沒有往前傾。Lenny 說他聽過別人形容這是「瞳孔放大」。Josh 說你其實分得出來對方是樂在其中,還是你正在給他看一個蠢產品而他無聊得要命。關鍵是有沒有戳到他生活裡的痛點,讓他說出「我想要那個」。

第二是愛上問題,不要愛上產品。他的經驗是要轉向三、四、五次,才會要嘛做出東西,要嘛確定不行。先愛上某個具體解法的人,下場通常不好。

第三,大家說有了產品市場契合你自己會知道,他認為是真的。過去一年左右,Nano Banana 在 Gemini 上爆紅、NotebookLM 的 podcast 走紅,Flow、Stitch 等專案也各有小高峰,那種時候整個團隊就是全員撲上去、死命抓住,又累又好玩。

什麼時候該收掉:團隊通常比主管先知道

有些團隊等著主管來做決定,Josh 的發現正好相反:

“The team usually knows before the leader knows.”

團隊通常比主管先知道。

訊號是熱情開始耗盡,能想到的都試過了還是不行。他說人知道一個專案不行,就像知道一段關係不行。所以主管該做的,是創造一個可以問不舒服問題、可以說「我覺得這個行不通」的環境。

他舉了前一天的例子。Gemini 有個他們很期待、準備上線的功能,早期數據回來了,也有人出去看過使用者的眼睛,結果就是沒有那個反應。負責的產品經理說「我覺得不該上,它不夠好」。Josh 很以她為榮,回覆全體說「這很棒,謝謝妳這樣做」。他說自己很信任團隊,因為每天在推這件事的是他們;他們說推不動,那就換個方向。

同時管 Labs 和十億用戶的 Gemini,以及 Labs 現在的範圍

Lenny 好奇為什麼從零到一的 Labs 和全球超過十億用戶的 Gemini app 會放在同一個人底下。Josh 說規模確實是兩個極端。他們在 Labs 開玩笑說,早期專案有一萬個月活躍用戶就很興奮,而公司其他產品的儀表板根本不會顯示這麼小的數字。

但他認為兩邊有三個共通點。一是被吸引來的人很像:Gemini 規模雖大,骨子裡仍然是從零到一的心跳。二是大家都是 AI 狂,愛這些東西,一直在做。三是團隊排優先順序的口訣相同:使用者第一、Google 第二、自己的產品第三。他們不為自己團隊做事,自認是 Google 隊的一員,最終問的是產品另一端有沒有人喜歡它。

Labs 現在的專案全都由 AI 驅動。四、五年前剛開始時還探索過其他領域,後來決定在可預見的未來全押 AI。但不只做軟體,例如 Google Beam 像一面魔鏡,能做出對方的 3D 影像,讓你像和全像投影對話;他說可以把它看成某種 AI 硬體。

消費性產品的機會,以及為什麼 Google 自己沒把 Gmail 資料用好

Lenny 說過去大家覺得消費性產品已死,沒人打得過 Facebook 和 Google,但 AI 似乎打開了空間。Josh 的感覺完全相反,他認為消費性產品現在是最刺激、競爭最激烈的地方,並點了三個方向。

一是娛樂會往哪走:我們會永遠看各種動態消息流嗎?這項技術能不能讓人在真實世界更靠近、和別人一起做事?未來是更圍繞機器人還是更圍繞人,看法不一。二是訊息和聊天這個原本以為已經定型的領域,Google 內外都有很多實驗在進行,已經不像以前那樣固定。三是回到人面對的大問題,想想什麼是真正稀缺的:在世上的時間、手上的錢和怎麼省錢、以及人們能在現實中一起擁有的回憶與體驗。他認為針對這些還有新的消費性產品可以做,至於形態是聊天機器人、個人 agent 還是別的,很多還沒被發明出來。

Lenny 接著問了他自己說很尖銳的問題:現在每個新的 AI 助理都在吸 Gmail、Google 日曆、Docs 的資料,接起來做出神奇的事,Google 自己卻做不到。是隱私顧慮、組織官僚,還是快來了?

Josh 說其實已經有一部分做出來了:在 Gemini 裡可以把這些資料接起來,而且相當強大。他們還在改的是介面。過去連競爭對手的產品都要你切進不同模式,而最近幾週學到的教訓是丟掉模式和開關,只留一個輸入框,說你要什麼,它就去做。他認為這是整個產業都在發生的介面簡化。

資料方面,最常有人私訊他的抱怨正是「我所有東西都在 Google,拜託讓它能用」,而且很多使用者其實不太願意把資料接到競爭對手的產品上。他請大家持續關注,說他們聽得很清楚。這個方向他們稱為 personal intelligence:一個個人化、主動、強大、替你做事的 Gemini,這是過去一年左右的願景,有不少正在試的東西很快會推出。Lenny 補充,Google 的優勢是通路,東西一旦做出來,要讓人用起來很容易,他舉 Google 搜尋裡的 AI Mode 為例。

被低估的是價值觀討論,被高估的是模型跑分

被問到 AI 領域什麼被低估,Josh 說他夏天寫了一份內部文件談 Labs 的原則:他們為什麼做、怎麼做現在做的東西。他認為被低估的正是關於原則和價值觀的討論。不論你在 Google 還是新創,你是透過產品說話的,產品會把你的原則寫進去。他希望業界多談「我們想做出什麼、想要什麼樣的未來」。

被高估的,他說自己講了一年了還是這個答案:模型跑分(benchmark)。他的很多朋友和各家實驗室大多還盯著同一組跑分,但他認為:

“most people in the world are never, ever, ever going to care about an Elo rating.”

世界上大多數人永遠、永遠、永遠不會在乎 Elo 分數。

他們可能連 Elo 怎麼念都不知道。現在 AI 圈談的多是速度、規格和跑分,這些固然是能力的代理指標,但整個產業有時轉過頭,忘了問這東西對人為什麼有用、哪個產品或功能能真正幫到人。

Lenny 附和說,實際上也很難分辨什麼叫更好:每次新模型都號稱史上最強、號稱 AGI 到了,用起來卻和上一個差不多。Josh 藉此對聽眾喊話:拜託想出好產品。所有模型能力和跑分最終都要轉換成「你能不能做出人們想要的東西」。對做產品的人來說這是最好的時代,因為「快要做得到」變成「做得到」的菜單每週都在變長。Lenny 提到他最近和 OpenAI 一位來賓也談到同一點:既然什麼都做得出來,該問的是我們希望世界長什麼樣,也許有些事不必做。

正在升值的能力:忘掉所學的速度、爆發式耐力、建立信任

Josh 說品味、判斷力、vibe coding 這些已經有很多人談,他想找的是被錯估價值的訊號,並舉了三個。

第一是 unlearning rate(忘掉所學的速度)。大家常問一個人的學習速度、有沒有成長心態,他現在更看重的是:這個人學會一件事之後,能多快根據測試產品時看到的情況放下它。

第二是 explosive endurance(爆發式耐力)。這個詞來自他一年多前讀的一本談網球名將 Roger Federer 的書。意思是人能不能照顧好自己和身邊的人,衝的時候非常猛,卻能長時間維持,懂得調配節奏。

第三是協作。雖然寫程式等工作正走向一個人指揮很多 agent、不必和那麼多人共事,他認為與人合作的方式反而更重要。他們很看重一個人能不能同時是 agent(或一群 agent)的出色協作者,也是人的出色協作者。Labs 和 Gemini 團隊相信和人一起工作仍然有很多樂趣,問題在於找到對的化學反應。所以他一直在找的訊號是:這個人能多快和別人建立信任,並把信任擴大出去,那是所有好協作的基礎。

為什麼這在 AI 時代更重要?他說有一個理由是 Google 特有的(組織大),另一個則不是:做產品的執行成本下降,產品會變多,人會和不同的人組隊做東西。Labs 以前組一個新專案大約五到七人,現在是兩到三人,頂多四人。他把這些人比作很有才華的樂手,和不同的人搭檔演奏不同的曲子,曲子就是產品。Labs 裡最有價值的人,是可以被放進任何組合的人,例如一位也能寫程式、做設計的產品經理,然後看他和別人怎麼即興合奏。他預測這項能力會越來越重要,因為產品會更多,這種像自由球員般一起即興的合作也會更多。

職能在變模糊,但每個人仍然要有主修

Lenny 問產品、設計、工程三種職能裡,誰現在最能帶產品點子。Josh 說他們一直在研究和測試這件事。整體而言,產品經理這個職能可能因為本來就比較橫向,適應其他職能的速度比較快;他們在公司內跑小型的 builder 試點時也看到同樣的結果。他的解釋是產品經理本來就習慣在會議裡「模擬」律師、商務拓展或業務的立場,會選擇做這份工作的人或許本來就有這種傾向。

但他強調最好的人可以來自任何職能,而且範圍比這三種更廣:策略營運、商務拓展、行銷的人在 Labs 當 builder,做得非常好。

他順勢提了另一個被高估的說法:「人人都是 builder,這是一種新職務,大家都差不多」。他們實際看到的是每個人仍有專長,像大學的主修和副修。如果每個人都只叫 builder,就可能失去對各專業的尊重、欣賞,以及專業本身。所以即使某個團隊定位成 builder 小組,他們組隊時仍會想清楚專長分布在哪裡,這一點最後非常重要。

他給團隊裡新進產品經理(例如 APM 或職涯早期的人)的建議是:你在 vibe coding、做了一堆原型,很好,但那是為了讓你成為一位出色的產品經理。不要丟掉主修,尤其在職涯早期,那正是你該磨的東西。

用「季節」排節奏:把衝刺期說出口,也把鬆的時候說出口

Lenny 提到現在科技業人人都處在「既是馬拉松又是衝刺」的狀態,問他怎麼幫團隊撐住。

Josh 說 Labs 用「季節」來想這件事。任何時點都有 20 到 30 個實驗同時在跑,但他們會替每個小團隊設里程碑、建立工作的節奏。有些時候就是全力衝刺,而他當主管學到最好的一課,是把這件事講出來、正式宣告,讓人選擇加入或退出;同樣要講清楚的是團隊什麼時候「不在」那個模式。例如有個大模型要來,五個產品對展示這個模型很重要,那就明講這五個團隊現在是爆發期。他認為產品經理如果能替這種狀態想出簡稱或共同語言,會很有效,所以他們在這上面花了不少心思。

相反的時段也要安排。很多 Labs 團隊會為 Google I/O 衝刺,I/O 之後的六月就是「去亂玩、去重新發現有什麼新東西、去做、去開心」。他說這時直覺會冒出「六月沒產出、沒上線」的焦慮,但下一季的新種子正是從這裡來的。他也承認他們不是每次都排得對。

過去這類話題會被說成工作與生活平衡。他喜歡爆發式耐力這類概念的原因是:他們想以一個團隊的形式做很多很多年,不能九個月就把油箱燒乾、把自己累垮。眼光要放長,同時承認眼前這個時刻就是很快。

Lenny 補充反面也危險:事情太少、壓力太小,人會無聊然後開始找別的工作。Josh 同意,團隊有個說法是「不要浪費任何一個活動或日期」,新創也可以想自己要在哪個時刻和外界的某件事交會;對他們來說那可能是 Google I/O 或一次模型發布。

規劃只看六個月,產品在一百天內要有實質進展

有人問他 Gemini 的兩年路線圖是什麼,他回答團隊只有六個月的路線圖,另有一個跨年的願景。世界變得太快:他兩天前看到的東西,48 小時內就變成了一個專案,這種事沒辦法事先規劃,只能當下認出來。

六個月這個數字來自「快要做得到」的時間窗:假設每家實驗室一年推出幾次新的預訓練模型,中間還有小版本,你就大致知道模型的整體節奏。在這之內,他們通常以大約一百天為單位,問產品能在哪裡有實質推進。最好的 Labs 團隊都能在 50 到 100 天內從點子走到一個有意義的里程碑。這有一部分取決於你怎麼設計文化和環境,替大家排除障礙,好讓他們放手去做。所以他們的規劃方式大致是滾動式的六個月。

設立前緣團隊的三個條件

Lenny 轉述 Dan Shipper 在他的活動上提出的建議:設一個專門測試新東西的前緣團隊,由他們回報哪些值得注意,其他人就不必分心。Josh 的回應分三層。

第一,每家公司確實需要一組人,工作就是待在前緣。如果他們不知道過去 24 小時 X 上最紅的新東西,那就是失職。他們是那種「每樣東西都訂了、手上有八個每月 200 美元訂閱」的人,組織要設計成容得下這種人。

第二,同樣重要的是這些人能動手做東西的環境。

第三,是歷史上最常出問題的地方。他讀過不少這方面的書,從資料看,大公司設立的實驗室通常沒有成效,三到四年後就無聲無息;或者撐得久,但公司始終沒辦法把實驗室的成果商業化,於是出現「有人路過、看到了未來,然後另開一家公司去做」這種歷史上的著名案例。所以關鍵在於:這組活在前緣的人,能不能和大公司之間搭起橋,而不是被當成「那個老是做些噱頭和玩具的奇怪研發單位」。這需要特定的人能說出「這東西現在看起來像玩具,五年後會是我們未來的關鍵」。前兩件事做對、第三件事失敗,整件事就沒有意義。

Lenny 補了一句:連 Anthropic 這種本來就在最前緣的公司都設了 labs 團隊。Josh 則說 Labs 自己長大之後也遇到新問題。NotebookLM、Flow、AI Studio 這些從 Labs 長出來、用戶已經很多的產品,有可能把從零到一的東西擠掉。所以他們內部現在分成三段:0 到 1、1 到 10、10 到 100,當成 Labs 生命週期的不同階段。三段都要有同樣的創新能量,但挑戰和優化的對象很不一樣:0 到 1 看的是眼睛;10 到 100 看的是轉換漏斗和獲客成本,想的是怎麼把人帶到產品裡的神奇時刻,很大程度上是擴張的遊戲。

Lenny 請他給想在公司內部設 Labs 的人三個建議。

第一是獨立性。Josh 說:

“you’ve got to try to create a space where weird things can grow.”

你得想辦法創造一個空間,讓奇怪的東西長得出來。

不能把它塞在既有事業單位底下。在有些公司這表示要直接向執行長報告,或者報告線要拉開足夠的距離。

第二是人和心態,也就是「使用者第一、Google 第二、Labs 第三」:實驗室的工作是讓使用者成功、讓公司成功,不是讓自己成功,這需要一點謙遜和協作。同時要講清楚成功是什麼:你的實驗室是要把東西「畢業」送進既有產品,還是要發明新的產品線和品類?Google Labs 起初是前者,後來因為發現 AI 會改變並模糊很多品類而擴大。要很清楚自己在玩哪一種遊戲、輸贏長什麼樣。簡單說是某種程度上隔離,但仍屬於同一隊。

第三,他特別對執行長和高階主管說:實驗室不只用來做產品開發和技術探索,也可以用來挑戰公司的運作方式。他們團隊的說法是,Labs 有時會在 Google 內部製造「好的麻煩」(good trouble),和不該製造的壞麻煩相對。例子是他們是最早提出「職務角色正在模糊,需要一套 builder 的職涯階梯」的團隊之一,並主張先在 Labs 試行,再推到全 Google。

找什麼人,以及組織上常犯的兩個錯

Josh 說他們執著於找「停不下來、一直在做東西」的人。團隊有一份叫「Labs in a nutshell」的文件(Gemini 也有一份),新人第一週他會寄過去,多數人在面試階段就看過。上面列了十七、八條特質,他提到的包括:一直在做東西;有求知欲,在讀書、看 X、聽 podcast;執著於解決別人的問題,而不是自己的面子或榮耀;和他們相處會讓你更有能量,談完你會覺得想和這個人一起衝。

面試時,如果對方說「我給你看我剛做的東西」,立刻加分。他也會問對方身處未知、沒有結構的「黑暗洞穴」時怎麼找出方向;對這種情境感到興奮的人大大加分。他另外提到,隨著產品長大,0 到 1 的人和 1 到 10、10 到 100 的人也有些不同,難題是怎麼在他們之間建立共通點。

組織上的錯誤,他舉了一個他們正在討論的例子:要讓不同小組各自獨立去追,還是按主題編組。例如互動娛樂是他們有興趣下竿的池塘,是讓一組人做,還是五個人各試一次?他認為常見的錯誤是太急著併成一組,偏好整併、追求乾淨。他這些年付出代價學到的是,有時必須在混亂裡多待一陣子,看看會長出什麼,同時仍然願意做調整。

另一個常見錯誤是太快請太多人,大公司和新創都會。看著團隊上一季或半年翻倍、翻三倍很容易上癮,但他說這多半是很糟的虛榮指標。他多年前待過一個專案,工程師增加到 30 人,他非常開心,而當時產品市場契合是零,只有一個很鼓舞人的願景,結局可想而知。

五年後 Google 會有一萬個產品還是五個

這是 AI Studio 的 Logan Kilpatrick 托 Lenny 問的題目,也是他和 Josh 在團隊裡爭了很久的事。Josh 說他的答案一直在變,目前的想法是:我們可能根本不會再用同樣的方式理解「產品」。

如果把「一萬個產品」理解成一萬個各有品牌的介面,既複雜,他也不確定行得通,雖然你確實可以蓋一座不停吐出產品的工廠。他越來越常想的是,會不會出現由模型生成、更量身訂做的體驗,背後由 Labs 團隊做出負責這件事的 agent,而使用者是在一個共同的介面裡體驗到它。他不確定,所以 Labs 正在跑幾個實驗,想同時驗證這場辯論的兩邊:如果一切收斂成一個或幾個超級 app,世界長什麼樣;如果極度碎片化,又長什麼樣。

他目前的傾向是:超級 app 在世界某些地方、某些用途上非常成功,但對很多使用者來說太複雜,很難真的帶動有價值的行為。他也提醒,這一切還假設了操作這些體驗的主要是人類。

還沒解決的問題:怎麼用 AI 把使用者回饋變成洞察

訪談尾聲 Josh 主動提了一件他一直在想的事,並歡迎有想法的人在 X 上告訴他:怎麼蒐集關於產品的回饋,目前還有很大的空間。很多人(包括他和 Lenny)已經讓 agent 整夜跑、摘要發生的一切,但他覺得問題在更深的地方:一位出色的產品經理之所以出色,是因為他對某一類人有洞察,知道什麼會讓他們驚喜或解決他們的問題。要怎麼用 AI 和這些新型產品把這個回饋迴圈打通?

Lenny 把它重述成「怎麼讓 AI 像頂尖產品經理一樣找出機會和洞察」。Josh 說那是一個分支。另一個分支是:每個人身邊都有某些人,和他們在一起時洞察自然會冒出來,有沒有一種人與 AI 的協作模式能促成更多這種情況?

把價值觀做成獎項

最後 Lenny 問他那些給隊友的獎。Josh 說這些是把團隊看重的事編進一些有點呆的象徵物裡。

  • TPU Harvester(TPU 收割者):產品成長需要越來越多 TPU(Google 的 AI 運算晶片),這個獎給做效率優化、把 TPU 回收出來的人,讓團隊能做下一批功能。獎品是一支在 Etsy 訂做的迷你耙子,外加獎金,現在已經變成一場大型慶祝。Lenny 確認這是獎勵省下運算資源的人,不是用掉最多 token 的人。
  • 金色 OK 繃:給修掉「紙割傷」的人,也就是產品裡那些累積起來讓人煩的小毛病。Josh 說這些是讓產品令人愉快、稱得上出色的東西。
  • LLM Whisperer(模型低語者):給能用出人意料的方式把模型推到前緣的人。獎品是一對巨大的耳朵,因為他們聽得到模型說出別人聽不到的東西,另外附一把很好的機械鍵盤。這類人會帶來新產品的突破。

還有一個像秘密社團的傳統:在某人的行事曆上放一個沒有議程的會議,與會者是團隊的四、五位主管,看起來很嚇人。人到了之後,主管們輪流說為什麼感謝他在團隊裡。Josh 每次都以「這不是壞的會議,是好的會議」開場。

被問到聽眾能怎麼幫他,他的回答是多給回饋。