為什麼優秀的模型會失敗?一位機器學習顧問九年的踩坑實錄
- 講者
- Megan Robertson
- 來源
- YouTube
- 原片日期
- 筆記日期
- 閱讀時間
- 約 11 分鐘
本文有 5 個章節
一個數學上站得住腳、評估指標也漂亮的模型,為什麼沒有被公司採用?講者 Megan Robertson 用自己做壞的一個專案回答這個問題,再往外推到兩類常見的失敗:動工前沒把範疇談清楚,以及上線後世界變了而模型沒跟上。她的答案是:高預測力不足以讓模型上線,利害關係人必須居於範疇界定的核心,而模型只代表單一時間點,上線後仍得持續監控、修復,必要時退役。
失敗帶來的資訊
Robertson 自稱經營顧問公司,職稱是「首席機器學習工程師」,並打趣說自己開公司的好處是頭銜可以隨便取。她在機器學習、資料科學與 AI 領域工作約九年,服務過不到 40 人到超過 4 萬人的公司;學位都在數學與統計,工作位置則在技術與非技術團隊的交會點:協助技術能力不是強項的團隊導入資料驅動方案,同時接受時間與預算限制。這場演講排在兩天議程的尾聲,聽眾多為開發者與技術從業者。
她開場就說自己不是來講成功案例的:她特地飛到另一個國家,要講的是自己做錯的一件事,並自嘲這在研討會上氣氛有點怪,但就這麼講下去。
她請聽眾重新理解加了引號的「失敗」。研討會常談建成的模型、套件或新研究,這些成果當然值得驕傲;但在產業裡應用技術時,沒成功的嘗試往往提供更多資訊。她開始新專案時通常會擬合五個以上的模型,以實驗找出最佳者,其餘模型不是負資產,而是告訴她該怎麼調整、讓下一次更有效率。
她說自己對自己很嚴苛,後來才學會承認:若不是一路上犯過其中一些錯,她不會是今天這樣的工程師。
她問現場有多少人做過很棒的產品,卻沒有被公司採用;接著自己舉手說她有兩個,今天講其中一個。整場演講因此不是抽象地鼓勵「擁抱失敗」,而是拿自己的失敗當工程判斷的材料。
一個數學上漂亮、商業上死亡的模型
為保護客戶的智慧財產,她刻意模糊部分細節,公司與平台都未具名。客戶很在意走在趨勢前面,以創新和競爭者區隔。公司裡有一個利害關係人團隊,每天人工監看社群網站和內容創作者,想在話題成為主流以前捕捉趨勢;目標客群是一批已知的高價值核心消費者,他們熱愛產品,也在網路上大量發言。
她當時剛上完 NLP 課,很想「秀一下語言模型的肌肉」,手邊又剛好有某熱門社群網站的文字存檔,包含產品、活動、公司與競爭者的討論板內容。於是她建了主題模型:把每篇文件轉成數字,分析詞彙如何共同出現及其順序,再歸納這批文件在談哪些主題。她用主題連貫性(topic coherence)評估每篇貼文與分派主題的相關程度,這是業界常用的量化評估方式,結果也很好。最後的產物是一份趨勢摘要,說明高價值客戶談什麼、使用什麼語言、有哪些關鍵詞。對當時的她來說,既練到技能又幫到團隊,簡直是全壘打。
專案卻死於兩件事。
第一,她幾乎沒有諮詢利害關係人。她介紹專案時只顧著談模型與自己的興奮,沒有說曾和目標團隊談過,因為她根本沒談。事後才知道,那個團隊另有優先度更高的技術問題;相較之下,投入時間與金錢把這個模型規模化並不划算。這裡的利害關係人不只是出席會議的人,而是會使用成果、依預測採取行動,或擁有受模型影響之決策權的團隊與個人。
第二,資料成本突變。就在她開始工作前約一個月,那個社群網站改了 API 資料計價;對客戶而言,費用從杯水車薪變成下一季財務報表上的顯眼大項。她認為這和 AI 熱潮有關:企業發現文字與語言資料正是訓練語言模型的原料,因而重新定價。若她及早協商,也許能把費用拆到雙方預算,但她沒有談,而且專案價值本來就不如她想像。她在這個案子上花了三週做語言模型,事後感嘆真希望早點問過資料價格。
模型因此進入她所謂的「模型煉獄」,投影片用表情驚悚的《芝麻街》紅色布偶 Elmo 當梗圖。程式碼從未離開概念驗證階段的 Databricks 環境;Confluence 上的專案摘要大概還飄在公司知識庫的某處,「也許有一天會被一個有企圖心的新人挖出來」。
Robertson 把這次失敗濃縮成一句話:
“I built what was mathematically a solid model, but at the end of the day, that high performance wasn’t enough for it to be put into production.”
我建了一個數學上站得住腳的模型,但說到底,那樣的高表現還不足以讓它進入生產環境。
高預測力只是上線的必要條件之一,不是充分條件:模型還得對真實需求有用,而且價值必須高於建置、算力、維護與錯誤風險。
動工前先把範疇變成可檢驗的承諾
她說的範疇界定(scoping),是在動工前說清楚:解決什麼問題、為誰解決、做到什麼程度才算成功。她稱妥善的範疇是機器學習專案成功的基礎。
新專案往往有許多資料源與模型可選,工程師很容易直接畫圖、算數學,最後鑽進兔子洞;等第一版端出來,利害關係人才發現它和原先的期待天差地遠。她把「你的價值增量(value add)是什麼?」放在整個流程底下反覆追問,避免每天離真正的需求更遠。
誰會使用,又真正需要什麼
先找出利害關係人與終端使用者。尤其在數萬人的公司,若不了解業務版圖,很容易漏掉關鍵團隊。該問的是:誰會依預測採取行動?誰握有受模型影響的決策權,是否需要更高層加入?模型會進入哪條工作流程——儀表板給誰看、自動報告寄給誰、外部 API 服務哪個手機 App 的體驗?
接著辨認真正的問題:她說利害關係人自認需要的,和他們實際需要的,往往有落差。
她曾共事的一位未具名副總裁愛在會議上說「有什麼問題儘管講,資料科學魔法會解決」,回來便告訴團隊自己承諾了四週交付,眾人只能面面相覷:「呃……這真是個有趣的機會。」今天的利害關係人可能開口就要 AI,實際上卻連乾淨的資料管線都沒有,內部聊天機器人也就沒有可靠的基礎。比追著流行話術走更好的起點,是問兩個問題:「你希望更了解客戶的哪些事?」「有哪些手動或半手動任務佔用你大量時間?」
利害關係人同時是領域專家。她曾因為對方描述問題的方式,而打開「哪一類模型才合理」的新視野。所以「我是技術人,不必跟別人談」不是獨立,而是拿掉專案成敗的一個關鍵變數。這也不表示對方說要什麼就照單全收;訪談正是用來區分「以為需要」與「實際需要」的方法。
成功要有 KPI,不能只靠 vibes
「模型表現不錯,我昨天看到三則正面推文」不是評估,可能只是演算法繼續餵你愛看的內容。成功要翻成可量測的數字:更好的行銷活動可看退訂率、退信率與轉換率;持續互動可看日活躍用戶與流失率;更多人喜歡內容可看點擊率與頁面停留時間。Robertson 說:
“If I can’t quantify the contributions, I cannot justify the cost of its maintenance.”
如果我無法量化它的貢獻,就無法為它的維護成本辯護。
她點出兩種常見錯誤。一是建自己覺得酷的東西;她承認自己做過,也認為 AI 焦慮讓這種誘惑比十年前更強,並挖苦地說「照 Altman 的說法,機器人明年就要接管一切了」。二是憑 vibes 評估;她特意補一句這個 vibes 後面沒有接 coding。
限制不只是預算,也包括錯一次的代價
雲端運算雖然看不見,仍會隨資料量變得昂貴,邏輯迴歸與神經網路的算力需求可能是兩個世界,後者成本高,也難解釋。動工前還要問:額外資料是否收費?模型要多久建好?有沒有時間做 A/B 測試?團隊的優先事項如何排序?若專案總在清單底部,那本身就是訊號。
還要主動想像壞結局。她自稱是「杯子半空」的悲觀者,但這不是唱衰:模型即使很少犯錯,只要單次錯誤可能造成災難,就不該上線。她用一個假想的癌症模型說明第一型與第二型錯誤的代價不同——「沒病說有病」會帶來昂貴檢查,「有病說沒病」可能讓醫生不治療,使高風險患者毫不知情。她強調自己不碰醫療資料,因為 HIPAA(美國規範醫療資訊隱私的法律)的要求會讓商業保險非常昂貴。她還問現場偏好哪一種錯誤,隨即打趣「好,我就想像大家都在點頭」。錯誤機率與錯誤代價是不同維度,不能用單一準確率蓋過去。
先找既有解法,再用 MVP 爬、走、跑
選演算法以前,先查內部文件、研討會與白皮書。像「依搜尋回傳商品」這種電商問題早有許多人處理過;即使是前人的失敗,也能幫團隊避坑。若既有的模型管線已經使用同一批資料,而新需求只是多一個預測,改造通常比重建划算。
接著交付能解決核心問題的最低限度版本。她用嬰兒照片表達「爬、走、跑」(crawl, walk, run):先證明價值,再逐步增加能力。每多一個資料源、特徵或儀表板功能,就多一個故障點;MVP 太複雜,真正的價值反而會被故障淹沒。
這裡對應兩個陷阱。重造輪子,可能在完成後才發現別人早已做得更好,價值增量為零;過度複雜,則可能讓成本吃掉收益。她假設一個炫目的神經網路只比半天就能上線的線性迴歸好 2%,企業通常會選簡單、便宜且出錯時可解釋的方案。技術先行再硬套問題,就像「把圓釘硬塞進方孔」。
模型凍結在過去,世界卻持續改變
第二種失敗不是模型一開始就差,而是環境後來不同了。模型以某一時間點的資料子集訓練,學到的是當時輸入與輸出之間的數學關係。她自嘲「30 秒前的世界跟現在不一樣,廢話,Megan」,但工程上的含義是:如果她用的是兩週前擬合的數學,那可能已經過時。
Robertson 也引用 Ben Wilson 在《Machine Learning Engineering in Action》裡的話:
“Models will drift. There is no such thing as static implementation.”
模型會漂移。沒有所謂靜態的實作。
從資料攝取到服務,每一站都可能失敗
生產管線可以簡化成五站:資料攝取 → 特徵生成 → 模型訓練 → 預測推論 → 結果服務。其中幾站各有典型的壞法:
- 資料攝取:供應商更改 schema 卻未通知,一夜之間每名客戶在表中出現五次;排程也可能延遲。
- 特徵生成:特徵分布悄悄漂移。這一站做的是把原始資料變成模型可用的形式,例如不用完整地址,改用州別或郵遞區號。
- 模型訓練:可能過擬合、漂移,或模型檔案損毀而無法載入。
- 結果服務:公司成長使資料量暴增,例如儀表板從 2 秒刷新變成 1 分鐘,甚至逾時。
各站互相依賴,讓問題更棘手:第一站壞掉,常會一路傳到最後。
她自己建過一條管線,資料表 overwrite 失敗時不拋錯,仍安靜地繼續執行。兩週後,利害關係人問「這資料怎麼完全沒變」,團隊才發現一個高能見度的生產系統已經默默失靈兩週。這類事故重演幾次,會消耗利害關係人對模型和團隊的信任,並可能滾成傷害公司底線與團隊聲譽的事故。「那天我學到了監控系統的重要。」
監控資料、模型與基礎設施
資料層先看基本摘要統計:若客戶平均年齡突然從 24 變成 100 以上,資料表顯然有問題。也可以用卡方檢定或 Kolmogorov–Smirnov 檢定比較上週與今天的分布,差異達門檻就發警報。缺失值同樣要監控,例如某張表突然有 80% 的欄位空白就是紅旗。
模型層依任務追蹤指標:迴歸看平均絕對誤差、均方誤差;分類看精確率、召回率與 F1 分數;語言模型看語意相似度。每次管線執行後都追蹤,超出設定幅度便通知調查。
基礎設施層看逾時率與延遲摘要,並對照向利害關係人承諾的 SLA,例如儀表板保證 3 秒內載入。
三層監控在上線時就要配置好。目的不是蒐集漂亮圖表,而是在錯誤滾成雪球以前,透過 Slack、電子郵件或值班工程師告警把故障暴露出來。
四種漂移,四類處置
概念漂移(concept drift)是輸入與目標之間的關係改變。信用卡詐騙偵測越進步,偷卡者越會繞過既有模式;三年前最能指示詐騙的訊號,今天可能已經不同。
資料漂移(data drift)是輸入特徵的分布改變。例如游泳池公司在 1 月與 7 月看到的客戶資料,因季節性而截然不同。
標籤漂移(label drift)是預測目標本身的分布改變。她假設某手機 App 的每月流失率原本穩定在 5%,新競爭者挾大量行銷入場後,當月升到 30%。
現實漂移(reality drift)是資料裡沒有前兆的世界劇變。她自稱千禧世代,演講一定要放梗圖,於是對照 2020 年 1 月與 2020 年 3 月的實體零售客戶資料:COVID-19 疫情在其間爆發,實體商業瞬間急凍。
處置不只「再訓練」一種。可以重做特徵工程,例如取對數改變尺度;可以重新訓練模型,她偏好把再訓練直接內建於生產管線,認為這一步常被省略卻不該省;若世界改變到數學關係的結構都不同,例如原本呈樹狀巢狀的資料結構消失了,就換全新的演算法;最後,也可以讓模型退役。
監控、修復與退役並不矛盾。前兩者是在模型仍有價值時延長它的壽命;退役則是承認任務或優先順序已經變了。Robertson 明知這場演講承諾的是讓模型留在生產環境的策略,仍說若不提退役便是對聽眾失職:
“Not every machine learning model you built is going to be destined for greatness… you have to avoid the sunk cost fallacy… acknowledge it did its job, it’s time to move on.”
不是你建的每個機器學習模型都注定偉大……你必須避開沉沒成本謬誤……承認它已經完成任務,該往前走了。
有些解法只需要撐一兩年;工作完成或公司優先事項轉移後,繼續維護只是沉沒成本謬誤。模型是有壽命的資產,不是注定永駐 production 的紀念碑。
她要聽眾帶走的三件事
第一,高預測力不足以保證產業上的成功;模型必須服務真實需求,而且價值要高於時間、算力與出錯的後果。第二,利害關係人應該居於範疇界定的核心,他們既幫忙定義問題,也帶來領域知識。第三,模型只代表單一時間點,世界持續變化。Robertson 的說法是:
“Machine learning is not set it and forget it.”
機器學習不是設定好就可以不管的東西。