Lauren Tan 在 SpaceXSI 做 Grok Bot。她說自己在演講前一個月送了 3,000 個 pull request 上 production,整個團隊送了 11,000 個,而被退回的比例大約只有 0.5%。
這場演講講的是她怎麼走到這一步。答案不是更厲害的 prompt,而是把 agent 工作的環境整理到值得信任。
每次糾正 agent,不要只是在說明文件多寫一行。把它變成程式碼裡會自動擋下錯誤的檢查。
17 分鐘的演講地圖
每一段的寬度代表它佔的時間。點任何一段會從那裡開始播放。
為什麼重點是信任
以前只有極少數工程師產量驚人。有了 agent,人人都能大量產出程式碼,產量不再稀有。Lauren 認為工程師的工作因此變了:要在產量暴增的同時,把品質守住,甚至拉高。
有人把這套做法叫 software factory。她寧可說得簡單一點,就是信任。不是盲目相信 agent,而是投資在它的環境上,讓你有理由相信它會做對。
關鍵在於 codebase 本身就是 agent 最大的輸入之一。現有的 workaround、過時的寫法、技術債,都會被下一個 agent 當成「這裡的慣例」照抄。輸入是 slop,輸出就是 slop。
信任金字塔
她用一個倒過來的金字塔說明時間該花在哪裡:越上面越寬,越值得優先投資。下面依演講內容整理成四層,點任一層看說明。
Codebase 本身
確定性,投資最多
API 設計、架構、重構。讓正確的寫法成為最容易的寫法,錯的寫法根本寫不出來。這一層做得好,下面每一層的負擔都變輕。
靜態分析與測試
確定性
Lint rule、型別系統、編譯器、各種測試。和第一層合起來限制 agent 能做的事,讓它預設就做對。這些檢查每次結果都一樣,所以比寫在文件裡的規則可靠。
驗證
執行期與形式化
讓 agent 自己把程式跑起來找 bug,並檢查系統該成立的性質。它也用來確認 agent 是否真的理解你的目標。
文字
需要判斷,只放一點點
Rules、skills、AGENTS.md。文字無法強制執行,agent 可能照做也可能不照做,所以放在最窄的一層。
Codebase 是一座花園
Lauren 回想 2024 年,她一天大約 review 同事的 3 個 PR。現在這個數字比較像 300。
每位工程師現在等於帶著數百甚至數千個 agent,程式碼湧進來的速度像連續的水流。她說這讓 codebase 感覺像有機體,而工程師越來越像園丁。
你設下的限制是水泥地基,新的程式碼沿著它長。壞的寫法則像雜草,一不注意就蔓延。目標是把花園維持得夠乾淨,讓 agent 永遠抄到好東西。
她實際怎麼做
把教訓寫進框架
團隊為 Grok Bot 做了一個叫 Dune 的 client framework。她形容它像「Electron app 版的 Next.js」,技術上不算特別,特別的是它內建大量限制與 lint rule,把做桌面應用學到的教訓直接編進去。
其中一條教訓:凡是需要細膩判斷才能用好的東西,往往會產生 slop。
在產品程式碼裡禁用 useEffect
useEffect 有它的用途,但很容易誤用,agent 也不擅長。團隊的做法是在產品程式碼裡直接禁用,只允許出現在 Dune 內部的少數地方。這一類問題從此整個消失,code review 再也不用抓它。
讓目錄結構自己說話
Electron app 有個常見問題:agent 會把 main thread 的程式碼 import 進 renderer thread,造成畫面卡頓。在 Grok Bot,最上層就分成 renderer 與 main 兩個目錄,兩者之間的 import 由 lint rule 禁止。規則很好設,review 時就少一件事要想。
禁掉 99% 的註解
她發現 agent 會把註解當成寫下「為什麼不照正確方式做」的地方。例如用計時器做快速修補,再寫一段註解解釋為什麼合理。下一個 agent 讀到後跟著抄,修補就擴散到各處,效能明顯變差。
所以 Grok Bot 禁掉了 99% 的註解。註解容易過時,人類其實不太讀,而且最大的問題是無法強制執行。取而代之的是 lint rule,錯誤訊息寫得很清楚,直接叫 agent 去修根本原因。
- agent 做錯,你糾正它
- 把糾正寫成 lint rule、型別或架構限制
- 這一類錯誤不再出現
- review 要看的事少一件
驗證:review 變成看證據
她說 code review 現在已經縮成看驗證的產物:影片、截圖、圖表、形式化驗證的結果。
- 執行期驗證
- 讓 agent 能自己把程式跑起來,並使用人類也在用的除錯工具。團隊給 agent 一份 feature map,從使用者角度列出所有功能,像網站地圖。你說「左側欄那個東西」時,agent 就不必用猜的。
- 形式化驗證
- 用 TLA+ 檢查主要的使用者流程,例如跨裝置的通知。用 Lean 證明特定演算法,例如確認自製的 virtualization library 不會閃爍。她說這還在實驗階段,但已經找到不少 bug。
- UI 的 property-based testing
- 剛開始嘗試,用的工具是 Bombadil,已經抓到幾個 UI bug。
她引用另一位工程師的說法:半年前對方還無法信任 agent,因為總有細微的 bug 被合併進去。補上驗證流程之後,對方每天有 70% 的 token 花在驗證上。Lauren 說自己的情況也差不多。
這些都不是新技術,只是以前太貴:難懂、難寫、難維護。Agent 把成本壓低了,所以她說我們正在進入軟體測試與驗證的黃金時代。
一個月,11,000 個 PR
下面每一個點是 Grok Bot 團隊一個月內送上 production 的一個 PR。紫紅色的是被退回的,依講者說的約 0.5% 換算,大約 55 個。
合併的 PR 被退回的 PR
- 3,000
- Lauren 個人一個月送出的 PR
- 約 227 人
- 十月至少貢獻過一個 PR,包含不少不熟這個 codebase 的人
- 每天一版
- client 發布新 stable 版本的頻率
- 6 個月
- 她走到這個程度花的時間
這些是講者自述的團隊數據。她也提到 Grok Bot 上線後在啟動、打字、開新對話、切換對話等方面都變快了。
想照做,從哪裡開始
- 先別急著把一切自動化。每次糾正 agent,就順手改善 codebase。
- 從一條 lint rule 開始,擋住壞寫法繼續出現,再回頭清掉舊的。
- 把驗證做紮實,讓 agent 能自己證明東西是對的。
- 地基穩了,再在上面蓋自己的自動化流程。
If your inner coding loop produces slop, then automating that loop just produces more slop.
如果寫程式的內層迴圈產出的是 slop,把它自動化只會得到更多 slop,還要燒更多 token。
Reference
- 演講影片:All Code Is Slop (Except Mine) — Lauren Tan, SpaceXSI,AI Engineer,YouTube。
- 官方整理頁:ai.engineer/talks/…all-code-is-slop-except-mine
- 議程表:AI Engineer Code Summit 2026 Schedule
- 講者場次頁:ai.engineer/code/2026/talks/lauren-tan
- Bombadil:github.com/antithesishq/bombadil