實戰範例 003:程式寫完的自動驗證
背景
Agentic Coding 的品質,取決於程式寫完之後的回饋迴圈 (feedback loop):寫完要審查、抓到 Bug 要修、修完還要再驗證。問題是——Review 與反覆跑測試,正是整個流程中最燒 token、最花時間的環節。
Jev 的優勢在於:驗證是多數情況下的「判斷題」(這段程式有沒有問題?這個命名清不清楚?),而不是「生成題」。把判斷丟給 Jev,大模型只處理被標記為高風險的少數項目。以下是影片整理的四種玩法。
玩法 1:語意 Linter
傳統 Linter 只能檢查語法與格式;要自訂規則得寫複雜的抽象語法樹 (AST) 規則,又長又容易誤判。改用 Jev,規則用大白話寫:
規則 1:檢查函式命名是否清楚交代它所做的事,包括潛在副作用。
規則 2:檢查 Log 印出的內容——如果是密鑰或金額,直接報錯;
如果是敏感個資,跳出警告。
實作方式:
- 每個 PR 送出時,把改動的程式碼當作 state 送給 Jev。
- 每條規則是一個 Noul 題(「這行 Log 是否印出密鑰或金額?」)或 Choice 題。
- 用門檻決定「報錯」或「警告」,把結果貼回 PR 留言。
影片案例中,這類高度仰賴語意理解的檢查,每個 PR 全自動掃描的成本幾乎等於零。
玩法 2:全 Codebase 掃描
適合老專案的健康檢查,兩種掃描方式:
註解掃描
- 讓 Claude Code 搭配 Jev 把整個專案的註解掃一遍。
- Jev 判斷三件事:這條是廢話註解?這條已經與程式碼不符?這條值得保留?
- 揪出清單後,交給便宜的 Haiku 批量重寫。
影片實測:前 150 條註解只花 9.3 秒、約 1 美分;全專案完整掃描總花費 $0.57,找出約 1,700 條需改寫的註解。
Code Smell 掃描
同一套打法可以掃描重複代碼、無人引用的 Dead Code、寫死的 Magic Number。影片實測:整個專案掃了 2,800 萬 token,僅 $1.19。
玩法 3:百問清單 Code Review
不讓大模型「自由發揮」找問題,而是固定問卷:
- 工程師提交改動後,系統對這份 diff 一次拋出 100 個具體檢驗問題。例如:
- 有沒有改動到不該動的共用模組?
- 有沒有把原有的單元測試改弱了?
- 這個改動引入效能瓶頸的風險有多高?
- 100 題打包給 Jev 評分(Noul / Score 混合)。
- 只有 Jev 判定為高風險的少數幾項,才送 Claude 做深度修復與審查。
影片估算:這個做法把審查階段真正需要人類或高階模型心智的內容砍掉將近 10 倍;但作者也提醒,它無法完全取代最嚴格的架構審查。
玩法 4:大規模對抗測試 (Adversarial Testing)
部署前用「便宜、敏捷的 agent 大軍」壓測:
- 以 Browser-use 團隊的 Jev 版瀏覽器 agent,併發數十個無頭瀏覽器,模擬真實使用者的隨機操作與極端輸入。
- 影片實測:完成一次「蘇黎世 → 倫敦」的機票預訂全流程只花 7 秒、0.4 美分。
可以想像的未來畫面:每個 PR 合併前,背後都有幾十隻便宜 agent 像特種部隊一樣做全方位壓力測試。
企業案例:影片提到監控平台 Sentry 的資安團隊把 Jev 整合進漏洞檢測 Pipeline——原本就採用小型開源模型降低成本,改用 Jev 後判斷準確率提升、延遲大幅降低,整體運算成本再便宜 5 倍以上。
閉環:讓 Claude 調校 Jev
四種玩法背後是同一套架構1:
Jev 第一線做成千上萬次極速判斷
↓
Claude 後端監控結果,發現偏差
↓
回頭優化 prompt 規則、調整門檻
↓
再放手讓 Jev 繼續跑,直到精準度達標
這本質上是 System 2 在訓練 System 1。實務上,把「問題定義 + 門檻」集中在一個檔案,讓 Claude 可以根據誤判案例持續迭代。
注意事項
- 先量測再上線:門檻太高會漏掉真問題(false negative),太低會疲勞轟炸(false positive);先用歷史 PR 或已知 Bug 做回歸測試2。
- 不能完全取代嚴格審查:涉及架構決策、跨系統影響的判斷,仍要人與高階模型。
- 中文程式碼與中文註解要抽驗:Jev 的英文準確度最佳,你的 codebase 若是中文環境,先抽樣人工比對3。
- 成本不是零:輸入 token 仍計費(
jev-1.13.0為 $42 / Btok),掃 2,800 萬 token 也要 $1.19——便宜的關鍵是「比起大模型便宜一個數量級」,而不是免費3。
驗收清單
- 至少一條語意規則掛進 PR 流程,可自動產生報告。
- 完成一次全專案註解或 Code Smell 掃描,並產出可執行的清單。
- 百問清單已定義,且高風險項能自動分流給 Claude 深修。
- 有一組已知案例驗證門檻(避免 false positive / false negative)。
- 留下成本數據(每 PR / 每次全掃),證明比原流程便宜。
Footnotes
-
Gary Chen,〈Jev + Claude,男女搭配,幹活不累〉,YouTube(10:54–15:30 段落)。 ↩
-
TypeSafe 官方文件,Agent skill — Common issues(thresholds 調校建議)。 ↩