持續維護skill常見的痛點

• skill的行為邊界飄移
• 改完後跑一次沒報錯就當作OK
• 體感維護: 不知道調整是否達成更好的目標

定義skill的成功 - 4個衡量目標

• 結果: 任務是否完成? APP能RUN?

• 過程: agent是否按設想路徑執行? (例如希望他邏輯解而非code解?)

• 風格: 輸出的文字是否符合規範(例如代碼風格)

• 效率: 是否存在無意義步驟導致token消耗? 關注長期成本

兩個維護面

最常見的情況就是執行體一切完美，但觸發邊界不受控導致skill效率不佳

• 執行體(execution): 指令、工具、步驟
• 觸發邊界(boundary): name、description

觸發邊界的3個失控點

• 觸發假設: 邊界模糊，出現不該發動時發動的情況
• 環境假設: 正確的skill應該認為自己是在一個全新的目錄、並且有明確的環境前提(例如本地有python的某個包可以用，但生產環境沒有)。這是最容易被忽略的問題
• 執行假設: 執行順序或步驟是否正確，有時候單獨看每步都OK，但整體執行時可能卡在某個中間態

回歸樣本

10條左右的樣本集就夠了

• 顯式調用: 點名該skill，保證改動描述後基本功能運作正常
• 隱式調用: 僅描述場景，測試agent是否能自主選中
• 上下文調用: 加入業務雜訊汙染上下文，測試抗干擾性
• 負樣本: 驗證"不該觸發"的場合，防止誤觸發干擾其他執行

小結

• 能做到以上幾點，skill就不再只是"提示詞小技巧"，而是一個能持續驗證並進化的"工作流資產"

上次修改於 2026-07-16