有趣的 AI 工具不斷出現,早已超過任何人能逐一評估的範圍。真正稀缺的不是工具,而是你用來確認它是否有效的時間。
以下是一套更妥善運用這些時間的流程,而且刻意偏向協助你盡快得出「不採用」的結論。
先看失敗模式,而不是展示
每個專案都會先展示自己做得好的地方。真正有用的問題是它做不好什麼,而答案通常不在 README,而在問題追蹤器裡。
依留言數量排序尚未關閉的問題,然後閱讀前十則。你在五分鐘內得到的資訊,往往比閱讀再多文件都更有價值。
判斷它是否仍有人維護,而不是是否熱門
Star 只能衡量有多少人曾經覺得某個專案看起來有趣,無法說明它現在是否仍能正常運作。
更可靠的訊號包括:
- 最近一次非相依套件升級提交的日期
- 問題是否會得到回覆,即使只是簡短回應
- 最新版本是否從一個仍然存在的分支發佈
一款只有 800 個 Star、但維護者會回答問題的工具,通常比一款擁有 30,000 個 Star、問題列表卻堆滿兩年前未處理事項的工具更安全。
用真實任務執行它
展示用的程式碼儲存庫,是為了讓工具表現良好而挑選的。你的儲存庫不是。
交給它一項你已經親自完成過的任務,這樣不必再做第二輪調查,就能判斷輸出品質。如果它連你知道答案的問題都處理不好,就更不可能處理好你不知道答案的問題。
投入之前先釐清退出成本
真正重要的問題不是「它好不好」,而是「停止使用它時會發生什麼」。
如果一款工具讀取現有檔案並寫出一般格式的結果,放棄它幾乎沒有成本。如果它把資料存進自己的格式,或讓其他系統逐漸依賴它,情況就不同了。當兩種選擇實力接近時,優先採用可逆的方案——你是在購買一種能夠低成本犯錯的能力。
何時停止評估
得到答案後就停下,不必等到掌握完整全貌。大多數評估都應該在一小時內結束,通常結論是「不採用」,並留下一句話說明原因。這樣下次再看到同一款工具時,就不必重複這項工作。
把這條記錄寫在以後找得到的地方。最常見的評估浪費,就是第二次評估一款你已經拒絕過的工具。