興味深いAIツールの数は、もはや一人で評価できる量を超えています。足りないのはツールではなく、それが本当に使えるかを確かめるための時間です。

ここでは、その時間を有効に使うための手順を紹介します。方針は、できるだけ早く「採用しない」という結論にたどり着くことです。

デモではなく、失敗パターンから見る

どのプロジェクトも、得意なことを最初に見せます。役に立つ問いは、何が苦手なのかです。その答えはREADMEよりも、たいていIssueトラッカーにあります。

未解決のIssueをコメント数の多い順に並べ、上位10件を読んでください。大量のドキュメントを読むより、5分で多くのことが分かります。

人気ではなく、保守されているかを確認する

Starの数が示すのは、かつて何人が「面白そうだ」と思ったかだけです。今も動くかどうかは分かりません。

より良い判断材料は次のとおりです。

  • 依存関係の更新以外で、最後にコミットされた日
  • 短くてもIssueに返信があるか
  • 最新リリースが、現在も存在するブランチから作られているか

Starが800件でもメンテナーが質問に答えるツールのほうが、Starが3万件あっても2年前のIssueが放置されているツールより安全です。

実際の対象で試す

デモ用リポジトリは、ツールがよく見えるように選ばれています。あなたのリポジトリはそうではありません。

自分ですでに完了したタスクを与えてください。答えを知っているので、追加調査なしで出力を評価できます。答えを知っている問題を処理できないツールが、答えを知らない問題を処理できるとは期待できません。

導入前に撤退コストを把握する

重要なのは「良いツールか」ではなく、「使うのをやめると何が起きるか」です。

既存ファイルを読み、一般的な形式で結果を書き出すツールなら、ほぼ無料で手放せます。独自形式でデータを保存したり、ほかの仕組みがそのツールに依存したりする場合は違います。実力が拮抗しているなら、元に戻しやすい選択肢を優先してください。間違っても安く済ませられる能力を買うということです。

評価を終えるタイミング

全体像を把握したときではなく、答えが出たときに止めます。多くの評価は1時間以内に終わり、「採用しない」という結論と、その理由を一行だけ残す形になるはずです。次に同じツールを見かけても、作業を繰り返さずに済みます。

そのメモは、後で見つけられる場所に保存してください。もっともよくある評価時間の無駄は、すでに却下したツールをもう一度評価することです。