A oferta de ferramentas de IA interessantes já supera a capacidade de qualquer pessoa para avaliá-las. O recurso escasso não são as ferramentas, mas as horas que você pode dedicar a descobrir se uma delas funciona.
O procedimento a seguir ajuda a usar bem essas horas e favorece, de propósito, chegar rapidamente a um “não”.
Comece pelos modos de falha, não pela demonstração
Todo projeto começa mostrando aquilo que faz bem. A pergunta útil é o que ele faz mal, e a resposta geralmente está no rastreador de issues, não no README.
Ordene as issues abertas pelo número de comentários e leia as dez primeiras. Em cinco minutos, você aprenderá mais do que lendo qualquer quantidade de documentação.
Verifique se há manutenção, não se é popular
O número de estrelas mede quantas pessoas acharam algo interessante em algum momento. Ele não diz se a ferramenta ainda funciona.
Sinais melhores incluem:
- A data do commit mais recente que não tenha sido apenas uma atualização de dependências
- Se as issues recebem respostas, mesmo que curtas
- Se a última versão foi criada a partir de uma branch que ainda existe
Uma ferramenta com 800 estrelas e um mantenedor que responde perguntas é uma aposta mais segura do que outra com 30 mil e uma caixa de entrada cheia de issues de dois anos atrás.
Teste em algo real
O repositório de demonstração foi escolhido para fazer a ferramenta parecer boa. O seu não foi.
Dê a ela uma tarefa que você já tenha concluído. Assim, será possível avaliar o resultado sem iniciar uma segunda investigação. Se a ferramenta não consegue resolver um problema cuja resposta você conhece, também não resolverá um cuja resposta você não conhece.
Calcule o custo de saída antes de se comprometer
A pergunta importante não é “isso é bom?”, mas “o que acontece quando eu parar de usar?”.
Uma ferramenta que lê seus arquivos atuais e grava resultados em formatos comuns pode ser abandonada quase sem custo. O mesmo não vale para uma que armazena dados em formato próprio ou da qual todo o restante passa a depender. Se duas opções tiverem méritos parecidos, prefira a reversível: você está comprando a capacidade de errar com baixo custo.
Quando parar de avaliar
Pare quando tiver uma resposta, não quando tiver uma visão completa. A maioria das avaliações deve terminar em menos de uma hora, com um “não” e uma nota de uma linha explicando o motivo. Assim, quando a ferramenta aparecer novamente, você não repetirá o trabalho.
Guarde essa nota em um lugar onde possa encontrá-la depois. O desperdício mais comum é avaliar pela segunda vez uma ferramenta que você já havia rejeitado.