“Ajustei o prompt… será que melhorou?”
Você mexe numa instrução, testa duas ou três vezes, parece bom e sobe pra produção. Aí o cliente reclama, você mexe de novo, conserta uma coisa e quebra outra sem perceber. Isso é desenvolver IA no escuro — e é o que trava a maioria.
A IA é imprevisível
A mesma pergunta pode ter respostas diferentes. Sorte no teste não é qualidade em produção.
Você não sabe se piorou
Consertar o caso A costuma quebrar o caso B — e sem medir, você só descobre pelo cliente irritado.
Queima tempo e dinheiro
Retrabalho infinito, prompt inchado e conta de IA cara porque ninguém mede o que importa.
Uma eval é um teste de software pra sua IA
Assim como programador testa código, você testa prompt. Toda eval tem 4 peças simples. Entendeu isso, entendeu tudo.
Input
A situação/entrada que você dá pro agente. Ex: “Cliente perguntou o preço no primeiro contato.”
Golden answer
A resposta ideal — o que você QUERIA que ele fizesse. É o seu gabarito.
Model output
O que a IA realmente respondeu naquele caso.
Score
A nota: acertou ou não? Somando todos os casos, você tem % de acerto do prompt.
A nota costuma ser simples: acertos ÷ total. Rodou 50 casos, acertou 47? Nota 94%. Mudou o prompt e caiu pra 88%? Você piorou — e agora sabe.
O loop que faz a IA subir de nota
Esse é um agente de qualificação sendo testado em 5 casos difíceis. Clique em “melhorar o prompt” e veja a nota subir a cada volta — é exatamente assim que uma eval faz seu agente evoluir.
“Quero saber o preço.”
esperado: Qualifica antes (pra quem é, tamanho) em vez de cuspir preço
Áudio confuso e cortado
esperado: Pede pra reformular com educação, sem travar
Pergunta fora do escopo
esperado: Responde curto e traz de volta pro funil
“Fechado, como pago?”
esperado: Avança a etapa e agenda / manda link, sem enrolar
“Tá caro, faz desconto?”
esperado: Contorna a objeção sem dar desconto por conta própria
Simulação didática. Cada "melhoria" corrige o prompt com base nos casos que falharam — e a nota sobe. Esse é o loop de uma eval.
3 passos pra evoluir qualquer prompt
Analisar, medir, melhorar — e repetir. Simples de entender, poderoso de aplicar.
Analisar
Junte 50 a 100 casos reais do que seus usuários (ou clientes) realmente perguntam — incluindo os erros, os áudios confusos e as perguntas fora de ordem. É o mundo real, não o caso perfeito.
monte o golden datasetMedir
Rode o prompt em todos os casos e dê nota. Pode ser um modelo mais forte avaliando (LLM como juiz) ou uma checagem simples por código (ex: o output é um JSON válido? contém o campo certo?).
LLM-juiz ou checagem por códigoMelhorar
Olhe SÓ os casos que falharam. Conserte a instrução confusa, ajuste o prompt e rode o teste de novo. Repita. Cada volta a nota sobe — e você tem prova, não achismo.
conserte os que falharam e repitaDois jeitos de “medir”: checagem por código (rápida e objetiva — “a saída é um JSON válido?”, “contém o campo obrigatório?”) e o LLM como juiz (um modelo mais forte lê a resposta e dá nota, ótimo pra qualidade de linguagem e tom). Na prática, você usa os dois.
A mesma IA, melhorando em tudo
Uma vez que você tem o loop, ele funciona pra qualquer coisa que o agente faça. Você define o “certo” de cada tarefa, mede, e ela converge pro que você quer — no seu contexto, não num genérico.
Qualificação
Ela pergunta o certo, na ordem certa, e classifica o lead como você faria?
Follow-up
O texto de retomada é específico do contexto ou aquele “oi, tudo bem?” genérico?
Agendamento
Ela confirma horário, evita conflito e registra direito, mesmo quando o cliente enrola?
Auditoria
Ela lê o histórico e aponta o gargalo real do funil, não um resumo raso?
O “evolui sozinha” de verdade: com o golden dataset montado, dá pra automatizar o loop — um modelo forte olha os casos que falharam, propõe um ajuste no prompt, roda a eval de novo e mantém a versão que tirou a maior nota. Você deixa de “consertar bot” e passa a operar um sistema que se afina sozinho.
Por que eval é dinheiro
Isso não é firula técnica. É o que faz seu agente converter mais e o que transforma entrega pontual em receita recorrente.
Pra sua empresa
Agente que melhora = mais lead qualificado, mais reunião marcada, menos venda perdida por resposta ruim. Cada ponto de acerto vira conversão.
Pros seus clientes
Você entrega um agente que não degrada — melhora todo mês. Isso justifica cobrar manutenção e evolução: recorrência em vez de projeto solto.
Na sua operação
Menos retrabalho, entrega mais rápida e conta de IA sob controle (prompt afinado gasta menos). Margem maior no mesmo trabalho.
É a diferença entre vender “um bot” e vender inteligência que se mantém. Quer o caminho de monetização? Veja como ganhar dinheiro com IA em 2026.
O que estudar pra dominar isso
A boa notícia: você não precisa de um doutorado. Precisa entender três coisas na ordem. Primeiro, como escrever um prompt claro — instrução, persona, o que fazer e o que NÃO fazer. Segundo, como montar um golden dataset: juntar casos reais, incluindo os confusos, e definir a resposta ideal de cada um. Terceiro, como medir: LLM como juiz pra qualidade e checagem por código pra formato.
Ferramentas ajudam muito. Com o Claude Code dá pra montar e rodar evals sem virar programador — ele escreve o código de teste e organiza o dataset por você. E se você constrói agentes de IA no WhatsApp ou um SDR de IA, a eval é o que separa o que “parece funcionar na demo” do que funciona em produção com cliente real.
Comece pequeno e honesto: pegue UM caso de uso (a qualificação, por exemplo), junte 20 conversas reais, defina o certo de cada uma e rode. Você vai se assustar com quantos casos o seu prompt “bom” erra — e é exatamente essa lista que vira o seu mapa de melhoria. Veja também como criar agentes de IA pra empresas e a qualificação de leads com IA no Kommo.
No fim, eval é o hábito que separa o amador do profissional em IA. Amador confia na sorte do teste; profissional mede, prova e melhora. É esse rigor — não a próxima ferramenta mágica — que faz sua IA (e o seu negócio) crescerem de forma composta. É exatamente isso que a gente ensina e aplica na Metrik.
Dúvidas sobre evals
Eval (de “evaluation”) é um teste automatizado pra medir se o seu prompt ou agente de IA faz o que você quer. Como a IA é imprevisível, testar uma ou duas vezes na mão não prova nada. A eval roda dezenas ou centenas de casos e dá uma nota objetiva (ex: acertou 47 de 50), pra você saber de verdade se melhorou ou piorou.
Pra começar, não. Você pode montar seus casos de teste numa planilha e usar um modelo mais forte pra avaliar as respostas (o “LLM como juiz”). Checagens por código (ex: verificar se a saída é um JSON válido) ajudam e são simples. Com ferramentas de IA como o Claude Code, dá pra automatizar boa parte sem virar programador.
Comece com 50 a 100 casos reais. O segredo não é a quantidade, é a qualidade: inclua os casos difíceis, os erros de digitação, os áudios confusos e as perguntas fora de ordem que seus usuários de verdade fazem. É neles que o prompt quebra — e é ali que a eval mostra o que consertar.
Sim. Qualificação, follow-up, agendamento, auditoria de funil, atendimento — qualquer coisa que a IA faça pode ter uma eval. Você define o que é “resposta certa” pra cada tarefa e mede. Quanto mais crítico o processo, mais vale ter eval.
A eval dá ao agente uma definição clara de “certo” e um sinal de feedback (o que falhou). Com isso, você — ou um loop cada vez mais automatizado — corrige o prompt contra os casos que erraram e mede de novo. A cada volta ele converge pra exatamente o que você quer, no seu contexto. Não é mágica: é medição + correção repetida, que dá pra ir automatizando.
Vale mais ainda pra quem é pequeno. Eval te faz economizar (para de queimar dinheiro em prompt ruim e retrabalho), entregar mais rápido e com qualidade previsível. Pra quem vende IA como serviço, é o que transforma “entreguei um bot” em “mantenho e melhoro seu agente todo mês” — receita recorrente.
Quem mede, evolui. Quem chuta, refaz.
A Metrik ensina a construir agentes de IA que melhoram sozinhos — com eval, método e resultado medido. Quer aplicar isso na sua operação ou vender pros seus clientes?
Falar com a Metrik no WhatsApp