Como testar um agente de IA antes de colocar em produção: cenários, dados reais e o que medir

Testar um agente de IA antes de produção é rodar conversas reais contra ele em ambiente controlado, avaliar cada resposta por acerto, tom, alucinação e handoff, e só liberar quando ele passa nos casos que mais custam caro se ele errar. Não é “conversar um pouco e achar bacana”. É montar um conjunto de cenários, definir o que é resposta certa em cada um, medir os números e comparar. Um agente que responde bem as perguntas fáceis mas inventa uma política de troca na frente do cliente não está pronto — está perigoso.

Eu construo e coloco esses sistemas em operação no dia a dia. A diferença entre um agente que dá lucro e um que vira dor de cabeça quase nunca está no modelo — está no teste antes de subir. Vou te mostrar exatamente como faço.

Por que testar um agente de IA não é opcional

Um agente de IA fala com o cliente no seu nome. Se ele inventa um prazo de entrega, promete um desconto que não existe ou responde grosso, quem paga a conta é a sua marca — não a tecnologia. E o pior tipo de erro não é o agente travar; é ele responder com confiança uma informação errada. Isso tem nome: alucinação. Já escrevi em detalhe sobre por que a alucinação acontece e como conter com guardrails, mas o teste é onde você descobre se os guardrails realmente seguram antes de o cliente descobrir por você.

A regra é simples: o teste existe para transformar um erro caro (na frente do cliente) num erro barato (na sua tela, antes de subir).

Passo 1: monte o conjunto de cenários (o “caderno de provas”)

Antes de medir qualquer coisa, você precisa de uma lista de conversas para rodar contra o agente. Eu divido sempre em três tipos:

• Casos fáceis: as perguntas mais frequentes, do jeito que o cliente pergunta de verdade. “Qual o prazo de entrega pra São Paulo?”, “Vocês têm na cor preta?”, “Como faço pra trocar?”. É o volume do dia a dia.
• Casos difíceis: perguntas ambíguas, com erro de português, várias perguntas na mesma mensagem, cliente que muda de ideia no meio. É onde o chatbot antigo trava e o bom agente precisa se sair bem.
• Casos-armadilha: aqui é o que separa o profissional do amador. Pergunte coisas que não estão na base de conhecimento e veja se ele inventa. Peça um desconto que a empresa não dá. Xingue. Peça algo fora do escopo (“me indica um concorrente”). Tente extrair dados de outro cliente. O agente tem que dizer “não sei” ou acionar o humano — nunca inventar.

Não persiga um número mágico de casos. Comece com 30 a 50 conversas que cobrem os pedidos mais frequentes e os erros mais caros. Vale mais 40 cenários bem escolhidos do que 300 variações da mesma pergunta boba.

O teste de um agente não é ver se ele acerta o fácil. É ver o que ele faz quando não sabe a resposta. Um bom agente sabe dizer “não sei” e chamar uma pessoa.

Passo 2: use dados reais, não exemplos inventados

A maior fonte de bons casos de teste é o seu próprio histórico. Pegue conversas reais do WhatsApp, do e-mail, do chat — as perguntas que os clientes já fizeram nos últimos meses. Anonimize o que for dado pessoal (isso é obrigação da LGPD; falo mais em LGPD e segurança de dados em agentes de IA) e transforme essas conversas em cenários de teste.

Por quê? Porque a forma como você imagina que o cliente pergunta é sempre mais limpa do que a realidade. O cliente manda áudio, erra o nome do produto, pergunta três coisas de uma vez e usa gíria. Testar com dado real é a única forma de o agente enfrentar a linguagem que ele vai encontrar de verdade.

Passo 3: defina o que é “resposta certa” antes de rodar

Aqui mora o erro mais comum: rodar o teste e julgar a resposta “no olho”, depois de ver. Isso vicia o resultado — você acaba aceitando qualquer coisa que soa bem. Antes de rodar, escreva ao lado de cada cenário o que uma boa resposta precisa conter. Não a frase exata, mas os critérios:

• Trouxe a informação correta (prazo, preço, política)?
• Ficou no tom da marca?
• Não inventou nada que não está na base?
• Acionou o handoff para humano quando o caso exigia?
• Executou a ação certa (consultou pedido, registrou, agendou), quando era o caso?

Com os critérios escritos antes, o teste vira objetivo: passou ou não passou. Isso é o que separa homologar de “achismo”.

Passo 4: as métricas que realmente importam

Depois de rodar os cenários, você tem números. Estes são os que eu olho — e nenhum deles é métrica de vaidade:

• Taxa de resposta correta: de todos os casos, em quantos o agente entregou a informação certa e completa.
• Taxa de alucinação: em quantos ele inventou algo. Essa métrica precisa ser praticamente zero nos casos-armadilha. Uma alucinação num teste vale por dez erros no fácil.
• Aderência ao tom e às políticas: ele fala como a sua marca e respeita as regras (não dá desconto que não existe, não promete o que não pode)?
• Taxa de handoff correto: ele passou para o humano nos casos que exigiam e não passou nos que ele mesmo resolvia? Handoff cedo demais entope o time; tarde demais irrita o cliente. Detalhei o critério em handoff humano em agentes de IA.
• Tempo até resolver: quantas trocas de mensagem o agente levou para resolver de verdade — não quantas mensagens ele mandou.

Repare que “quantidade de conversas atendidas” não está aqui. Volume não diz se o agente está pronto; diz só que ele está falando muito. O que importa é a qualidade do que ele fala — a mesma lógica que uso para medir um agente de recuperação de vendas sem métrica de vaidade.

Passo 5: subir em produção com rede de segurança

Passou no teste controlado? Ainda não solte para 100% dos clientes. O caminho seguro tem degraus:

1. Sombra (shadow): o agente responde, mas a resposta não vai para o cliente — vai para você conferir. Ele “trabalha” em paralelo ao humano e você compara.
2. Fração pequena: libere para 5% a 10% do tráfego real, com um humano monitorando as conversas em tempo real e podendo assumir a qualquer momento.
3. Escala gradual: se os números se mantêm, aumenta a fatia. Se aparece um erro novo, você corrige com pouco cliente exposto — não com a base inteira.

Esse ritmo de subir com segurança é parte do mesmo método que descrevo em como implantar agentes de IA numa empresa em 30 dias. A pressa de ligar tudo de uma vez é exatamente onde o projeto de IA quebra.

Passo 6: teste de novo a cada mudança

O erro que pega muita gente depois do lançamento: mexer no agente e não retestar. Toda vez que você muda a instrução (o system prompt), atualiza a base de conhecimento, troca o modelo ou adiciona uma ferramenta nova, existe risco de quebrar o que já funcionava. Rode o mesmo conjunto de cenários de novo — é o equivalente ao “teste de regressão” do software. Guardar o caderno de provas e reusá-lo é o que permite evoluir o agente sem medo. Se você quer entender as peças que uma mudança dessas afeta, vale reler a anatomia de um agente de IA que funciona.

No fim, testar um agente de IA é a parte menos glamourosa e mais lucrativa do projeto. É ela que faz o agente chegar no cliente pronto — e não virar aquele caso de “colocamos IA e deu ruim” que assombra tanta empresa. Se você quer implantar IA na sua operação do jeito certo, é assim que eu trabalho: com teste antes, rede de segurança na subida e medição depois. Veja como eu faço IA e performance ou fale comigo direto.

Perguntas frequentes