Como medir de verdade o resultado de um agente de recuperação de vendas (e não se enganar com métrica de vaidade)

O resultado de um agente de recuperação de vendas se mede por receita incremental: a diferença de conversão entre quem recebeu o agente e um grupo de controle equivalente que não recebeu nada, na mesma janela de tempo. Qualquer outro número — mensagens enviadas, taxa de entrega, conversas iniciadas, até a "receita recuperada" que o painel exibe — descreve atividade, não resultado. Sem grupo de controle, você não está medindo o agente. Está apenas somando vendas que passaram perto dele.

Eu opero agentes de recuperação na minha agência e implanto o mesmo motor em clientes. A conversa mais difícil de todo projeto é justamente esta: explicar por que o número bonito do painel não é o número que entra no caixa. Vamos direto.

Por que "receita recuperada" quase sempre está inflada

O painel de um agente de recuperação normalmente conta assim: o cliente abandonou o carrinho, o agente mandou mensagem, o cliente comprou em até 72 horas, logo a venda é do agente. É atribuição de último toque aplicada a um canal que fala com gente que já estava comprando. Três coisas contaminam esse número:

• A venda que aconteceria de qualquer jeito. Boa parte de quem abandona carrinho volta sozinho — trocou de dispositivo, foi almoçar, esperou o salário cair. O agente entrou no meio e levou o crédito.
• A canibalização de canal. A pessoa já tinha visto seu remarketing, seu e-mail e seu anúncio. O agente foi o último a falar, não o que convenceu.
• O desconto que virou custo. Se o agente fecha com 10% off, parte daquela "receita recuperada" é margem que você mesmo devolveu — inclusive para quem pagaria cheio.

Nada disso significa que o agente não funciona. Significa que você não sabe o tamanho do efeito enquanto não isolar o experimento. E não saber o tamanho é o que faz empresa renovar contrato ruim e cortar contrato bom.

Não existe métrica errada de propósito. Existe métrica que sobe quando o robô trabalha mais — e métrica que sobe quando a empresa vende mais. Confundir as duas custa contrato.

Métrica de vaidade x métrica de resultado

Tabela direta. À esquerda o que aparece em toda apresentação de fornecedor; à direita o que você deveria estar cobrando.

Como montar o grupo de controle (o passo que ninguém quer dar)

Grupo de controle, ou holdout, é uma fatia dos clientes elegíveis que não recebe nada. Parece contraintuitivo abrir mão de receita de propósito. Na prática é o investimento mais barato que você faz: é o que te dá o direito de dizer um número em reunião sem ser desmentido.

1. Defina elegibilidade com precisão. "Abandonou carrinho acima de R$ 100 nas últimas 4 horas e não comprou" é elegibilidade. "Cliente da base" não é.
2. Sorteie de 10% a 20% no momento em que a pessoa se torna elegível — não depois. Separar depois é escolher a dedo, e escolher a dedo destrói o teste.
3. Bloqueie o contato desse grupo em todos os canais do agente. Se ele recebe o e-mail automático mas não o WhatsApp, o teste mede meia coisa.
4. Mantenha por um ciclo completo de compra. Encerrar cedo é a forma mais comum de ver resultado que não existe.
5. Compare taxa de conversão, não valores absolutos — os grupos têm tamanhos diferentes.

Um detalhe que salva a análise: registre a data de entrada no experimento, não só a data da venda. Sem isso você compara pessoas que tiveram 30 dias de janela com pessoas que tiveram 3.

A conta completa da receita incremental

Vou usar números de exemplo para mostrar a estrutura. Substitua pelos seus — os seus são os únicos que importam.

Note o tamanho do erro: o painel diria 510 pedidos e R$ 107.100. O número honesto é 170 pedidos e R$ 35.700. Três vezes menor — e ainda assim um resultado excelente, que vale contratar. A diferença é que agora ele é defensável.

Do incremento para o lucro: os custos que somem do slide

Margem incremental não é lucro. Faltam quatro linhas que raramente aparecem na proposta do fornecedor:

• Desconto concedido pelo agente. Se ele fecha com cupom, some tudo que foi dado — inclusive para quem pagaria cheio. É a linha mais esquecida e a que mais come resultado.
• Custo de conversa. Na WhatsApp Business Platform da Meta, iniciar conversa fora da janela de 24 horas exige modelo de mensagem aprovado e é cobrado. Multiplique pelo volume de tentativas, não pelo de vendas.
• Plataforma e infraestrutura. Mensalidade, uso de modelo de linguagem, integrações.
• Hora humana. Supervisão, correção de resposta ruim, atendimento escalado. Isso não some quando você automatiza — só muda de lugar.

Seguindo o exemplo acima: R$ 14.994 de margem incremental, menos R$ 3.100 de descontos, menos R$ 1.900 de conversas e plataforma, menos 20 horas humanas a R$ 60 (R$ 1.200) → R$ 8.794 de lucro líquido sobre R$ 6.200 de custo total. ROI de 1,42 sobre custo — ou seja, cada real gasto devolveu R$ 1,42 de lucro. Esse é o número que se leva para o conselho. Para dimensionar a linha de investimento antes de contratar, eu detalhei faixas em quanto custa IA para empresas.

Os sete números que ficam no meu painel

Dois provam resultado. Cinco protegem a operação. Nenhum deles é "mensagens enviadas".

1. Receita incremental vs. controle — o número principal, atualizado por ciclo.
2. Lucro líquido sobre custo total — o número que decide renovação.
3. Taxa de resposta em 24h — saúde do primeiro contato. Cai? A mensagem ou a lista degradou.
4. Taxa de escalonamento para humano — muito alta significa agente incapaz; muito baixa significa agente teimoso.
5. Taxa de opt-out e bloqueio — o custo invisível. Cada descadastro é um cliente que você perdeu para sempre naquele canal.
6. Taxa de erro por amostragem — percentual de conversas lidas à mão em que o agente informou algo errado.
7. Tempo até a primeira resposta humana nos casos escalados — de nada adianta o robô ser rápido se o time demora dois dias.

O item 5 merece destaque. Opt-out é dívida: ele não aparece no mês em que acontece, aparece seis meses depois quando a base parou de reagir. Eu trato aumento de descadastro como alarme vermelho, mesmo com a receita subindo.

A regressão silenciosa: quando o agente piora e o painel não conta

Agente de IA não quebra com erro na tela. Ele degrada. Muda o catálogo, muda a política de frete, entra um produto novo — e o agente segue respondendo com confiança total sobre a realidade antiga. As métricas agregadas demoram semanas para acusar.

A única defesa que eu conheço é barata e chata: ler 30 a 50 conversas reais por semana, à mão, sorteadas ao acaso. Classificar cada uma em correta, imprecisa ou errada. Isso vira a sua taxa de erro por amostragem, e é o indicador que antecipa queda de conversão em semanas. Na minha operação, esse ritual já pegou coisa que nenhum gráfico pegaria — agente oferecendo item fora de linha, prometendo prazo que a logística não cumpre, insistindo com quem tinha pedido para parar.

Se você ainda está estruturando o agente em si, o desenho dessas travas está em agentes de IA para e-commerce recuperando vendas e o raciocínio de qualificação, em SDR de IA.

Checklist antes de aprovar ou renovar um contrato

1. Existe grupo de controle ativo? Se a resposta for "não precisa", já sabe o que fazer.
2. O número apresentado é incremental ou bruto? Peça a conta, não o slide.
3. Os descontos concedidos pelo agente estão descontados do resultado?
4. O custo de conversa e a hora humana entraram na conta de ROI?
5. Qual a taxa de opt-out no período — e ela subiu?
6. Quem lê as conversas à mão, com que frequência, e qual foi a taxa de erro do último mês?
7. A janela de atribuição está declarada e é a mesma para os dois grupos?

Sete perguntas. Um fornecedor sério responde todas sem desconforto. Se travar em três, o problema não é o agente — é a medição, e você vai pagar por ela.

Por que eu insisto tanto nisso

Quando apresentei um caso de ROI 10,48 ao vivo num evento de Meta Business Partners, o que sustentou o palco não foi a criatividade do anúncio: foi ter a conta fechada, com custo real e receita rastreada, do clique até o pedido pago. É a mesma disciplina aqui. Um agente de IA é um investimento como qualquer outro — e investimento que não se mede direito vira fé.

Medir com honestidade tem um efeito secundário que ninguém espera: você para de discutir se IA funciona e começa a discutir onde ela funciona melhor. Aí a conversa fica boa. Depois que o agente de recuperação está medido, o passo natural é estender a régua para o pós-venda inteiro — escrevi o método completo em recompra e pós-venda com agentes de IA. E se quiser ver como eu conecto tráfego, marca e atendimento numa operação só, comece por esta página.

Perguntas frequentes