Descobrir quem vira detrator antes da nota do NPS chegar
Um e-commerce só descobre que um cliente virou detrator quando a pesquisa de satisfação chega, depois que o dano já foi feito. O projeto tenta prever isso antes, a partir de dados operacionais do próprio pedido. Mas prever quem vai virar detrator não prova que a ação de recuperação (cupom, atendimento prioritário) funciona: são duas perguntas diferentes, e a segunda é a que decide se o ROI prometido existe de verdade.
Palavras sublinhadas têm uma explicação rápida. Toque nelas.
Duas coisas: um classificador que aponta se um pedido em andamento vai virar Detrator, Neutro ou Promotor, e o desenho de um experimento causal pra medir se a ação de recuperação (cupom, atendimento prioritário) muda esse desfecho de verdade e gera o ROI que a simulação promete.
Antecipar risco importa, mas antecipar sem provar que a ação funciona é gastar cupom sem garantia de retorno. As duas perguntas (quem vai virar detrator, e a ação muda isso) pedem métodos diferentes: classificação resolve a primeira, inferência causal é o que resolve a segunda.
Depois do classificador calibrado, uma auditoria em setembro achou que o roadmap de abril não estava concluído de fato: 10 lacunas reais, incluindo o próprio modelo mal calibrado, corrigido com recalibração isotônica. Como não existe CRM real disponível pra testar a ação de recuperação, o desenho do experimento causal roda sobre dado sintético, com o efeito escondido do lado de quem mede, pra provar o método sem inventar um resultado.
Um roadmap de abril que dizia "concluído" não estava: auditei o próprio projeto em setembro e corrigi 10 lacunas reais, entre elas o próprio classificador mal calibrado (erro de calibração caiu de 0,10 para 0,01 com recalibração isotônica). Calibrar o corte de decisão pelo custo real do negócio, em vez do padrão 0,5, economiza R$ 25.512 por mês frente ao corte ingênuo. O ROI de 222% que a simulação estima, porém, depende de premissas de retenção e valor do cliente que ninguém mediu de verdade. Por isso desenhei um experimento causal (A/B) pra medir esse efeito de fato, com um protótipo de método em dado sintético, já que não existe CRM real disponível agora pra testar a ação com clientes de verdade.
A parte que mais me interessa aqui não é a acurácia do classificador, é não confundir previsão com prova de causa. O modelo aponta risco, ele não prova que o cupom funciona. Nada nesse protótipo afirma um ROI medido: toda saída da fase causal carrega o rótulo "dados sintéticos, demonstração de método". A auditoria do próprio roadmap segue a mesma régua, só conta como concluído o que foi de fato verificado, não o que foi planejado.