Descobrir quem vira detrator antes da nota do NPS chegar Spotting who turns into a detractor before the NPS score arrives
Um e-commerce só descobre que um cliente virou detrator quando a pesquisa de satisfação chega, depois que o dano já foi feito. O projeto tenta prever isso antes, a partir de dados operacionais do próprio pedido. Mas prever quem vai virar detrator não prova que a ação de recuperação (cupom, atendimento prioritário) funciona: são duas perguntas diferentes, e a segunda é a que decide se o ROI prometido existe de verdade. An e-commerce business only finds out a customer turned into a detractor when the satisfaction survey comes back, after the damage is already done. The project tries to predict this beforehand, from the order’s own operational data. But predicting who will become a detractor doesn’t prove the recovery action (a coupon, priority support) actually works: those are two different questions, and the second one is what decides whether the promised ROI is real.
Palavras sublinhadas têm uma explicação rápida. Toque nelas. Underlined words have a quick explanation. Tap them.
Duas coisas: um classificador que aponta se um pedido em andamento vai virar Detrator, Neutro ou Promotor, e o desenho de um experimento causal pra medir se a ação de recuperação (cupom, atendimento prioritário) muda esse desfecho de verdade e gera o ROI que a simulação promete. Two things: a classifier that flags whether an order in progress will turn into a Detractor, Neutral or Promoter, and the design of a causal experiment to measure whether the recovery action (a coupon, priority support) actually changes that outcome and delivers the ROI the simulation promises.
Antecipar risco importa, mas antecipar sem provar que a ação funciona é gastar cupom sem garantia de retorno. As duas perguntas (quem vai virar detrator, e a ação muda isso) pedem métodos diferentes: classificação resolve a primeira, inferência causal é o que resolve a segunda. Anticipating risk matters, but anticipating without proving the action works means spending coupons with no guaranteed return. The two questions (who will become a detractor, and does the action change that) call for different methods: classification solves the first, causal inference is what solves the second.
Uma auditoria em setembro encontrou 10 lacunas no roadmap de abril, incluindo calibração ruim. Recalibrei o modelo e desenhei o experimento causal com resultado oculto para quem mede. Sem CRM real, rodei o método em dados sintéticos para testar o procedimento, não o efeito de uma ação em clientes. A September audit found 10 gaps in the April roadmap, including poor calibration. I recalibrated the model and designed a causal experiment with the outcome hidden from the evaluator. Without a real CRM, I ran the method on synthetic data to test the procedure, not the effect of an action on customers.
Auditei o próprio projeto e corrigi 10 lacunas, incluindo a calibração do classificador: o erro caiu de 0,10 para 0,01 após recalibração isotônica. Uma simulação com custos assumidos favoreceu ajustar o corte de decisão, mas o ganho em reais e o ROI dependem de premissas ainda não medidas. Desenhei um teste A/B para a ação de recuperação; por enquanto ele só foi exercitado em dados sintéticos, sem CRM ou clientes reais. I audited my own project and fixed 10 gaps, including classifier calibration: the error fell from 0.10 to 0.01 after isotonic recalibration. A simulation with assumed costs favored adjusting the decision threshold, but monetary savings and ROI depend on assumptions that have not been measured. I designed an A/B test for the recovery action; so far it has only been exercised on synthetic data, with no real CRM or customers.
A parte que mais me interessa aqui não é a acurácia do classificador, é não confundir previsão com prova de causa. O modelo aponta risco, ele não prova que o cupom funciona. Nada nesse protótipo afirma um ROI medido: toda saída da fase causal carrega o rótulo "dados sintéticos, demonstração de método". A auditoria do próprio roadmap segue a mesma régua, só conta como concluído o que foi de fato verificado, não o que foi planejado. The part that interests me most here isn’t the classifier’s accuracy, it’s not confusing prediction with proof of causation. The model flags risk, it doesn’t prove the coupon works. Nothing in this prototype claims a measured ROI: every output from the causal phase carries the label "synthetic data, method demonstration." The audit of my own roadmap follows the same yardstick, only counting as done what was actually verified, not what was planned.
Ver a demonstração ao vivo → See the live demo → Código no GitHub → Code on GitHub →