O agente acrescenta algo ao modelo de crédito? Does the agent add anything to the credit model?
Antes de colocar um agente de IA para opinar sobre crédito, alguém precisa responder se ele acrescenta alguma coisa ou só repete o que o modelo já disse. Aqui o agente escreve o parecer sem enxergar a nota do cliente nem o desfecho do empréstimo. Os dois cortes são de propósito: sem eles, não dá para distinguir raciocínio de repetição. Before putting an AI agent in charge of opining on credit, someone has to answer whether it adds anything or just repeats what the model already said. Here the agent writes its opinion without seeing the client’s score or the loan’s outcome. Both cuts are deliberate: without them, there’s no way to tell reasoning apart from repetition.
Palavras sublinhadas têm uma explicação rápida. Toque nelas. Underlined words have a quick explanation. Tap them.
O agente recebe o histórico do cliente e recomenda aprovar ou negar. Ele nunca vê a nota de crédito que o modelo deu, nem se aquele empréstimo virou calote depois. The agent receives the client’s history and recommends approving or denying. It never sees the credit score the model assigned, nor whether that loan later defaulted.
Se o agente só repete a nota do modelo, ele não acrescenta nada e não justifica o custo de API e de revisão humana. Esconder a resposta é o que separa "aprendeu a ler o cliente" de "decorou o gabarito". E a pergunta tinha que admitir um não: se a separação não passasse do zero, o agente não estaria lendo nada, e era importante que esse resultado fosse possível. If the agent just repeats the model’s score, it adds nothing and doesn’t justify the API and human-review cost. Hiding the answer key is what separates "learned to read the client" from "memorized the answer." And the question had to allow for a no: if the separation didn’t clear zero, the agent wouldn’t be reading anything at all, and it mattered that this outcome was even possible.
Usei a base pública Home Credit e escondi do agente o score e o desfecho. Investiguei explicações para o sinal fraco; duas foram descartadas, outras seguem inconclusivas. O estudo terminou menor do que o necessário para detectar efeitos pequenos. Na etapa seguinte, fiz backtest temporal do modelo em três safras e publiquei um painel para inspecionar sua estabilidade. I used the public Home Credit data and hid the score and outcome from the agent. I investigated explanations for the weak signal; two were ruled out, while others remain inconclusive. The study ended smaller than needed to detect small effects. Next, I backtested the model across three time cohorts and published a dashboard to inspect its stability.
Em 564 casos finais, a diferença entre os grupos que o agente recomendou negar e aprovar foi de 1,3 ponto percentual (IC de 95%: -6,7 a +9,2). O teste não demonstrou sinal adicional, mas também era pequeno para excluir efeitos menores. Depois passei a monitorar o modelo de crédito em três safras, com 1.526.659 propostas: o painel mostra discriminação, calibração e mudança no tempo. A disponibilidade temporal de seis variáveis ainda precisa ser provada antes de qualquer decisão real. Across 564 final cases, the difference between groups the agent recommended denying and approving was 1.3 percentage points (95% CI: -6.7 to +9.2). The test did not demonstrate added signal, but was also too small to rule out smaller effects. I then monitored the credit model across three cohorts and 1,526,659 applications: the dashboard shows discrimination, calibration and change over time. Point-in-time availability of six features still needs proof before any real decision.
Eu não colocaria o parecer do agente na decisão de crédito com esta evidência. O intervalo é largo, e o custo de API e revisão precisa de ganho demonstrado. O painel da etapa seguinte torna visível outra pergunta: mesmo sem agente, o modelo mantém desempenho e calibração ao longo do tempo? Por enquanto, também é pesquisa, não um sistema de concessão. I would not put the agent opinion into credit decisions on this evidence. The interval is wide, and API plus review costs need a demonstrated benefit. The dashboard from the next stage exposes another question: even without the agent, does the model hold its performance and calibration over time? For now it is research, not a lending system.
Ver a demonstração ao vivo → See the live demo → Código no GitHub → Code on GitHub →