Um agente de crédito que não vê o score
Antes de colocar um agente de IA para opinar sobre crédito, alguém precisa responder se ele acrescenta alguma coisa ou só repete o que o modelo já disse. Aqui o agente escreve o parecer sem enxergar a nota do cliente nem o desfecho do empréstimo. Os dois cortes são de propósito: sem eles, não dá para distinguir raciocínio de repetição.
Palavras sublinhadas têm uma explicação rápida. Toque nelas.
O agente recebe o histórico do cliente e recomenda aprovar ou negar. Ele nunca vê a nota de crédito que o modelo deu, nem se aquele empréstimo virou calote depois.
Se o agente só repete a nota do modelo, ele não acrescenta nada e não justifica o custo de API e de revisão humana. Esconder a resposta é o que separa "aprendeu a ler o cliente" de "decorou o gabarito". E a pergunta tinha que admitir um não: se a separação não passasse do zero, o agente não estaria lendo nada, e era importante que esse resultado fosse possível.
Base pública Home Credit. Antes de gastar 7,52 dólares de API, calculei quantos casos eu precisaria para o teste ter poder de detectar um efeito real, porque teste sem tamanho suficiente não devolve resposta, devolve ruído. Quatro explicações alternativas para o resultado fraco foram testadas e descartadas uma a uma.
A diferença entre os clientes que o agente mandou negar e os que mandou aprovar ficou em 1,3 ponto, com uma margem de erro que passa dos dois lados do zero. Ou seja: nessa população não dá para afirmar que o parecer separa quem dá calote de quem paga. Na faixa de dúvida, o próprio modelo do projeto acerta só 0,56 numa escala em que 0,5 é chute.
A resposta foi não: nessa população, o parecer do agente não separa quem paga de quem dá calote. Está escrito assim no projeto, sem suavizar. Uma versão anterior do texto afirmava algo mais forte e foi corrigida quando eu calculei a margem de erro direito. O valor do trabalho não é a conclusão, é a montagem do teste: ele responde, antes de uma empresa gastar com API e revisão humana, se aquele agente vale o custo.