Luiz Maibashi Economista · construo e meço sistemas de IA Economist · I build AI systems and measure them

Projetos Projects

política pública · decisão public policy · decision Resultado positivo Positive result ago-set 2026 Aug–Sep 2026

Painel de priorização municipal de alfabetização Municipal literacy prioritization dashboard

Um secretário de educação tem verba para atender poucos municípios por ano e precisa escolher quais. O painel ordena os municípios do estado pelo risco de furar a meta de alfabetização no ano seguinte, e faz o que quase nenhum modelo faz: quando o dado daquele estado não sustenta a previsão, ele escreve "não sei" na tela em vez de entregar um número inventado. An education secretary has budget to reach a handful of municipalities per year and has to choose which ones. The dashboard ranks a state’s municipalities by the risk of missing next year’s literacy target, and does what almost no model does: when that state’s data doesn’t support the prediction, it writes "I don’t know" on the screen instead of handing over a made-up number.

Palavras sublinhadas têm uma explicação rápida. Toque nelas. Underlined words have a quick explanation. Tap them.

onde o painel aceita opinarwhere the dashboard agrees to opine
  • 14 usa o modelo uses the model bateu a regra simples no teste beat the simple rule in the test
  • 1 usa a regra simples uses the simple rule o modelo não superou the model didn't beat it
  • 8 não arrisca palpite won't risk a guess o dado não sustenta previsão the data doesn't support a prediction
Um terço dos estados sai da tela sem recomendação. Essa é a parte que dá para vender: o painel não entrega um número onde o teste não provou que o número vale alguma coisa. A third of the states come off the screen with no recommendation. That's the part worth selling: the dashboard doesn't hand over a number where the test hasn't proven that number is worth anything.
O QUÊ WHAT

Um painel que coloca os municípios de um estado em ordem de risco de não bater a meta de alfabetização no ano seguinte. E que avisa na própria tela quando os dados daquele estado não dão base para essa previsão. A dashboard that ranks a state’s municipalities by the risk of missing next year’s literacy target. And that warns right on the screen when that state’s data doesn’t support the prediction.

POR QUÊ WHY

Um secretário com orçamento curto precisa saber onde agir primeiro. Um modelo que erra calado é pior do que não ter modelo nenhum: ele manda gastar verba no município errado com cara de decisão técnica, e isso torna o erro difícil de contestar depois. A secretary with a tight budget needs to know where to act first. A model that fails silently is worse than no model at all: it sends money to the wrong municipality wearing the mask of a technical decision, which makes the mistake hard to challenge afterward.

COMO HOW

Só dado público (INEP, IBGE, Censo Escolar), com a origem de cada arquivo conferida por assinatura digital, para ninguém ter que acreditar na minha palavra. O teste imita a situação real: treina só com o passado, tenta prever 2025 sem ver a resposta, e depois compara com o que de fato aconteceu. Onde o modelo não consegue superar a regra mais simples, o painel recomenda a regra simples ou a abstenção. Only public data (INEP, IBGE, the School Census), with each file’s origin checked by digital signature, so nobody has to take my word for it. The test mimics the real situation: it trains only on the past, tries to predict 2025 without seeing the answer, and then compares against what actually happened. Where the model can’t beat the simplest rule, the dashboard recommends the simple rule or abstention.

RESULTADO RESULT

No teste que previu 2025 em 5.285 municípios, a concordância par a par do modelo (sorteados dois municípios, a chance de apontar corretamente qual corria mais risco, a mesma ideia da métrica AUC) foi de 62% (média ponderada pelo número de municípios de cada estado), contra 45% da regra simples e 50% do puro acaso. Ele recomenda usar o modelo em 14 estados, a regra simples em 1 e não arriscar palpite em 8. In the test that predicted 2025 across 5,285 municipalities, the model’s pairwise agreement (pick two municipalities at random, the odds of correctly pointing to the riskier one, the same idea behind the AUC metric) was 62% (averaged across states, weighted by each state’s number of municipalities), against 45% for the simple rule and 50% for pure chance. It recommends using the model in 14 states, the simple rule in 1, and no guess at all in 8.

modelo · 62% model · 62% regra simples · 45% simple rule · 45%
LEITURA TAKEAWAY

A primeira tentativa previa criança por criança e perdeu de uma regra simples. Mudei o alvo para o município e testei a previsão no ano seguinte. Em 14 estados o teste deu suporte ao uso do modelo; em outros, recomenda uma regra simples ou abstenção. Há apenas uma transição temporal avaliada, e o painel ainda não foi adotado por uma secretaria. The first attempt predicted each child and lost to a simple rule. I moved the target to municipalities and tested the forecast on the following year. In 14 states the test supports using the model; elsewhere it recommends a simple rule or abstention. Only one temporal transition has been evaluated, and no education authority has adopted the dashboard yet.