Luiz Maibashi Economista · construo e meço sistemas de IA Economist · I build AI systems and measure them

O método The method

Quando uma automação entrega um relatório diariamente, a primeira pergunta não é se ela rodou. É se o dado que saiu ainda merece confiança. Levo a mesma pergunta aos projetos: qual decisão precisa melhorar, que evidência temos e o que pode invalidar a resposta? Organizei esse raciocínio em sete etapas. When an automation delivers a report every day, the first question is not whether it ran. It is whether the output still deserves trust. I bring the same question to my projects: which decision needs to improve, what evidence do we have and what could invalidate the answer? I organized this reasoning into seven steps.

o ciclo the cycle

Sete etapas, que se repetem Seven steps, that repeat

Palavras sublinhadas no texto do site têm uma explicação rápida. Toque nelas. Underlined words in the site's text have a quick explanation. Tap them.

1 2 3 4 5 6 7
ETAPA 1 / 7 STEP 1 / 7

Captura de material bruto Capturing raw material

Tudo que eu leio, assisto ou estudo entra primeiro numa caixa de entrada, sem nenhum tratamento. Ainda não é conhecimento, é só matéria-prima na fila. Se for material de curso, ele só sai dessa caixa depois que eu escrevo um resumo com as minhas palavras. Ler o resumo pronto da máquina dá a sensação de ter aprendido sem ter aprendido. Everything I read, watch or study goes first into an inbox, untouched. It isn't knowledge yet, just raw material waiting in line. If it's course material, it only leaves that inbox after I write a summary in my own words. Reading the machine's ready-made summary feels like learning without actually learning.

Clique nos números para percorrer o ciclo. Click the numbers to move through the cycle.

a base the knowledge base

Não é conversa, é arquivo It's not a conversation, it's a file

A parte cara de trabalhar com IA não é o que ela escreve. É o que eu preciso reexplicar antes: o que já foi decidido, qual conceito se aplica, onde o projeto parou. Aqui isso é arquivo versionado, lido na mesma ordem toda sessão. No dia em que eu trocar de assistente, o que ele precisa saber já está escrito. The expensive part of working with AI isn't what it writes. It's what I need to re-explain beforehand: what's already been decided, which concept applies, where the project left off. Here that's a versioned file, read in the same order every session. The day I switch assistants, everything it needs to know is already written down.

AGENTS.md na raiz da base at the root of the base O contrato de operação The operating contract que postura assumir, o que contestar, onde não encostar sem aval. what stance to take, what to push back on, where not to touch without sign-off. INDEX.md o mapa das frentes the map of open threads O menu, não o conteúdo The menu, not the content uma linha por frente aberta. Nada além disso é carregado. one line per open thread. Nothing beyond that gets loaded. frentes/<nome>.md só a escolhida only the chosen one Abre uma frente só Opens a single thread o estado daquele trabalho, com o próximo passo escrito. the state of that work, with the next step written down. durante o trabalho regras e rotinas rules and routines A regra entra com o arquivo The rule arrives with the file tocou num arquivo de dados, as regras de dado chegam junto. touch a data file, the data rules come along with it. frentes/<nome>.md escrita de volta writing back Encerra escrevendo Closes by writing só na frente tocada, para sessões paralelas não se atropelarem. only to the thread touched, so parallel sessions don’t trample each other.
Nenhuma etapa depende de eu explicar de novo. O protocolo, o mapa e o estado de cada frente são arquivos de texto versionados no Git, lidos na ordem. No step depends on me explaining it again. The protocol, the map and the state of each thread are plain-text files versioned in Git, read in order.

Um protocolo só, que qualquer ferramenta lê One single protocol, that any tool can read

Um arquivo na raiz define o contrato de operação: que papel o assistente assume, em que ponto ele tem obrigação de me contestar, como traduzir decisão técnica em custo e risco, e onde ele não encosta sem aprovação. Nada disso é escrito para um assistente específico: trocar de ferramenta custa apontar para o mesmo texto, não reescrever o método. A file at the root defines the operating contract: what role the assistant takes on, at what point it's obligated to push back on me, how to translate a technical decision into cost and risk, and where it doesn't touch anything without approval. None of this is written for a specific assistant: switching tools costs pointing at the same text, not rewriting the method.

O índice primeiro, o conteúdo só quando escolhido The index first, content only once chosen

Passado certo ponto, a máquina começa a perder o que foi dito no começo da conversa. Então o assistente abre um índice com uma linha por frente de trabalho, e só abre o arquivo da frente que eu escolher. Carregar tudo "para ter contexto" é o que faz a resposta piorar justamente no trabalho mais longo. Past a certain point, the machine starts losing what was said at the start of the conversation. So the assistant opens an index with one line per open thread, and only opens the file for the thread I choose. Loading everything "for context" is exactly what makes the response get worse on the longest work.

A regra chega junto com o arquivo The rule arrives with the file

As regras de tratamento de dado não ficam num documento que alguém precisa lembrar de abrir. Elas entram sozinhas quando o assistente toca num arquivo de dados: não usar informação que só existiria depois da previsão, não preencher buraco sem justificar, não deixar dado pessoal vazar. Regra que depende de memória humana não chega ao terceiro mês. Data-handling rules don't sit in a document someone has to remember to open. They kick in on their own the moment the assistant touches a data file: don't use information that would only exist after the prediction, don't fill a gap without justifying it, don't let personal data leak. A rule that depends on human memory doesn't survive to the third month.

Conceito indexado pelo gatilho, não pelo resumo Concepts indexed by trigger, not by summary

O índice de conceitos não guarda a explicação, guarda quando usar cada um. Uma linha por conceito, no formato "se você está diante disto, leia aquilo". Antes de decidir arquitetura em projeto novo, essa é a primeira consulta: uma leitura curta em vez de abrir sessenta arquivos. The concept index doesn't store the explanation, it stores when to use each one. One line per concept, in the format "if you're facing this, read that." Before deciding on architecture in a new project, this is the first thing consulted: a short read instead of opening sixty files.

O estado do trabalho sobrevive à sessão The state of the work survives the session

Cada frente aberta tem um arquivo com o próximo passo escrito de forma acionável, não um resumo do que já aconteceu. Encerrar o trabalho atualiza só a frente que foi tocada, então duas sessões em paralelo não se sobrescrevem. É assim que o trabalho passa de uma máquina para a outra sem eu reconstruir contexto de cabeça. Every open thread has a file with the next step written in an actionable way, not a summary of what already happened. Closing out work updates only the thread that was touched, so two parallel sessions don't overwrite each other. That's how work carries over from one machine to another without me rebuilding context from memory.

A rotina dispara sozinha, ou é deletada The routine triggers itself, or gets deleted

Decisão de arquitetura não óbvia vira registro versionado sem eu pedir. Trabalho não trivial gerado por máquina passa por especificação, revisão do que mudou e trilha de evidência antes de entrar. Antes de propor automação nova, a pergunta é qual sinal barato ela vai monitorar: sem sinal, não entra. A non-obvious architecture decision becomes a versioned record without me asking. Non-trivial machine-generated work goes through a spec, a review of what changed, and an evidence trail before it lands. Before proposing new automation, the question is which cheap signal it will monitor: no signal, no automation.

Ver uma fotografia pública desta base no GitHub → See a public snapshot of this base on GitHub →

a auditoria the audit

O método se audita The method audits itself

A base também passa por revisão. Apago protocolos sem uso, deixo checagens simples no código e confiro saídas de agentes com critérios separados. No experimento de crédito, por exemplo, o parecer do agente foi medido contra o score oculto; o resultado não mostrou ganho suficiente para justificar sua adoção. I review the knowledge base itself. I remove unused protocols, keep simple checks in code and evaluate agents against separate criteria. In the credit experiment, for example, I measured the agent's opinion against a hidden score; the result did not show enough benefit to justify adoption.

Protocolo sem artefato em 30 dias é apagado A protocol with no artifact in 30 days gets deleted

Toda regra que eu escrevo pra mim mesmo entra numa lista. Passados trinta dias sem produzir nenhum artefato, ela vira automação de verdade ou sai da lista. Instrução que depende só de eu lembrar não sobrevive. Every rule I write for myself goes on a list. After thirty days with no artifact produced, it either becomes real automation or comes off the list. An instruction that depends only on me remembering doesn't survive.

prova, na própria base evidence, in the knowledge base itself

Dos cinco rituais escritos no protocolo cognitivo da base, hoje só um é obrigatório em toda decisão técnica não óbvia: o quê, por quê, como. Os outros quatro ficaram como opcionais, não como obrigação esquecida. Of the five rituals written into the knowledge base's cognitive protocol, today only one is mandatory for every non-obvious technical decision: what, why, how. The other four stayed optional, not a forgotten obligation.

Checagem sem IA faz o trabalho barato Checks with no AI keep the work cheap

Regra herdada sem revalidar o motivo, pasta redundante, revisão de conceito vencida: isso é sinal barato, que um script resolve sem gastar um token de modelo nenhum. An inherited rule with no revalidated reason, a redundant folder, an overdue concept review: that's a cheap signal, one a script resolves without spending a single model token.

prova, na própria base evidence, in the knowledge base itself

Seis checagens rodam sozinhas no início de cada sessão, todas sem IA. Uma delas trava o próprio commit: se o texto do commit denuncia que foi editado por IA, ele não entra no histórico. Six checks run on their own at the start of every session, all without AI. One of them blocks the commit itself: if the commit message gives away that it was AI-edited, it doesn't make it into the history.

O agente que audita o agente The agent that audits the agent

Um agente que decide sobre crédito não pode ser avaliado só pelo parecer que ele escreve. Ele também precisa provar que usou as ferramentas certas antes de decidir. An agent that decides on credit can't be evaluated just by the opinion it writes. It also has to prove it used the right tools before deciding.

prova, na própria base evidence, in the knowledge base itself

No projeto de crédito, uma função separada confere se o agente chamou cada ferramenta obrigatória antes do parecer. O próprio código documenta o ponto fraco: se uma ferramenta nova entrar e a lista não for atualizada, a checagem passa calada, sem alarme. In the credit project, a separate function checks whether the agent called every required tool before its opinion. The code itself documents the weak point: if a new tool is added and the list isn't updated, the check passes quietly, with no alarm.

Erro que se repete duas vezes vira regra da base inteira An error that repeats twice becomes a rule for the whole knowledge base

Um bug de um projeto específico não vira só uma correção isolada naquele código. Se o mesmo tipo de erro aparece pela segunda vez, em outro projeto, ele sobe de nível. Vira regra escrita, que qualquer código novo precisa respeitar antes de ser aceito. A bug from one specific project doesn't just become an isolated fix in that code. If the same kind of error shows up a second time, in a different project, it gets promoted. It becomes a written rule that any new code has to respect before being accepted.

prova, na própria base evidence, in the knowledge base itself

No StableTreasury, uma função de risco limitava um número de confiança pra ficar entre 0 e 1, mas fazia isso calado: quando o valor chegava fora da faixa, a função só cortava, sem logar nem avisar. O mesmo tipo de erro apareceu depois no PayFlow, num código diferente. Virou regra escrita na base: função que recebe número, data ou categoria sem dizer qual valor é válido, e que corrige um valor fora da faixa sem registrar isso em lugar nenhum, é reprovada. In StableTreasury, a risk function clamped a confidence number to stay between 0 and 1, but did it silently: when the value arrived outside the range, the function just cut it, with no logging and no warning. The same kind of error showed up later in PayFlow, in different code. It became a written rule in the knowledge base: a function that receives a number, date or category without stating which values are valid, and that corrects an out-of-range value without recording it anywhere, fails review.

a tese the thesis

Por que o método existe Why the method exists

Escolho onde a IA entra e onde preciso manter julgamento humano. As três checagens abaixo me ajudam a fazer essa escolha em cada projeto. I decide where AI enters the work and where human judgment needs to stay. The three checks below help me make that choice in each project.

resposta da IA AI's answer Medição Measurement onde ela erra where it fails Régua Yardstick ela bate a regra simples? does it beat the simple rule? Rastro Trail quem revisou o quê who reviewed what decisão decision
as três checagens antes de decidir three checks before deciding
Delegar uma tarefa Delegating a task para a IA to the AI ↑ Entrega melhora ↑ Delivery improves sai mais rápido ships faster com menos erro grosseiro with fewer crude mistakes ↓ Aprendizado piora ↓ Learning worsens eu paro de treinar I stop training o raciocínio sozinho the reasoning on my own

Se eu delego tudo, entrego mais rápido e deixo de entender partes do caminho. Preciso escolher o que manter comigo. If I delegate everything, I deliver faster and understand less of the path. I need to choose what to keep in my hands.

Uso IA para acelerar partes do trabalho, mas mantenho comigo a formulação do problema, a escolha das premissas e a revisão do resultado. Se um teste contradiz a ideia inicial, registro o limite e mudo o caminho. Este caderno mostra tanto o que funcionou quanto o que ainda é hipótese. I use AI to speed up parts of the work, while keeping responsibility for framing the problem, choosing assumptions and reviewing the result. When a test contradicts the initial idea, I record the limit and change course. This notebook shows both what worked and what remains a hypothesis.

Em algumas habilidades que quero manter, faço exercícios sem IA. Nas demais, peço ajuda, mas tento prever o resultado antes de medir e reviso o que foi produzido. Assim a velocidade de entrega não substitui o aprendizado. For some skills I want to retain, I practice without AI. Elsewhere, I ask for help, but try to predict the result before measuring it and review what was produced. That way, delivery speed does not replace learning.

os princípios the principles

Sete princípios aplicados nos projetos Seven principles applied in projects

01

A régua é a regra simples, e o número não se mexe depois de visto The yardstick is the simple rule, and the number doesn't move once it's seen

Antes de treinar qualquer modelo, eu escrevo a regra mais boba que resolve o mesmo problema, em série temporal geralmente "amanhã é igual a hoje". E depois de ver o resultado, não volto para ajustar o experimento até o número melhorar. Before training any model, I write down the dumbest rule that solves the same problem, for time series usually "tomorrow equals today." And after seeing the result, I don't go back and tweak the experiment until the number improves.

02

A pergunta que insiste: rigor em qual eixo? o que ficou de fora? The question that keeps pushing: rigor on which axis? what got left out?

Quando eu sou muito rigoroso num ponto (a conta econômica, o método estatístico), fica a sensação de que revisei tudo, e eu paro de olhar a qualidade do dado ou se aquilo é viável. Resposta rápida e bem arrumada sobre um trabalho que devia ser demorado é o sinal para eu insistir: "me diga o que ficou de fora", não "está tudo coberto?". When I'm very rigorous on one point (the economics, the statistical method), it feels like I reviewed everything, and I stop looking at data quality or whether it's even viable. A fast, tidy answer about work that should have taken a while is the signal for me to push: "tell me what got left out," not "is everything covered?"

03

O teto antes do prédio The ceiling before the building

Antes de construir qualquer coisa que decide sobre um grupo difícil (a zona de dúvida de um modelo, uma fila de casos para revisão manual), eu meço primeiro o acerto máximo possível naquele grupo com o dado que já tenho. Quando você separa os casos difíceis pela incerteza do modelo, está tirando de lado justamente os casos onde as variáveis fortes funcionam. Sobra o quase imprevisível. Before building anything that decides on a hard group (a model's zone of doubt, a queue of cases for manual review), I first measure the maximum possible accuracy on that group with the data I already have. When you split off the hard cases by the model's own uncertainty, you're setting aside precisely the cases where the strong variables work. What's left is close to unpredictable.

todos os pedidos que chegam every incoming application O modelo resolve a maioria sozinho The model resolves most on its own renda, dívida e histórico já separam quem paga income, debt and history already sort out who pays SOBRA A ZONA DE DÚVIDA WHAT'S LEFT: THE ZONE OF DOUBT exatamente onde essas variáveis não decidem exactly where those variables don't decide É aqui que o agente decidiria This is where the agent would decide teto medido: 0,56 (0,50 é jogar uma moeda) measured ceiling: 0.56 (0.50 is a coin flip)
O filtro que separa os casos difíceis é o mesmo que joga fora as variáveis capazes de decidir. Por isso o teto se mede antes de construir. The filter that splits off the hard cases is the same one that discards the variables capable of deciding. That's why the ceiling gets measured before building anything.
04

Premissa só vira medição quando o dado mede a coisa certa An assumption only becomes a measurement when the data measures the right thing

Toda premissa com número eu confiro contra o dado que tenho. Se o dado mede uma população diferente da que interessa, eu desfaço a substituição e deixo a função no código marcada como experimento que não deu certo. O que não dá para medir vira premissa declarada, com o aviso à vista. Every assumption that carries a number, I check against the data I have. If the data measures a different population than the one that matters, I undo the substitution and leave the function in the code marked as an experiment that didn't work. What can't be measured becomes a declared assumption, flagged in plain sight.

05

Erro vira registro na hora; padrão que se repete duas vezes vira regra An error becomes a record on the spot; a pattern that repeats twice becomes a rule

Erro que eu cometo durante o trabalho eu anoto em uma linha, na hora. Quando fecho um projeto, cada dívida técnica passa por uma triagem: ou é problema só daquele projeto, ou é uma falha de método que vira regra para todos os próximos. An error I make during the work gets written down in one line, on the spot. When I close a project, every piece of technical debt goes through triage: either it's a problem specific to that project, or it's a method failure that becomes a rule for every project after it.

06

A fricção fica antes de gerar, não depois The friction sits before generating, not after

Antes de rodar uma medição ou soltar um agente, eu escrevo o número que espero e o caminho que imagino. Se o resultado vem diferente, eu paro e descubro se o erro foi meu ou da máquina, em vez de engolir a resposta. Before running a measurement or releasing an agent, I write down the number I expect and the path I imagine. If the result comes out different, I stop and find out whether the error was mine or the machine's, instead of swallowing the answer.

07

Se não dá para escrever o porquê de forma simples, você não entendeu o trecho If you can't write the why in plain terms, you didn't understand the code

Antes de cada pedaço de lógica que importa, o comentário no código diz duas coisas: o que aquilo faz tecnicamente, e qual número, dor ou custo de negócio justifica aquela linha. A meta é um gestor conseguir auditar as regras de negócio lendo só os comentários, sem saber ler o código. Before every piece of logic that matters, the comment in the code says two things: what it does technically, and which number, pain point or business cost justifies that line. The goal is for a manager to be able to audit the business rules just by reading the comments, without knowing how to read code.