Dar ao agente as regras da casa e medir se ele segue Giving the agent the house rules, and measuring whether it follows them
Um modelo de linguagem conhece os bons princípios de trabalho em geral, mas sem as regras da casa não executa o procedimento que a equipe espera. Organizei minha base para que o agente encontre o contexto de cada tarefa, siga regras escritas e deixe evidência do que fez, e publiquei uma fotografia dela com casos que dá para conferir um a um. A language model knows good working principles in general, but without the house rules it doesn’t carry out the procedure the team expects. I organized my knowledge base so the agent finds the context of each task, follows written rules and leaves evidence of what it did, and published a snapshot of it with cases you can check one by one.
Palavras sublinhadas têm uma explicação rápida. Toque nelas. Underlined words have a quick explanation. Tap them.
Uma base de trabalho em que índices dizem ao agente o que abrir, regras dizem como agir e testes mostram onde o processo acertou ou falhou. O repositório público é uma fotografia datada desse sistema: a base privada e os projetos não estão nele. A working knowledge base where indexes tell the agent what to open, rules tell it how to act, and tests show where the process got it right or wrong. The public repository is a dated snapshot of that system: the private base and the projects aren’t in it.
Sem regras locais, o modelo reconhece o princípio mas não executa o procedimento. No teste, 7 dos 10 erros da condição sem base foram isso: medir sem pedir uma predição antes, ou editar quatro arquivos sem listar o escopo. Uma base que só acumula notas não corrige esse tipo de falha, porque ninguém confere se a regra chegou até a execução. Without local rules, the model recognizes the principle but doesn’t carry out the procedure. In the test, 7 of the 10 errors in the no-base condition were exactly that: measuring without asking for a prediction first, or editing four files without listing the scope. A base that only piles up notes doesn’t fix that kind of failure, because nobody checks whether the rule made it into the execution.
Índices para abrir só os arquivos que podem mudar a decisão, regras de execução escritas e um registro em que o erro vira regra. No teste, usei o mesmo modelo nas duas condições, em sessões isoladas e na mesma ordem embaralhada, registrei a predição antes de rodar e corrigi cada resposta à mão, sem modelo avaliando modelo. A origem de cada arquivo publicado fica registrada num manifesto no próprio repositório. Indexes so the agent opens only the files that can change the decision, written execution rules, and a log where each error becomes a rule. In the test, I used the same model in both conditions, in isolated sessions and in the same shuffled order, wrote down my prediction before running it, and graded every answer by hand, with no model grading another model. The origin of each published file is recorded in a manifest inside the repository.
Em 20 situações de trabalho, o mesmo modelo acertou 10 de 20 sem os documentos da base (intervalo de 95%: 29,9% a 70,1%) e 20 de 20 com eles (83,9% a 100%). Nenhum caso piorou com as regras. Antes de rodar, previ 15 de 20 sem a base e errei por cinco. Os cenários foram escritos por mim a partir das minhas próprias regras, sem sorteio: o teste mede aderência a este contexto e não autoriza generalizar o ganho. Across 20 work situations, the same model got 10 of 20 right without the base documents (95% interval: 29.9% to 70.1%) and 20 of 20 with them (83.9% to 100%). No case got worse with the rules. Before running it, I predicted 15 of 20 without the base and was off by five. I wrote the scenarios myself from my own rules, with no random draw: the test measures adherence to this context and doesn’t justify generalizing the gain.
A primeira versão do teste foi descartada: o desenho empurrava a condição sem base a desistir, e o número que saía dali não media o que eu queria. Refiz antes de publicar. As partes que considero mais frágeis continuam sendo a amostra pequena e a ideia de que a mesma estrutura serve para outro contexto, que hoje não tem evidência nenhuma. The first version of the test was thrown out: its design pushed the no-base condition into giving up, and the number it produced didn’t measure what I wanted. I redid it before publishing. The parts I consider weakest are still the small sample and the idea that the same structure works in another context, which today has no evidence at all.