Medir o que de fato melhora uma busca por significado Measuring what actually improves a semantic search
Quero saber se mudanças numa busca semântica ajudam quem procura uma resposta, sem escolher só perguntas favoráveis. Por enquanto, o laboratório mede um sinal substituto: se trechos do mesmo arquivo ficam mais próximos do que trechos aleatórios. Ainda falta testar perguntas com respostas conhecidas. I want to know whether changes to semantic search help someone find an answer, without hand-picking favorable questions. For now, the lab measures a proxy: whether chunks from the same file are closer than random chunks. It still needs tests on questions with known answers.
Palavras sublinhadas têm uma explicação rápida. Toque nelas. Underlined words have a quick explanation. Tap them.
Um laboratório para comparar modelos de vetores, divisão dos textos e reordenação dos resultados. A primeira medida é apenas um proxy; o teste com perguntas reais ainda está planejado. A lab for comparing embedding models, text chunking and result reranking. The first measure is only a proxy; the test with real questions is still planned.
Uma melhoria aparente num proxy pode não ajudar o usuário a encontrar uma resposta. Comparo configurações na mesma régua e deixo explícito qual pergunta cada métrica responde. Só depois do gabarito de perguntas poderei avaliar recuperação de informação. An apparent improvement on a proxy may not help users find answers. I compare configurations on the same yardstick and state which question each metric answers. Only after building the question answer key can I evaluate information retrieval.
O contraste é medido com reamostragem (bootstrap) para ter a margem de erro, e não só o número central. Toda medição vem depois de uma previsão escrita do resultado, porque previsão feita depois do número não é previsão, é justificativa. The contrast is measured with bootstrap resampling to get a margin of error, not just the central number. Every measurement comes after a written prediction of the result, because a prediction made after the number is out isn’t a prediction, it’s a justification.
No teste substituto, o modelo multilíngue superou o modelo em inglês por 0,043 na AUC (IC de 95%: 0,036 a 0,050). Isso não demonstra melhora na busca por respostas: o gabarito de 20 perguntas ainda não foi medido. Antes de outro teste, previ 0,57 e observei 0,38; registrei o erro de previsão para ajustar minha intuição. On the proxy test, the multilingual model beat the English model by 0.043 AUC (95% CI: 0.036 to 0.050). This does not demonstrate better answer retrieval: the 20-question answer key has not been measured yet. Before another test, I predicted 0.57 and observed 0.38; I recorded that prediction error to recalibrate my intuition.
O ganho no proxy é um primeiro resultado, não a conclusão sobre qualidade da busca. A previsão de 0,57 que terminou em 0,38 me lembrou por que escrevo expectativas antes de medir. O próximo passo é medir recall@k nas 20 perguntas; hoje o número de perguntas avaliadas é zero. The proxy gain is an early result, not a conclusion about search quality. My prediction of 0.57 followed by an observation of 0.38 reminded me why I write expectations before measuring. Next is recall@k on 20 questions; so far, zero questions have been evaluated.
Montar um gabarito de 20 perguntas com a resposta certa conhecida, e medir quantas aparecem entre os primeiros resultados da busca (recall@k). Depois testar uma reordenação por cross-encoder e comparar o ganho de qualidade contra o custo extra de tempo. Cada mudança entra com previsão escrita antes e margem de erro depois. Build an answer key of 20 questions with a known correct answer, and measure how many show up among the top search results (recall@k). Then test a cross-encoder reranking step and compare the quality gain against the extra time cost. Every change enters with a prediction written down beforehand and a margin of error measured after.
Repositório em preparação Repository in preparation