Módulo 4 · Open Source First

Model Benchmark

Benchmarks públicos medem capacidade genérica. Este módulo mede o que importa: qual modelo resolve a sua tarefa, com o seu prompt, os seus dados e os seus critérios de avaliação — priorizando modelos de peso aberto que você pode rodar na sua própria infraestrutura, sem lock-in de fornecedor.

🎯
Sua tarefa, não MMLU
🔓
Open-weight em primeiro lugar
⚖️
Fronteira de Pareto qualidade × custo
🏠
Local ou API — mesma métrica
progresso
aguardando 0/0
model_benchmark — terminal
$ overthinking-machine --module model_benchmark carregando registro de modelos… ✓ 11 modelos disponíveis (8 open-weight, 3 API fechada)   selecione a tarefa e os modelos candidatos na barra lateral.
leaderboard · sua tarefa
⚖️
Nenhum benchmark executado
✓ Recomendação para a sua tarefa
—
—
Fronteira de Pareto — qualidade × custo
Cada ponto é um modelo. Modelos na fronteira (linha verde) são os que não são dominados: nenhum outro entrega score maior a custo menor. Modelos abaixo da fronteira são escolhas dominadas — existe alternativa melhor e mais barata.
open-weight API fechada na fronteira de Pareto
Fundamentação

Por que benchmark próprio, e não ranking público

Towards a Science of Scaling Agent Systems
Kim et al., 2025
Mostra que o ganho de uma escolha arquitetural depende do nível de capacidade do modelo-base: acima de um teto empírico (~45% de acurácia no baseline single-agent), coordenação multi-agente passa a ter retorno decrescente. Ou seja — a escolha de modelo e a escolha de arquitetura não são independentes, e precisam ser medidas juntas na sua tarefa.
Meta-Harness: End-to-End Optimization of Model Harnesses
Lee et al., 2026
Demonstra que o harness altera drasticamente o desempenho de um modelo fixo. A consequência prática: comparar modelos com prompts diferentes mede o prompt, não o modelo. Este módulo congela arquitetura e harness entre todos os candidatos, isolando a variável “modelo”.
Why Do Multi-Agent LLM Systems Fail?
Cemri et al., 2025
A taxonomia MAST mostra que boa parte das falhas em sistemas com LLM vem de especificação e verificação — não de capacidade bruta do modelo. Um modelo menor com harness adequado pode superar um maior mal instruído, o que só aparece em avaliação na tarefa real.
Contaminação e validade de benchmarks públicos
motivação de projeto
Rankings genéricos (MMLU, LMArena) sofrem de contaminação de dados de treino e medem capacidade média em tarefas que não são a sua. Para decisão de produção o que importa é o desempenho na sua distribuição de entrada, com o seu critério de sucesso — exatamente o que este módulo mede.