Plataforma de testes de agentes

Pare de chutar
como montar seu agente.

Arquitetura, modelo, prompt: cada escolha muda o resultado — e quase ninguém mede. Aqui você define a sua tarefa e descobre, com experimento controlado, o que de fato funciona nela. Não o que funciona num benchmark genérico.

Começar um teste → Como funciona
$ benchmark --task text_classification --n 10 arquitetura score tokens latência sas 1.000 261 1.31s independent 1.000 1 078 5.48s centralized 1.000 3 338 14.30s decentralized 1.000 3 012 12.96s hybrid 0.900 6 387 25.54s ! quatro empatam em 1.000; hybrid fica atras → sas resolve igual por 1/24 dos tokens → multi-agente aqui é só custo
O problema

Benchmark público não responde a sua pergunta

Rankings medem capacidade média em tarefas que não são a sua, com prompts que não são o seu. A decisão que você precisa tomar é outra — e ela só se resolve medindo no seu caso.

Como se decide hoje
"Multi-agente é melhor" — sem testar se é melhor na sua tarefa
Escolhe o modelo pelo topo do ranking, e paga 20× mais por empate técnico
Prompt cresce a cada bug, e ninguém sabe quais partes ainda servem
Compara duas configurações que mudam três variáveis de uma vez
Olha só o score — ignora tokens, latência e custo
Como esta plataforma decide
Roda as 5 arquiteturas na mesma tarefa, com tudo o mais congelado
Compara modelos por fronteira de Pareto: qualidade e custo
Mede cláusula por cláusula do prompt, por ablação empírica
Uma variável por vez, seed fixa, resultado reprodutível
Score sempre acompanhado de tokens, latência e custo em dólar
Como funciona

Três passos, do palpite ao dado

A plataforma não testa "agentes em geral". Ela testa o seu agente na sua tarefa — por isso o primeiro passo é você trazer a tarefa.

Como a plataforma se encaixa A sua chave alimenta duas trilhas equivalentes — pelo site e pelo MCP. As duas passam por compor a topologia, trazer a tarefa e rodar, e convergem no mesmo resultado: score, tokens, latência e custo, sempre contra a linha de base. A topologia que você compôs pode, opcionalmente, ser publicada na biblioteca compartilhada. Os rótulos de cada etapa estão no texto a seguir. 🔑 a sua chave fica no seu navegador ou no header NO SITE escolher ou compor topologia escolher ou trazer a tarefa rodar PELO MCP — MESMA PLATAFORMA validar_topologia previa_topologia listar_tarefas validar_tarefa rodar_* comparar score tokens latência custo vs. linha de base publicar a TOPOLOGIA (o método, não o resultado) QUATRO PERGUNTAS, MESMO ESQUELETO 1 · arquitetura 2 · ativações 3 · prompt 4 · modelo A instância pública não guarda chave nenhuma. Os dois caminhos usam o mesmo motor de medição — o que muda é quem dirige: você, ou o seu agente.
01
Defina a sua tarefa
Use uma das tarefas prontas ou traga a sua: instrução comum, casos e o gabarito de cada um. Dá para colar um CSV na própria página, ou enviar um JSON pelo MCP — sem escrever código. A plataforma valida de graça antes e mostra a linha de base: o score de quem responde sempre o rótulo mais comum. Se o seu resultado não passar dela, não houve descoberta.
02
Rode o experimento
Escolha o que quer descobrir e a plataforma congela todo o resto. Os módulos abrem em modo Mock: o fluxo roda inteiro sem chamar modelo nenhum, com números de uma tabela de referência — é para conhecer a interface sem gastar. Para medir de verdade, ligue o modo Real e informe a sua chave. O protocolo sugere validar barato (25 chamadas, uma instância por arquitetura) antes da matriz cara.
03
Decida com o dado
Score, tokens, latência e custo por configuração, sempre contra a linha de base. O trace de cada execução — o que cada agente viu e respondeu — é gravado em runs/ na máquina que roda a API: rodando local, os arquivos são seus; na instância pública eles ficam no servidor e não são baixáveis.
Os 4 módulos

Quatro perguntas, quatro experimentos

Cada módulo isola uma variável diferente. Comece pelo 1 se ainda não sabe qual arquitetura usar — ou vá direto ao que responde a sua dúvida.

1"Qual arquitetura de agentes usar?"
Arquitetura de Agentes
Compara SAS e as quatro topologias multi-agente na mesma tarefa — score, tokens e latência. Experimento individual ou matriz completa arquitetura × harness.
5 arquiteturas5 harnesses
Abrir laboratório →
2"O que acontece dentro do modelo?"
Ativação de Rede Neural
Lê as ativações internas do modelo (hook): PCA por camada e linear probes para localizar onde a noção de verdade é codificada. Aqui no site roda uma simulação didática — o hook de verdade precisa dos pesos do modelo e roda na sua máquina; a página importa o resultado.
simulação onlinehook real · locallinear probes
Abrir módulo →
3"Que parte do meu prompt importa?"
Sensibilidade de Prompt
Quebra o system prompt em cláusulas e mede, por ablação, quais sustentam o score e quais só consomem tokens — incluindo interações entre elas.
leave-one-outcompressor
Abrir módulo →
4"Qual modelo devo usar?"
Benchmark de Modelos
Descobre qual modelo resolve a sua tarefa, com foco em open-weight. Fronteira de Pareto entre qualidade, custo e latência, com recomendação automática.
open-weightPareto
Abrir módulo →
O método

O que separa um experimento de um chute

Estes princípios não são decoração: estão embutidos nas ferramentas e nas descrições que o agente lê. Foram calibrados em cima de erros reais cometidos durante a validação da plataforma.

01
Uma variável por vez
Comparar configurações que diferem em dois eixos não mede nenhum dos dois. Ao trocar de modelo, congele arquitetura, harness, tarefa e seed.
02
Valide barato antes de gastar caro
Um erro de configuração descoberto na matriz final já custou centenas de chamadas. Descoberto na validação inicial, custou vinte e cinco.
03
Justifique o n
Com n=3, um erro é 33% do score e não distingue nada. E sem repetições é impossível separar variância do modelo de diferença real.
04
Score sozinho não é resultado
Duas configurações com o mesmo score não são equivalentes se uma custa 20× mais. Tokens, latência e custo entram junto, sempre.
05
Cuidado com o efeito teto
Se tudo empata em 1.0, a conclusão não é "não importa" — é "esta tarefa não mede isso". O MCP avisa ao comparar modelos, e a ablação de prompt também; no módulo 1 quem tem de ler o sinal é você — a linha de base de cada tarefa aparece antes de rodar justamente para isso.
Para agentes

Seu agente também pode rodar os testes

A plataforma expõe um servidor MCP. Qualquer agente — Claude, Cursor, o seu — se conecta e conduz os experimentos. E não recebe só os endpoints: recebe a metodologia junto, o que o impede de improvisar um benchmark sem controle.

  • 16 ferramentas — do catálogo de modelos à composição de topologias e tarefas
  • 5 fluxos guiados — protocolo de validação, escolha de arquitetura e de modelo, otimização de prompt, e testar a sua própria topologia
  • Estimativa de custo obrigatória antes de qualquer experimento grande
  • Metodologia como recurso — o agente lê antes de rodar
mcp.json — nada para instalar
{ "mcpServers": { "overthinking-machine": { "url": "https://overthinking-machine-production.up.railway.app/mcp/", "headers": { "X-Google-Key": "a-sua-chave" } } } }
A chave é sua: você paga o que consumir, e ela não fica guardada no servidor. Outros provedores entram do mesmo jeito, um header cada: X-Moonshot-Key (Kimi), X-Zai-Key (GLM), X-Groq-Key, X-Openai-Key, X-Anthropic-Key, X-Together-Key, X-Openrouter-Key, X-Deepinfra-Key. A chave do Google também libera os modelos Gemma.
// depois, em linguagem natural: "Monte uma topologia com debate entre três agentes e compare com a linha de base. Me mostre o custo antes de rodar."
Fundamentação

De onde vem o desenho experimental

A taxonomia de arquiteturas, a definição de harness e os modos de falha vêm de trabalho publicado, não de intuição.

Towards a Science of Scaling Agent Systems
Kim et al., 2025 · arXiv:2512.08296
As cinco arquiteturas, o teto de capacidade (~45%) acima do qual coordenar deixa de compensar, e a amplificação de erro por topologia — 17,2× no Independent contra 4,4× no Centralized.
Meta-Harness: End-to-End Optimization of Model Harnesses
Lee et al., 2026 · arXiv:2603.28052
Define harness formalmente e mostra que buscar o código do harness automaticamente supera o desenhado à mão — base do módulo de prompt e do harness meta.
Why Do Multi-Agent LLM Systems Fail?
Cemri et al., 2025 · arXiv:2503.13657
A taxonomia MAST, com 14 modos de falha em três categorias — especificação, desalinhamento entre agentes e verificação — usada para interpretar por que uma arquitetura degradou.
Curiosidades

Achados que contrariaram a nossa aposta

Experimento controlado raramente confirma o palpite. Quando contraria, publicamos assim mesmo — com n, modelo, data e a lista do que o número não prova. Inclusive quando desmente este site.

01"Meu agente precisa de MCP ou uma API resolve?"
MCP não é necessário. É que sai bem mais barato.
144 agentes headless, 8 tarefas, o mesmo backend por três interfaces. A taxa de sucesso empata; a diferença aparece em custo, tokens e chamadas falhadas — zero no MCP. Contra REST descoberto por OpenAPI o custo é ~1,9×; contra REST com documentação no prompt, ~1,25×.
144 execuçõesSonnet 5 · Haiku 4.5
Ver o experimento →
02"E se a gente medir o nosso próprio medidor?"
Nossa probe dava 100% de acerto em ruído puro.
Ela era avaliada no próprio treino, com 50 parâmetros para 30 amostras — decorar era trivial. Com validação cruzada, o ruído volta para o acaso. E o rótulo na tela dizia "Llama real" sobre dado sintético.
corrigidovalidação cruzada
Ver o que estava errado →
Ver todos os achados →
Baixar

Leve a plataforma para o seu agente

Markdown e JSON puros, gerados do próprio código — se um número aqui divergir da plataforma, é a plataforma que vale. Nada para instalar, nada para descompactar.

otm-agente.md
O guia completo para um agente: como conectar, o que ler antes de gastar, os princípios e como trazer a sua tarefa. Markdown puro — serve como Agent Skill, regra do Cursor, AGENTS.md ou system prompt.
Baixar ↓
mcp.json
A conexão canônica, pronta para colar no cliente. É esta a fonte: se outro lugar mostrar diferente, siga este arquivo.
Baixar ↓
tarefa-exemplo.json
Uma tarefa declarativa completa — 24 casos com política de precedência e sinal conflitante. Copie, troque os casos pelos seus e rode. Sem escrever Python.
Baixar ↓
topologias & harnesses
As cinco arquiteturas do paper, três nascidas de um caso de operação real e dois harnesses — em JSON, prontos para editar e rodar.
Baixar o índice ↓

Também no pacote: PROVEDORES.md (os 9 provedores, a variável de ambiente e o header de cada um) e ativacoes/README.md (como rodar o hook de verdade na sua máquina, já que a leitura de ativações do site é simulação didática).

Qual é a sua tarefa?

Comece pelo módulo 1 com uma tarefa pronta para ver o fluxo completo, ou traga a sua e descubra o que realmente funciona nela.

Começar um teste → Ver no GitHub