← Todos os módulos
1 Arquitetura de Agentes

Qual arquitetura de agentes
vale o investimento?

Um agente só resolve a sua tarefa tão bem quanto cinco coordenados — e custa uma fração. Aqui você mede isso: as cinco topologias na mesma tarefa, com o mesmo modelo e o mesmo harness, comparadas em score, tokens e latência.

5 arquiteturas 5 harnesses score · tokens · latência seed fixa, reprodutível
Módulo 1 · Laboratório Experimental

Configure seu Experimento

Escolha modelo, arquitetura, harness e tarefa. A simulação replica fielmente o output do runner.py.

Configuração do Experimento
0 combinações selecionadas
python run.py
Chaves de API
Anthropic
OpenAI
Gemini
Modelo
gemini-2.5-flash
Google · rápido e eficiente
gemini-2.5-pro
Google · maior capacidade
gpt-4o
OpenAI · multimodal
gpt-4o-mini
OpenAI · custo-benefício
claude-sonnet
Anthropic · raciocínio
claude-haiku
Anthropic · mais rápido
Arquitetura de Agente
sas
Single Agent · 1 LLM · baseline
independent
N agentes paralelos · sem debate
Agentes
centralized
Orquestrador hierárquico + workers
Workers
decentralized
Peer-to-peer debate · all-to-all
Agentes
Rounds
hybrid
Hierarquia + peer debate entre workers
Workers
Rounds
Harness — Paper 2 (Lee et al., 2026)
zero_shot
Prompt direto · sem exemplos · sem memória · baseline inferior
few_shot
Injeta N exemplos estáticos no prompt · não aprende entre execuções
ace
Knowledge Base acumulativa · aprende O QUÊ funcionou
mce
Pokédex de skills causais · aprende O PORQUÊ funcionou
meta_harness contribuição TCC
Loop externo de busca automática · proposer LLM gera novo código por iteração
Tarefa
text_class.
Sentimento · tópico · binary
finance_agent
Análise financeira · llm_judge
Conjunto de Instâncias
0 selecionadas
📄
Arraste um .csv aqui
ou clique para selecionar
Nome do Experimento
Preparando…
overthinking-machine — visão geral
IDLE
1
Init
›
2
Harness
›
3
Agent Run
›
4
Evaluate
›
5
Done
← Selecione arquitetura e harness no painel esquerdo para ver o código correspondente
overthinking-machine — terminal
IDLE
// Configure o experimento e clique em "Rodar Experimento"
// O output do runner.py será exibido aqui em tempo real

$ python run.py --help
Usage: run.py [OPTIONS]
--model TEXT Override: modelo (provider/name)
--architecture TEXT Override: arquitetura
--harness TEXT Override: harness
--task TEXT Override: tarefa
--evaluator TEXT Override: evaluator

overthinking-machine — benchmark matrix
IDLE
⊞
Nenhum benchmark rodado ainda
Selecione Benchmark no painel esquerdo,
escolha arquiteturas e harnesses, e clique Rodar.
Resultados do Experimento
Rankings Comparativos

Leaderboard

Todos os seus experimentos, organizados visualmente. Filtre por modo, tarefa ou arquitetura.

🔬
Nenhum experimento ainda
Configure e rode um experimento no Laboratório acima. Os cards aparecem aqui automaticamente.
🃏 Rode experimentos e clique em "Gerar Cards" para criar os cards completos.
IDE Interativo

Construindo o Projeto — Passo a Passo

Navegue pelo código real do projeto e entenda como cada arquitetura e harness foi implementado, passo a passo.

overthinking-machine / config.yaml
config.yaml
Passo 1 de 3
⚡ Pokédex de Skills — MCE
Carregando skills...
pokedex/pokedex_{task}.md · atualizado a cada batch de 5 instâncias
Prompt
SYSTEM role: system
HUMAN role: user
read-only · use ✏ Editar para modificar
🔬 Análise Científica Comparativa
— experimentos selecionados —

Score Médio — média normalizada por instância (Kim et al. §4.2) · Acurácia — acerto na tarefa (Kim §4.3) · Taxa Sucesso — % instâncias ≥ 0.7 (Kim §5.1) · Consistência — 100×(1−CV), CV=σ/μ (Kim §5.3) · Efic. Tokens — economicidade relativa ao teto de 20k tokens (Kim §4.4) · Nível Harness — sofisticação do scaffold (Lee et al. §3) · Cobertura Archs — breadth de arquiteturas testadas (Lee §6.2)