Haiku e Qwen 4B ganharam do Opus em 30% dos meus 47 casos reais
Eu pagava US$ 100/mês pelo Opus. Depois de 3 meses rodando 47 tarefas reais em paralelo com Haiku 4.5 e Qwen3 4B, descobri que o modelo pequeno ganhou em 14 delas. 30% do meu trabalho estava no modelo errado — o caro.
O que fez a diferença não foi o benchmark. Foi a natureza da tarefa. Aqui estão os 3 padrões onde o pequeno bateu o grande, os 3 onde o Opus ainda é insubstituível, e como eu decido caso a caso hoje.
Os números do teste
Rodei 47 tarefas idênticas em três modelos, entre abril e junho de 2026:
- Claude Opus 4.7 (input US$ 15 / output US$ 75 por 1M tokens)
- Claude Haiku 4.5 (input US$ 1 / output US$ 5 por 1M tokens)
- Qwen3 4B (rodando local em RTX 4070, custo marginal ~US$ 0,02/tarefa em energia)
Resultado por vencedor (avaliado por rubrica cega, um revisor não sabia qual modelo era qual):
| Categoria | Opus | Haiku | Qwen3 4B |
|---|---|---|---|
| Tarefas vencidas | 33 | 10 | 4 |
| Custo médio/tarefa | US$ 0,48 | US$ 0,022 | US$ 0,02 |
| Latência média (s) | 12,3 | 3,1 | 2,8 |
| Empate técnico com Opus | — | 8/47 | 3/47 |
Opus custou 22x mais que Haiku por tarefa e 4x mais lento. Nos 14 casos onde perdeu, essa conta ficou ainda pior: paguei o alto para receber o pior.
3 padrões onde o modelo pequeno venceu
1. Extração estruturada com schema rígido
Tarefas do tipo “leia esta nota de reunião e extraia participantes, decisões e prazos como JSON”. Haiku 4.5 acertou 12/12 no primeiro shot; Opus errou 2 por adicionar campos não pedidos (“assumi que você quisesse notas complementares”). Menos capacidade neste caso vira feature: o pequeno não improvisa.
Isso bate com o achado do capítulo “Small Model Philosophy” do livro Context Engineering que escrevi: Haiku + RAG bateu Sonnet sozinho em 223% no experimento controlado. Extração é a esquina onde o modelo pequeno com contexto bem desenhado alcança o modelo grande sem contexto.
2. Classificação e roteamento
Roteamento de tickets de suporte em 8 categorias, com base no assunto e nas primeiras 200 palavras. Haiku empatou com Opus em precisão (0,94 vs 0,95) mas gastou 22x menos. Aqui a diferença de capacidade some porque a tarefa tem espaço de decisão pequeno: a probabilidade de o modelo errar por “estar pensando demais” cresce com o tamanho.
3. Sumarização com formato fixo
Notas de standup no formato “3 bullets, cada um começa com verbo, máximo 80 caracteres”. Qwen3 4B rodando local venceu por consistência de formato. Opus produzia sumários mais eloquentes mas ignorava o limite de caracteres em 5/12 casos.
Se você precisa que o output alimente uma pipeline downstream, formato importa mais que eloquência. É o mesmo racional que descrevi em “MCP: 27k vs KG 8x, qual ganha”: a arquitetura vence a espessura do modelo quando a interface é estreita.
3 padrões onde o Opus é insubstituível
Nem tudo é vitória do pequeno. Vou ser honesto sobre os 33 casos onde o Opus ganhou.
1. Raciocínio multi-hop com ambiguidade
“Dado este ADR de 3 anos atrás, este PR de ontem e este bug report de hoje, o problema é o mesmo que o ADR descartou?” Nesses casos Haiku desiste ou junta contexto de forma superficial. Opus mantém 3 hipóteses em paralelo e as elimina uma por uma. 12 das 33 vitórias do Opus foram aqui.
2. Geração de código com dependências invisíveis
Escrever uma migration que respeita foreign keys em 5 tabelas relacionadas e não quebra 3 índices existentes. Haiku 4.5 acerta a sintaxe mas esquece constraints; Opus lê o schema por inteiro e antecipa. Custo justificado.
3. Escrita técnica longa com voz consistente
Blog posts de 2.000+ palavras com uma linha argumentativa clara. Haiku produz seções que parecem escritas por 4 pessoas diferentes. Opus mantém a voz. Nem tente economizar aqui: o custo é 22x mas o retrabalho editorial devolve isso em 20 minutos.
Como eu decido hoje
Uso 3 perguntas antes de escolher o modelo:
- O output alimenta uma pipeline com formato rígido? → Pequeno (Haiku ou Qwen 4B).
- A tarefa cabe em um único prompt sem ambiguidade? → Pequeno.
- Precisa segurar 3+ hipóteses ou explorar espaço de decisão? → Grande (Opus).
Meu custo mensal caiu de US$ 100 para US$ 34 depois dessa reclassificação, e a qualidade percebida subiu, porque parei de pagar pelo “melhor” em casos onde o “melhor” era pior.
Isso confirma o que já suspeitava desde “Confiei na IA para ir mais rápido e fiquei mais lento”: a decisão errada não é técnica, é psicológica. A gente escolhe o modelo grande porque parece mais seguro, do mesmo jeito que pede o almoço maior por medo de ficar com fome, e come além da conta na metade das vezes.
Escolha o modelo pelo perfil da tarefa, não pela ansiedade de estar deixando qualidade na mesa.
ken imoto · WebRTC & Voice AI engineer · kenimoto.dev · TabNews
Este artigo foi útil?