Metodologia

Fontes de dados

Pontuações de benchmark

Exibimos as pontuações exatamente como reportadas pela fonte. As pontuações não são ajustadas, ponderadas ou normalizadas para comparação entre benchmarks, a menos que explicitamente indicado. Cada pontuação inclui link para sua fonte quando disponível.

Quando um modelo tem múltiplas pontuações para o mesmo benchmark (ex: diferentes configurações de avaliação), usamos a pontuação oficial publicada pelo provedor do modelo. Se não existe pontuação oficial, usamos a avaliação independente mais recente.

Pontuação média

A coluna "Média" no ranking é uma média aritmética não ponderada de todos os benchmarks onde o modelo foi testado. Este é um sinal aproximado, não um ranking definitivo. Modelos testados em mais benchmarks podem ter médias mais baixas devido à exposição a testes mais difíceis.

Preços

Todos os preços são obtidos da API pública do OpenRouter e representam o provedor principal disponível para cada modelo. Os preços são mostrados por 1 milhão de tokens. Rastreamos 9 tipos de preços: entrada, saída, leitura de cache, escrita de cache, imagem, áudio, raciocínio interno, busca web e taxas por requisição.

Os preços são verificados diariamente. Quando uma mudança de preço é detectada, o novo preço é registrado com timestamp. Dados históricos de preços são armazenados mas não exibidos atualmente.

Monitoramento de disponibilidade

A disponibilidade dos provedores é medida enviando requisições leves de verificação ao endpoint da API de cada provedor a cada 60 segundos a partir de US-East. Registramos tempo de resposta (latência) e código de status HTTP. Um provedor é marcado como "degradado" se a latência média exceder 2x sua linha de base de 30 dias, e "indisponível" se as requisições falharem consistentemente.

A porcentagem de disponibilidade é calculada em uma janela móvel de 30 dias. Isso reflete a disponibilidade do endpoint da API, não a disponibilidade individual do modelo.

Classificação de código aberto

Um modelo é marcado como "Código Aberto" se seus pesos estão publicamente disponíveis para download e uso sob uma licença aprovada pela OSI (Apache 2.0, MIT) ou uma licença comunitária permissiva (Llama Community License). Modelos com "pesos abertos" sob licenças restritivas são marcados separadamente.

Frequência de atualização

Correções

Se você encontrar um erro em nossos dados, por favor abra uma issue em nosso repositório GitHub ou entre em contato no Twitter @BenchGecko. Levamos a precisão dos dados a sério e corrigiremos erros dentro de 24 horas.