Metodologia

Fontes de dados

Notas de benchmark

Mostramos as notas exatamente como reportadas pela fonte. Não ajustamos, ponderamos nem normalizamos para comparação entre benchmarks, a menos que esteja explicitamente indicado. Cada nota inclui link para sua fonte quando disponível.

Quando várias fontes reportam o mesmo benchmark para um modelo, o BenchGecko mantém a pontuação da fonte mais confiável (o ranking do próprio benchmark antes dos agregadores). Pontuações de anúncios oficiais de modelos são adicionadas quando os rankings públicos ainda não as incluem.

BenchGecko Score

O BenchGecko Score classifica os modelos em uma única escala. A pontuação de cada benchmark é reescalada de 0 a 100 entre a menor e a maior pontuação que qualquer modelo monitorado tem naquele benchmark, e depois as pontuações reescaladas são combinadas em uma média. Ratings Elo da Arena e índices compostos da Artificial Analysis ficam de fora, e um modelo precisa de pelo menos 3 benchmarks para receber uma pontuação. É um sinal resumido: confira a cobertura na página do modelo antes de tirar conclusões firmes.

Preços

Os preços de tabela dos modelos vêm do catálogo público da OpenRouter e são exibidos por 1 milhão de tokens. Monitoramos 9 campos de preço: entrada, saída, leitura de cache, escrita de cache, imagem, áudio, raciocínio interno, busca na web e taxas por requisição. As ofertas por provedor (preço, quantização, janela de contexto, disponibilidade) vêm da API de endpoints da OpenRouter, assim o mesmo modelo pode ser comparado entre hosts.

Os preços são verificados todos os dias e armazenados como um histórico diário de preços, exibido em gráfico na página de cada modelo. Mudanças de preço que se mantêm são registradas como eventos datados no changelog.

Monitoramento de disponibilidade

A disponibilidade dos provedores é medida chamando o endpoint da API pública de cada provedor monitorado a cada 15 minutos e registrando o status HTTP e o tempo de resposta. Três falhas seguidas abrem um incidente; duas verificações bem-sucedidas seguidas o encerram.

Os percentuais de disponibilidade são calculados a partir das verificações armazenadas, mantidas por 35 dias. Eles refletem a disponibilidade do endpoint da API, não a de modelos individuais.

Classificação open source

Um modelo é marcado como "Código Aberto" se seus pesos estão disponíveis publicamente sob uma licença aprovada pela OSI (Apache 2.0, MIT) ou uma licença comunitária permissiva (Llama Community License). Modelos com "pesos abertos" sob licenças restritivas são marcados separadamente.

Frequência de atualização

Correções

Se você encontrar um erro nos nossos dados, envie um e-mail para hello@benchgecko.ai ou fale conosco no X @BenchGecko. Cada número mantém sua fonte e data, então as correções podem ser conferidas com o original.