Nossos Próprios Testes de IA · Respostas Brutas Incluídas

Benchmarks medem o que um modelo consegue resolver. Os Gecko Tests medem como ele se comporta: se sabe quem o criou, como desenha o mundo, o que recusa, onde termina seu conhecimento, quanto custam outros idiomas e se muda sem aviso.

Os testes de perfil rodam uma vez por versão do modelo, assim que um novo modelo aparece. Os testes de monitoramento se repetem nos mesmos modelos: o Model Drift Index toda semana, o Same Model Different Host todo mês. Cada execução é datada e cada resposta é armazenada.

Resultados notáveis são publicados como descobertas no blog. Pontuações, itens de teste e respostas brutas podem ser reutilizados livremente sob CC BY 4.0: em JSON na página de cada teste e em exportações diárias no repositório de datasets do BenchGecko no GitHub.