Mesmas perguntas. Mesmos modelos. Respostas na íntegra.

Cada execução envia os mesmos itens a cada modelo pelo OpenRouter, com temperatura 0 e a menor configuração de raciocínio que o modelo oferece. O BenchGecko registra o ID do modelo, o provedor que entregou a resposta, a data, as configurações, o custo e a resposta completa.

A pontuação é feita por código sempre que existe uma resposta exata (identidade, geografia, datas, contagem de tokens). Os rótulos de recusa do Censorship Index e o Model Drift Index vêm de um modelo juiz com critérios fixos, que vê apenas a pergunta e a resposta.

Os testes de perfil rodam uma vez por versão do modelo. Os testes de monitoramento se repetem: o Model Drift Index toda semana, o Same Model Different Host todo mês. Há um limite de orçamento diário, então um grande acúmulo de novos modelos pode levar alguns dias para ser processado. Alterar itens ou a avaliação sempre gera uma nova versão do teste.