Mismas preguntas. Mismos modelos. Respuestas tal cual.

Cada ejecución envía los mismos elementos a cada modelo a través de OpenRouter, con temperatura 0 y el nivel de razonamiento más bajo que ofrezca el modelo. BenchGecko registra el ID del modelo, el proveedor que sirvió la respuesta, la fecha, la configuración, el costo y la respuesta completa.

La puntuación la hace código siempre que existe una respuesta exacta (identidad, geografía, fechas, conteo de tokens). Las etiquetas de rechazo del Censorship Index y el Model Drift Index provienen de un modelo juez con una rúbrica fija que solo ve la pregunta y la respuesta.

Las pruebas de perfil se ejecutan una vez por versión de modelo. Las pruebas de monitoreo se repiten: el Model Drift Index cada semana, Same Model Different Host cada mes. Se aplica un tope de presupuesto diario, por lo que un gran retraso de modelos nuevos puede tardar unos días en despejarse. Cambiar los elementos o la calificación siempre implica una nueva versión de la prueba.