Nuestras propias pruebas de IA · Respuestas originales incluidas

Los benchmarks miden lo que un modelo puede resolver. Los Gecko Tests miden cómo se comporta: si sabe quién lo creó, cómo dibuja el mundo, qué rechaza, dónde termina su conocimiento, cuánto cuestan otros idiomas y si cambia sin avisar.

Las pruebas de perfil se ejecutan una vez por versión de modelo, en cuanto aparece uno nuevo. Las pruebas de monitoreo se repiten sobre los mismos modelos: el Model Drift Index cada semana, Same Model Different Host cada mes. Cada ejecución tiene fecha y cada respuesta se guarda.

Los resultados destacados se publican como hallazgos en el blog. Las puntuaciones, los elementos de prueba y las respuestas originales se pueden reutilizar libremente bajo CC BY 4.0: como JSON en la página de cada prueba y como exportaciones diarias en el repositorio de datasets de BenchGecko en GitHub.