BenchGecko Labs

Nos propres tests d'IA · Réponses brutes incluses

Conçu et exécuté par BenchGecko · données sous licence CC BY 4.0

BenchGecko Labs exécute les Gecko Tests : des tests automatisés que nous avons conçus et que nous lançons nous-mêmes sur les modèles les plus récents de chaque laboratoire suivi. Les nouvelles versions sont généralement testées dans la journée suivant leur apparition dans le catalogue. Les scores, les éléments de test et les réponses brutes sont publics.

Modèles testés

Tests avec données

Dernière exécution

Les benchmarks mesurent ce qu'un modèle sait résoudre. Les Gecko Tests mesurent son comportement : sait-il qui l'a créé, comment il dessine le monde, ce qu'il refuse, où s'arrête sa connaissance, ce que coûtent les autres langues, et s'il change sans prévenir.

Les tests de profil sont exécutés une fois par version de modèle, dès qu'un nouveau modèle apparaît. Les tests de suivi se répètent sur les mêmes modèles : le Model Drift Index chaque semaine, Same Model Different Host chaque mois. Chaque exécution est datée et chaque réponse est conservée.

Les résultats notables sont publiés sous forme d'analyses sur le blog. Les scores, les éléments de test et les réponses brutes sont libres de réutilisation sous licence CC BY 4.0 : en JSON sur chaque page de test et en exports quotidiens dans le dépôt de jeux de données BenchGecko sur GitHub.

Toutes les analyses sur le blog

Les résultats des Gecko Tests, les éléments de test et les réponses brutes sont libres de réutilisation sous licence CC BY 4.0. Téléchargez le JSON depuis n'importe quelle page de test ou récupérez les exports quotidiens sur GitHub.

BenchGecko/datasets sur GitHub
BenchGecko Labs est l'espace où BenchGecko exécute ses propres tests automatisés sur les modèles d'IA : identité (Who Are You), géographie (World Map), refus (Censorship Index), date limite des connaissances (Knowledge Horizon), coût linguistique (Tokenizer Tax), changements silencieux (Model Drift Index) et qualité des fournisseurs (Same Model Different Host). Le Gecko Scorecard les résume.