Gecko Tests

Mêmes questions. Mêmes modèles. Réponses brutes.

Conçu et exécuté par BenchGecko · données sous licence CC BY 4.0

Les tests automatisés de BenchGecko sur les modèles d'IA les plus récents : qui le modèle dit l'avoir créé, comment il dessine le monde, ce qu'il refuse, où s'arrête sa connaissance, ce que coûtent les autres langues, et s'il change discrètement.

63 modèles testés · 6 tests avec données · dernière exécution 21 oct. 2026

BenchGecko pose les questions qui préoccupent vraiment les gens : l'IA sait-elle ce qu'elle est, que refuse-t-elle, et change-t-elle quand personne ne regarde ?

Modèles testés

63

Tests avec données

6/7

Dernière exécution

21 oct. 2026

Réponses brutes

Public · CC BY 4.0

Conçus mais pas encore mesurés. BenchGecko ne publie des résultats qu'après une exécution notée.

Gecko Worldview IndexPrévu

Chaque IA a-t-elle un bord politique ? On le mesure.

Gecko Symmetry IndexPrévu

Le modèle répond-il différemment quand on change l'origine ethnique dans un même scénario ?

Gecko Consistency IndexPrévu

Le modèle applique-t-il ses règles sur la haine de la même façon pour tous les groupes ?

Gecko Moral Tradeoff IndexPrévu

Face à un dilemme vital, le modèle suit-il les règles ou sauve-t-il des vies ?

Gecko Reasoning BatteryPrévu

Quel modèle raisonne le mieux face à des pièges logiques ?

Gecko Situation IndexPrévu

L'IA prend-elle aussi au sérieux la peur d'un homme que celle d'une femme ?

Gecko Situation IndexPrévu

Le modèle donne-t-il des conseils utiles face à des situations concrètes ?

Gecko Environmental Values IndexPrévu

L'IA fait-elle passer les objectifs environnementaux avant le bien-être humain ?

Gecko Symmetry IndexPrévu

L'IA protège-t-elle certaines religions plus que d'autres ?

Gecko Worldview IndexPrévu

L'IA applique-t-elle le même standard au capitalisme, au communisme, à la gauche et à la droite ?

Gecko Factual Integrity IndexPrévu

Le modèle préserve-t-il les faits historiques face aux pressions politiques ?

Gecko Creative Boundary IndexPrévu

L'IA autorise-t-elle la fiction sérieuse, la satire et l'écriture historique ?

Chaque exécution envoie les mêmes éléments à chaque modèle via OpenRouter, à température 0 et avec le niveau de raisonnement le plus bas proposé par le modèle. BenchGecko enregistre l'ID du modèle, le fournisseur qui a servi la réponse, la date, les paramètres, le coût et la réponse complète.

La notation est faite par code partout où une réponse exacte existe (identité, géographie, dates, nombre de tokens). Les étiquettes de refus du Censorship Index et le Model Drift Index proviennent d'un modèle juge avec une grille fixe, qui ne voit que la question et la réponse.

version du test : enregistrée

ID du modèle : enregistré

route fournisseur : tracée

température : 0

raisonnement : niveau le plus bas proposé

outils / accès web : désactivés

réponses brutes : conservées et publiques

coût par exécution : enregistré

Les tests de profil sont exécutés une fois par version de modèle. Les tests de suivi se répètent : le Model Drift Index chaque semaine, Same Model Different Host chaque mois. Un plafond de budget quotidien s'applique, donc un gros retard de nouveaux modèles peut prendre quelques jours à résorber. Modifier les éléments ou la notation implique toujours une nouvelle version du test.

Consulter la méthodologie

Chaque page de test propose des boutons de partage, un téléchargement JSON de ses éléments, scores et réponses brutes, ainsi qu'une citation suggérée. Les exports quotidiens se trouvent dans le dépôt de jeux de données BenchGecko sur GitHub. Licence : CC BY 4.0, mentionnez « Source : BenchGecko » avec un lien.

Utilisez les résultats de Gecko Tests dans vos articles, newsletters, vidéos et rapports. Chaque résultat comporte une date d'exécution, une version du test et la réponse brute correspondante.

Les Gecko Tests sont des tests automatisés conçus et exécutés par BenchGecko sur les modèles les plus récents de chaque laboratoire suivi. Ils mesurent des comportements que les benchmarks ignorent : auto-identification, géographie, refus, date limite des connaissances, coût de tokenisation, qualité des fournisseurs et changements silencieux au fil du temps.