Méthodologie

Sources de données

Scores de benchmark

Les scores sont affichés tels que rapportés par leur source. Aucun ajustement, pondération ou normalisation inter-benchmarks sauf mention explicite.

Lorsque plusieurs sources publient le même benchmark pour un modèle, BenchGecko conserve le score de la source la plus fiable (le classement propre au benchmark avant les agrégateurs). Les scores issus des annonces officielles des modèles sont ajoutés lorsque les classements publics ne les incluent pas encore.

BenchGecko Score

Le BenchGecko Score classe les modèles sur une seule échelle. Chaque score de benchmark est remis à l'échelle de 0 à 100 entre le score le plus bas et le plus élevé obtenus par un modèle suivi sur ce benchmark, puis les scores ainsi remis à l'échelle sont moyennés. Les classements Arena Elo et les indices composites d'Artificial Analysis sont exclus, et un modèle doit avoir au moins 3 benchmarks pour obtenir un score. C'est un signal de synthèse : vérifiez la couverture sur la page du modèle avant de tirer des conclusions tranchées.

Tarification

Les prix publics des modèles proviennent du catalogue public d'OpenRouter et sont affichés par million de tokens. Nous suivons 9 champs de prix : entrée, sortie, lecture du cache, écriture du cache, image, audio, raisonnement interne, recherche web et frais par requête. Les offres par fournisseur (prix, quantification, fenêtre de contexte, disponibilité) proviennent de l'API d'endpoints d'OpenRouter, ce qui permet de comparer un même modèle entre hébergeurs.

Les prix sont vérifiés chaque jour et conservés dans un historique quotidien, représenté sur la page de chaque modèle. Les changements de prix durables sont enregistrés comme événements datés dans le journal des modifications.

Surveillance de disponibilité

La disponibilité des fournisseurs est mesurée en appelant le point d'accès API public de chaque fournisseur suivi toutes les 15 minutes, en enregistrant le statut HTTP et le temps de réponse. Trois échecs consécutifs ouvrent un incident ; deux succès consécutifs le ferment.

Les pourcentages de disponibilité sont calculés à partir des vérifications stockées, conservées pendant 35 jours. Ils reflètent la disponibilité des points d'accès API, pas celle de chaque modèle.

Classification Open Source

Un modèle est marqué « Open Source » si ses poids sont disponibles publiquement sous licence approuvée OSI ou sous licence communautaire permissive.

Fréquence de mise à jour

Corrections

Si vous repérez une erreur dans nos données, écrivez à hello@benchgecko.ai ou contactez-nous sur X @BenchGecko. Chaque chiffre conserve sa source et sa date, ce qui permet de vérifier les corrections par rapport à l'original.