Unsere eigenen KI-Tests · Rohantworten inklusive

Benchmarks messen, was ein Modell lösen kann. Gecko Tests messen, wie es sich verhält: ob es weiß, wer es entwickelt hat, wie es die Welt zeichnet, was es verweigert, wo sein Wissen endet, was andere Sprachen kosten und ob es sich unbemerkt verändert.

Profiltests laufen einmal pro Modellversion, sobald ein neues Modell erscheint. Monitoring-Tests wiederholen sich auf denselben Modellen: der Model Drift Index jede Woche, Same Model Different Host jeden Monat. Jeder Lauf ist datiert und jede Antwort wird gespeichert.

Bemerkenswerte Ergebnisse veröffentlichen wir als Erkenntnisse im Blog. Ergebnisse, Testaufgaben und Rohantworten dürfen unter CC BY 4.0 frei weiterverwendet werden: als JSON auf jeder Testseite und als tägliche Exporte im BenchGecko-Datasets-Repository auf GitHub.