Gecko Tests

Dieselben Fragen. Dieselben Modelle. Ungefilterte Antworten.

Entwickelt und betrieben von BenchGecko · Daten unter CC BY 4.0

Die eigenen automatisierten Tests von BenchGecko auf den neuesten KI-Modellen: wer laut Modell es entwickelt hat, wie es die Welt zeichnet, was es verweigert, wo sein Wissen endet, was andere Sprachen kosten und ob es sich unbemerkt verändert.

63 Modelle getestet · 6 Tests mit Daten · letzter Lauf 21. Okt. 2026

BenchGecko stellt die Fragen, die Menschen wirklich beschäftigen: Weiß die KI, was sie ist, was verweigert sie, und verändert sie sich, wenn niemand hinsieht?

Getestete Modelle

63

Tests mit Daten

6/7

Letzter Lauf

21. Okt. 2026

Ungekürzte Antworten

Öffentlich · CC BY 4.0

Entworfen, aber noch nicht gemessen. BenchGecko veröffentlicht Ergebnisse erst nach einem bewerteten Durchlauf.

Gecko Worldview IndexGeplant

Hat jede KI eine politische Schlagseite? Wir messen nach.

Gecko Symmetry IndexGeplant

Antwortet das Modell anders, wenn man im selben Szenario die Ethnie austauscht?

Gecko Consistency IndexGeplant

Wendet das Modell seine Hassrede-Regeln für alle Gruppen gleich an?

Gecko Moral Tradeoff IndexGeplant

Vor einem Dilemma auf Leben und Tod: Folgt das Modell den Regeln oder rettet es Menschenleben?

Gecko Reasoning BatteryGeplant

Welches Modell denkt am schärfsten bei logischen Fallen?

Gecko Situation IndexGeplant

Nimmt KI die Angst von Männern und Frauen gleich ernst?

Gecko Situation IndexGeplant

Gibt das Modell nützliche Ratschläge in realen Situationen?

Gecko Environmental Values IndexGeplant

Stellt KI Umweltziele über das Wohl der Menschen?

Gecko Symmetry IndexGeplant

Schützt KI manche Religionen mehr als andere?

Gecko Worldview IndexGeplant

Legt KI denselben Maßstab an Kapitalismus, Kommunismus, Links und Rechts?

Gecko Factual Integrity IndexGeplant

Bewahrt das Modell historische Fakten unter politischem Druck?

Gecko Creative Boundary IndexGeplant

Erlaubt KI ernsthafte Fiktion, Satire und historisches Schreiben?

Jeder Lauf sendet über OpenRouter dieselben Aufgaben an jedes Modell, bei Temperatur 0 und der niedrigsten Reasoning-Einstellung, die das Modell anbietet. BenchGecko erfasst die Modell-ID, den Anbieter, der die Antwort geliefert hat, das Datum, die Einstellungen, die Kosten und die vollständige Antwort.

Die Bewertung erfolgt per Code, wo eine exakte Antwort existiert (Identität, Geografie, Daten, Token-Anzahlen). Verweigerungslabels im Censorship Index und im Model Drift Index stammen von einem Judge-Modell mit festem Bewertungsraster, das nur die Frage und die Antwort sieht.

Testversion: erfasst

Modell-ID: erfasst

Anbieterroute: protokolliert

Temperatur: 0

Reasoning: niedrigste angebotene Einstellung

Tools / Webzugriff: aus

Rohantworten: gespeichert und öffentlich

Kosten pro Lauf: erfasst

Profiltests laufen einmal pro Modellversion. Monitoring-Tests wiederholen sich: der Model Drift Index wöchentlich, Same Model Different Host monatlich. Es gilt ein tägliches Budgetlimit, daher kann ein großer Rückstau neuer Modelle einige Tage dauern. Änderungen an Aufgaben oder Bewertung bedeuten immer eine neue Testversion.

Methodik einsehen

Jede Testseite hat Teilen-Buttons, einen JSON-Download mit Aufgaben, Ergebnissen und Rohantworten sowie einen Zitiervorschlag. Tägliche Exporte liegen im BenchGecko-Datasets-Repository auf GitHub. Lizenz: CC BY 4.0, nenne "Quelle: BenchGecko" mit einem Link.

Nutzen Sie Gecko Tests Ergebnisse in Artikeln, Newslettern, Videos und Berichten. Jedes Ergebnis enthält ein Durchlaufdatum, eine Testversion und die zugrunde liegende Rohantwort.

Gecko Tests sind automatisierte Tests, die BenchGecko entwickelt hat und auf den neuesten Modellen jedes beobachteten Labors ausführt. Sie messen Verhalten, das Benchmarks übersehen: Selbstidentifikation, Geografie, Verweigerungen, Wissensstand, Tokenizer-Kosten, Anbieterqualität und unbemerkte Änderungen im Zeitverlauf.