Methodik

Woher wir Daten beziehen, wie wir sie bewerten und wie oft jeder Teil aktualisiert wird.

Datenquellen

OpenRouter API

Täglich

Model catalog and list prices (9 fields: input, output, cache read/write, reasoning, image, audio, web search, per request), context windows, modalities, supported parameters, deprecation dates. Per-provider offers from the endpoints API.

Quelle: https://openrouter.ai/api/v1/modelsLizenz: Public API, no authentication required

Epoch AI

Täglich

Benchmark scores and model metadata such as training compute, release dates and organizations.

Quelle: https://epoch.ai/dataLizenz: CC BY 4.0

Public leaderboards

Täglich

Artificial Analysis, LMArena, LiveBench, Aider, SWE-bench, Scale SEAL, HELM, OpenCompass, and CJK and multilingual suites. Scores are fetched from each leaderboard and range-checked before they are written.

Lizenz: Each leaderboard's own terms

Hugging Face Open LLM Leaderboard

Momentaufnahme

Retired by Hugging Face. BenchGecko keeps its last snapshot; it is no longer fetched.

Quelle: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboardLizenz: Open data

MCP Registry

Täglich

MCP server listings with package info, transport types, and repository links.

Quelle: https://registry.modelcontextprotocol.ioLizenz: Open API

Hacker News, Wikipedia, GitHub

Täglich

Mindshare signals: daily Hacker News mentions (Algolia API), Wikipedia page views (Wikimedia API) and GitHub stars for every tracked model, lab, agent, person and topic.

Quelle: https://hn.algolia.com/apiLizenz: Public APIs

SEC EDGAR and market close

Täglich

Public company figures from filings and the daily market close. Private company figures are researched twice a week and written only when a trusted source page contains the number.

Quelle: https://www.sec.gov/edgarLizenz: Public records

Vast.ai marketplace

Täglich

GPU rental prices: median, 10th percentile and minimum on-demand price per GPU-hour for tracked AI chips.

Quelle: https://vast.aiLizenz: Public marketplace data

Hugging Face Hub

Momentaufnahme

Model metadata for open models: parameter counts, licenses, architectures, downloads.

Quelle: https://huggingface.co/api/modelsLizenz: Public API, no authentication required

Infrastructure dataset

Kuratiert · datiert

Chips, memory, foundries, systems and energy, curated from datasheets, earnings calls, filings and utility disclosures. Every record carries an as-of date and a source link.

Lizenz: Sources linked per record

Gecko Tests

Täglich

BenchGecko's own automated tests on the newest models: identity, world map, refusals, knowledge cutoff, tokenizer cost, provider quality, drift. Raw answers are published.

Lizenz: CC BY 4.0

Benchmark-Ergebnisse

Wir zeigen Ergebnisse genau so an, wie sie von der Quelle gemeldet werden. Scores werden nicht angepasst, gewichtet oder benchmarkübergreifend normalisiert, sofern nicht ausdrücklich vermerkt. Jedes Ergebnis verlinkt nach Möglichkeit auf seine Originalquelle.

Wenn mehrere Quellen denselben Benchmark für ein Modell melden, behält BenchGecko den Wert der maßgeblicheren Quelle (zuerst die eigene Bestenliste des Benchmarks, dann Aggregatoren). Werte aus offiziellen Modellankündigungen werden ergänzt, wenn die öffentlichen Bestenlisten sie noch nicht enthalten.

BenchGecko Score

Der BenchGecko Score ordnet Modelle auf einer einheitlichen Skala. Jeder Benchmark-Wert wird zwischen dem niedrigsten und dem höchsten Wert eines erfassten Modells in diesem Benchmark auf 0 bis 100 umgerechnet, anschließend wird der Durchschnitt der umgerechneten Werte gebildet. Arena-Elo-Wertungen und Artificial-Analysis-Gesamtindizes bleiben außen vor, und ein Modell benötigt mindestens 3 Benchmarks, um einen Score zu erhalten. Er ist ein zusammenfassendes Signal: Prüfe die Abdeckung auf der Modellseite, bevor du weitreichende Schlüsse ziehst.

Preise

Die Listenpreise der Modelle stammen aus dem öffentlichen Katalog von OpenRouter und werden pro 1 Million Tokens angezeigt. Wir erfassen 9 Preisfelder: Eingabe, Ausgabe, Cache-Lesen, Cache-Schreiben, Bild, Audio, internes Reasoning, Websuche und Gebühren pro Anfrage. Angebote einzelner Anbieter (Preis, Quantisierung, Kontextfenster, Verfügbarkeit) stammen aus der Endpoints-API von OpenRouter, sodass dasselbe Modell über mehrere Hosts hinweg verglichen werden kann.

Die Preise werden täglich geprüft und als tägliche Preishistorie gespeichert, die auf jeder Modellseite als Diagramm dargestellt wird. Dauerhafte Preisänderungen werden als datierte Ereignisse im Changelog festgehalten.

Verf��gbarkeitsüberwachung

Die Anbieter-Verfügbarkeit wird gemessen, indem alle 15 Minuten der öffentliche API-Endpunkt jedes erfassten Anbieters aufgerufen und HTTP-Status sowie Antwortzeit festgehalten werden. Drei fehlgeschlagene Prüfungen in Folge eröffnen einen Vorfall, zwei erfolgreiche Prüfungen in Folge schließen ihn.

Die Verfügbarkeitsprozente werden aus den gespeicherten Prüfungen berechnet, die 35 Tage aufbewahrt werden. Sie spiegeln die Verfügbarkeit des API-Endpunkts wider, nicht die einzelner Modelle.

Open-Source-Klassifizierung

Ein Modell wird als „Open Source" gekennzeichnet, wenn seine Gewichte öffentlich zum Download und zur Nutzung unter einer OSI-genehmigten Lizenz (Apache 2.0, MIT) oder einer permissiven Community-Lizenz (Llama Community License) verfügbar sind. Modelle mit „offenen Gewichten" unter restriktiven Lizenzen werden separat gekennzeichnet.

Aktualisierungshäufigkeit

Datentyp	Häufigkeit
API-Preise	Täglich
Modellverzeichnis	Täglich (von OpenRouter)
Benchmark-Werte	Täglich
Anbieterverfügbarkeit	Alle 15 Minuten
MCP Server	Täglich
Mindshare (Hacker News, Wikipedia, GitHub)	Täglich
Unternehmenszahlen	Börsennotiert: täglich · privat: zweimal wöchentlich
GPU-Mietpreise	Täglich
Gecko Tests	Tägliches Labor · jedes Modell einmal pro Testversion
Chips, Speicher, Foundries, Systeme, Energie	Kuratierter Datensatz · Stand ·

Korrekturen

Wenn dir ein Fehler in unseren Daten auffällt, schreibe an hello@benchgecko.ai oder melde dich auf X unter @BenchGecko. Jede Zahl behält ihre Quelle und ihr Datum, sodass Korrekturen am Original überprüft werden können.

Vom BenchGecko-Team aus öffentlichen Quellen erstellt. Jede Zahl zeigt ihr Datum und ihre Quelle.