Metodologia

Come raccogliamo i dati, cosa monitoriamo e con quale frequenza aggiorniamo.

Fonti dei dati

OpenRouter API

Giornaliera

Model catalog and list prices (9 fields: input, output, cache read/write, reasoning, image, audio, web search, per request), context windows, modalities, supported parameters, deprecation dates. Per-provider offers from the endpoints API.

Fonte: https://openrouter.ai/api/v1/modelsLicenza: Public API, no authentication required

Epoch AI

Giornaliera

Benchmark scores and model metadata such as training compute, release dates and organizations.

Fonte: https://epoch.ai/dataLicenza: CC BY 4.0

Public leaderboards

Giornaliera

Artificial Analysis, LMArena, LiveBench, Aider, SWE-bench, Scale SEAL, HELM, OpenCompass, and CJK and multilingual suites. Scores are fetched from each leaderboard and range-checked before they are written.

Licenza: Each leaderboard's own terms

Hugging Face Open LLM Leaderboard

Snapshot

Retired by Hugging Face. BenchGecko keeps its last snapshot; it is no longer fetched.

Fonte: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboardLicenza: Open data

MCP Registry

Giornaliera

MCP server listings with package info, transport types, and repository links.

Fonte: https://registry.modelcontextprotocol.ioLicenza: Open API

Hacker News, Wikipedia, GitHub

Giornaliera

Mindshare signals: daily Hacker News mentions (Algolia API), Wikipedia page views (Wikimedia API) and GitHub stars for every tracked model, lab, agent, person and topic.

Fonte: https://hn.algolia.com/apiLicenza: Public APIs

SEC EDGAR and market close

Giornaliera

Public company figures from filings and the daily market close. Private company figures are researched twice a week and written only when a trusted source page contains the number.

Fonte: https://www.sec.gov/edgarLicenza: Public records

Vast.ai marketplace

Giornaliera

GPU rental prices: median, 10th percentile and minimum on-demand price per GPU-hour for tracked AI chips.

Fonte: https://vast.aiLicenza: Public marketplace data

Hugging Face Hub

Snapshot

Model metadata for open models: parameter counts, licenses, architectures, downloads.

Fonte: https://huggingface.co/api/modelsLicenza: Public API, no authentication required

Infrastructure dataset

Curated · dated

Chips, memory, foundries, systems and energy, curated from datasheets, earnings calls, filings and utility disclosures. Every record carries an as-of date and a source link.

Licenza: Sources linked per record

Gecko Tests

Giornaliera

BenchGecko's own automated tests on the newest models: identity, world map, refusals, knowledge cutoff, tokenizer cost, provider quality, drift. Raw answers are published.

Licenza: CC BY 4.0

Punteggi benchmark

Riportiamo i punteggi esattamente come dichiarati dalla fonte originale. Non adeguiamo, ponderiamo o normalizziamo nulla per confronti tra benchmark diversi, salvo indicazione esplicita. Dove disponibile, ogni punteggio rimanda alla fonte primaria.

Quando un modello ha più punteggi per lo stesso benchmark (ad esempio con impostazioni di valutazione diverse), utilizziamo il punteggio ufficiale pubblicato dal produttore del modello. In mancanza di un punteggio ufficiale, utilizziamo la valutazione indipendente più recente.

Punteggio medio

La colonna "Media" nella classifica è una media aritmetica non ponderata di tutti i benchmark su cui il modello è stato testato. Si tratta di un'indicazione di massima, non di una classifica definitiva. I modelli testati su più benchmark possono risultare con medie inferiori perché esposti a test più difficili.

Prezzi

Tutti i prezzi provengono dall'API pubblica di OpenRouter e si riferiscono al provider principale disponibile per ciascun modello. I prezzi sono espressi per 1 milione di token. Monitoriamo 9 voci: input, output, lettura cache, scrittura cache, immagine, audio, ragionamento interno, ricerca web e tariffa per richiesta.

I prezzi vengono verificati quotidianamente. Quando rileviamo una variazione, il nuovo prezzo viene registrato con timestamp. Lo storico prezzi viene conservato ma al momento non è visualizzato.

Monitoraggio uptime

L'uptime dei provider si misura inviando richieste leggere all'endpoint API di ciascun provider ogni 60 secondi da US-East. Registriamo tempo di risposta (latenza) e codice di stato HTTP. Un provider risulta "degradato" se la latenza media supera di 2 volte la sua media di riferimento a 30 giorni, e "in interruzione" se le richieste falliscono in modo consecutivo.

La percentuale di uptime è calcolata su una finestra mobile di 30 giorni. Riflette la raggiungibilità degli endpoint API, non la disponibilità dei singoli modelli.

Classificazione Open Source

Un modello è classificato "Open Source" se i suoi pesi sono scaricabili e utilizzabili con licenza approvata OSI (Apache 2.0, MIT) o licenza comunitaria permissiva (Llama Community License). I modelli con "pesi aperti" sotto licenze restrittive sono contrassegnati a parte.

Frequenza di aggiornamento

Tipo di dato	Frequenza
Prezzi API	Giornaliero
Catalogo modelli	Giornaliero (da OpenRouter)
Punteggi benchmark	A ogni rilascio + scansione settimanale
Stato dei provider	Every 15 minutes
Server MCP	Giornaliero
Stelle/Fork GitHub	Giornaliero
Company figures	Public: daily · private: twice weekly
GPU rental prices	Giornaliero
Gecko Tests	Daily lab · each model once per test version
Chips, memory, foundries, systems, energy	Curated dataset · as of ·

Correzioni

Se trovate un errore nei nostri dati, aprite una issue nel repository GitHub o scriveteci su Twitter @BenchGecko. Prendiamo la precisione dei dati molto sul serio e correggiamo gli errori entro 24 ore.

A cura del team BenchGecko. Basato sui dati dell'ecosistema IA aperto.