Metodología

Cómo obtenemos los datos, cómo los puntuamos y con qué frecuencia se actualiza cada parte.

OpenRouter API

Diario

Model catalog and list prices (9 fields: input, output, cache read/write, reasoning, image, audio, web search, per request), context windows, modalities, supported parameters, deprecation dates. Per-provider offers from the endpoints API.

Fuente: https://openrouter.ai/api/v1/modelsLicencia: Public API, no authentication required

Epoch AI

Diario

Benchmark scores and model metadata such as training compute, release dates and organizations.

Fuente: https://epoch.ai/dataLicencia: CC BY 4.0

Public leaderboards

Diario

Artificial Analysis, LMArena, LiveBench, Aider, SWE-bench, Scale SEAL, HELM, OpenCompass, and CJK and multilingual suites. Scores are fetched from each leaderboard and range-checked before they are written.

Licencia: Each leaderboard's own terms

Hugging Face Open LLM Leaderboard

Instantánea

Retired by Hugging Face. BenchGecko keeps its last snapshot; it is no longer fetched.

Fuente: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboardLicencia: Open data

MCP Registry

Diario

MCP server listings with package info, transport types, and repository links.

Fuente: https://registry.modelcontextprotocol.ioLicencia: Open API

Hacker News, Wikipedia, GitHub

Diario

Mindshare signals: daily Hacker News mentions (Algolia API), Wikipedia page views (Wikimedia API) and GitHub stars for every tracked model, lab, agent, person and topic.

Fuente: https://hn.algolia.com/apiLicencia: Public APIs

SEC EDGAR and market close

Diario

Public company figures from filings and the daily market close. Private company figures are researched twice a week and written only when a trusted source page contains the number.

Fuente: https://www.sec.gov/edgarLicencia: Public records

Vast.ai marketplace

Diario

GPU rental prices: median, 10th percentile and minimum on-demand price per GPU-hour for tracked AI chips.

Fuente: https://vast.aiLicencia: Public marketplace data

Hugging Face Hub

Instantánea

Model metadata for open models: parameter counts, licenses, architectures, downloads.

Fuente: https://huggingface.co/api/modelsLicencia: Public API, no authentication required

Infrastructure dataset

Curado · con fecha

Chips, memory, foundries, systems and energy, curated from datasheets, earnings calls, filings and utility disclosures. Every record carries an as-of date and a source link.

Licencia: Sources linked per record

Gecko Tests

Diario

BenchGecko's own automated tests on the newest models: identity, world map, refusals, knowledge cutoff, tokenizer cost, provider quality, drift. Raw answers are published.

Licencia: CC BY 4.0

Mostramos las puntuaciones tal como las reporta su fuente. No se ajustan, ponderan ni normalizan para comparación entre benchmarks salvo indicación explícita.

Cuando varias fuentes reportan el mismo benchmark para un modelo, BenchGecko conserva la puntuación de la fuente más autorizada (la clasificación propia del benchmark antes que los agregadores). Las puntuaciones de los anuncios oficiales de los modelos se añaden cuando las clasificaciones públicas aún no las incluyen.

El BenchGecko Score ordena los modelos en una sola escala. Cada puntuación de benchmark se reescala de 0 a 100 entre la puntuación más baja y la más alta que tiene cualquier modelo rastreado en ese benchmark, y después se promedian las puntuaciones reescaladas. Se excluyen las valoraciones Arena Elo y los índices compuestos de Artificial Analysis, y un modelo necesita al menos 3 benchmarks para recibir una puntuación. Es una señal resumida: revisa la cobertura en la página del modelo antes de sacar conclusiones firmes.

Los precios de lista de los modelos provienen del catálogo público de OpenRouter y se muestran por 1 millón de tokens. Rastreamos 9 campos de precio: entrada, salida, lectura de caché, escritura de caché, imagen, audio, razonamiento interno, búsqueda web y tarifas por solicitud. Las ofertas por proveedor (precio, cuantización, ventana de contexto, disponibilidad) provienen de la API de endpoints de OpenRouter, así que un mismo modelo se puede comparar entre distintos hosts.

Los precios se comprueban cada día y se guardan como historial diario de precios, graficado en la página de cada modelo. Los cambios de precio que se mantienen se registran como eventos fechados en el registro de cambios.

La disponibilidad de los proveedores se mide llamando cada 15 minutos al endpoint público de la API de cada proveedor rastreado y registrando el estado HTTP y el tiempo de respuesta. Tres comprobaciones fallidas seguidas abren un incidente; dos correctas seguidas lo cierran.

Los porcentajes de disponibilidad se calculan a partir de las comprobaciones almacenadas, que se conservan durante 35 días. Reflejan la disponibilidad del endpoint de la API, no la de cada modelo por separado.

Un modelo se marca como "Open Source" si sus pesos están disponibles públicamente bajo una licencia aprobada por OSI o una licencia comunitaria permisiva.

Tipo de datosFrecuencia
Precios de APIDiario
Directorio de modelosDiario (desde OpenRouter)
Puntuaciones de benchmarksDiaria
Disponibilidad de proveedoresCada 15 minutos
Servidores MCPDiario
Mindshare (Hacker News, Wikipedia, GitHub)Diario
Cifras de empresasPúblicas: a diario · privadas: dos veces por semana
Precios de alquiler de GPUDiario
Gecko TestsLaboratorio diario · cada modelo una vez por versión de prueba
Chips, memoria, fundiciones, sistemas, energíaConjunto de datos curado · a fecha de ·

Si detectas un error en nuestros datos, escribe a hello@benchgecko.ai o contáctanos en X @BenchGecko. Cada cifra conserva su fuente y su fecha, así que las correcciones se pueden contrastar con el original.

Creado por el equipo de BenchGecko a partir de fuentes públicas. Cada cifra muestra su fecha y su fuente.