Metodología
Cómo obtenemos los datos, cómo los puntuamos y con qué frecuencia se actualiza cada parte.
Fuentes de datos
OpenRouter API
DiarioModel catalog and list prices (9 fields: input, output, cache read/write, reasoning, image, audio, web search, per request), context windows, modalities, supported parameters, deprecation dates. Per-provider offers from the endpoints API.
Epoch AI
DiarioBenchmark scores and model metadata such as training compute, release dates and organizations.
Public leaderboards
DiarioArtificial Analysis, LMArena, LiveBench, Aider, SWE-bench, Scale SEAL, HELM, OpenCompass, and CJK and multilingual suites. Scores are fetched from each leaderboard and range-checked before they are written.
Hugging Face Open LLM Leaderboard
InstantáneaRetired by Hugging Face. BenchGecko keeps its last snapshot; it is no longer fetched.
MCP Registry
DiarioMCP server listings with package info, transport types, and repository links.
Hacker News, Wikipedia, GitHub
DiarioMindshare signals: daily Hacker News mentions (Algolia API), Wikipedia page views (Wikimedia API) and GitHub stars for every tracked model, lab, agent, person and topic.
SEC EDGAR and market close
DiarioPublic company figures from filings and the daily market close. Private company figures are researched twice a week and written only when a trusted source page contains the number.
Vast.ai marketplace
DiarioGPU rental prices: median, 10th percentile and minimum on-demand price per GPU-hour for tracked AI chips.
Hugging Face Hub
InstantáneaModel metadata for open models: parameter counts, licenses, architectures, downloads.
Infrastructure dataset
Curado · con fechaChips, memory, foundries, systems and energy, curated from datasheets, earnings calls, filings and utility disclosures. Every record carries an as-of date and a source link.
Gecko Tests
DiarioBenchGecko's own automated tests on the newest models: identity, world map, refusals, knowledge cutoff, tokenizer cost, provider quality, drift. Raw answers are published.
Puntuaciones de benchmark
Mostramos las puntuaciones tal como las reporta su fuente. No se ajustan, ponderan ni normalizan para comparación entre benchmarks salvo indicación explícita.
Cuando varias fuentes reportan el mismo benchmark para un modelo, BenchGecko conserva la puntuación de la fuente más autorizada (la clasificación propia del benchmark antes que los agregadores). Las puntuaciones de los anuncios oficiales de los modelos se añaden cuando las clasificaciones públicas aún no las incluyen.
BenchGecko Score
El BenchGecko Score ordena los modelos en una sola escala. Cada puntuación de benchmark se reescala de 0 a 100 entre la puntuación más baja y la más alta que tiene cualquier modelo rastreado en ese benchmark, y después se promedian las puntuaciones reescaladas. Se excluyen las valoraciones Arena Elo y los índices compuestos de Artificial Analysis, y un modelo necesita al menos 3 benchmarks para recibir una puntuación. Es una señal resumida: revisa la cobertura en la página del modelo antes de sacar conclusiones firmes.
Precios
Los precios de lista de los modelos provienen del catálogo público de OpenRouter y se muestran por 1 millón de tokens. Rastreamos 9 campos de precio: entrada, salida, lectura de caché, escritura de caché, imagen, audio, razonamiento interno, búsqueda web y tarifas por solicitud. Las ofertas por proveedor (precio, cuantización, ventana de contexto, disponibilidad) provienen de la API de endpoints de OpenRouter, así que un mismo modelo se puede comparar entre distintos hosts.
Los precios se comprueban cada día y se guardan como historial diario de precios, graficado en la página de cada modelo. Los cambios de precio que se mantienen se registran como eventos fechados en el registro de cambios.
Monitoreo de disponibilidad
La disponibilidad de los proveedores se mide llamando cada 15 minutos al endpoint público de la API de cada proveedor rastreado y registrando el estado HTTP y el tiempo de respuesta. Tres comprobaciones fallidas seguidas abren un incidente; dos correctas seguidas lo cierran.
Los porcentajes de disponibilidad se calculan a partir de las comprobaciones almacenadas, que se conservan durante 35 días. Reflejan la disponibilidad del endpoint de la API, no la de cada modelo por separado.
Clasificación Open Source
Un modelo se marca como "Open Source" si sus pesos están disponibles públicamente bajo una licencia aprobada por OSI o una licencia comunitaria permisiva.
Frecuencia de actualización
| Tipo de datos | Frecuencia |
|---|---|
| Precios de API | Diario |
| Directorio de modelos | Diario (desde OpenRouter) |
| Puntuaciones de benchmarks | Diaria |
| Disponibilidad de proveedores | Cada 15 minutos |
| Servidores MCP | Diario |
| Mindshare (Hacker News, Wikipedia, GitHub) | Diario |
| Cifras de empresas | Públicas: a diario · privadas: dos veces por semana |
| Precios de alquiler de GPU | Diario |
| Gecko Tests | Laboratorio diario · cada modelo una vez por versión de prueba |
| Chips, memoria, fundiciones, sistemas, energía | Conjunto de datos curado · a fecha de · |
Correcciones
Si detectas un error en nuestros datos, escribe a hello@benchgecko.ai o contáctanos en X @BenchGecko. Cada cifra conserva su fuente y su fecha, así que las correcciones se pueden contrastar con el original.
Creado por el equipo de BenchGecko a partir de fuentes públicas. Cada cifra muestra su fecha y su fuente.