方法论

我们如何获取数据、如何评分,以及各部分的刷新频率。

数据来源

OpenRouter API

每日

Model catalog and list prices (9 fields: input, output, cache read/write, reasoning, image, audio, web search, per request), context windows, modalities, supported parameters, deprecation dates. Per-provider offers from the endpoints API.

来源: https://openrouter.ai/api/v1/models许可证: Public API, no authentication required

Epoch AI

每日

Benchmark scores and model metadata such as training compute, release dates and organizations.

来源: https://epoch.ai/data许可证: CC BY 4.0

Public leaderboards

每日

Artificial Analysis, LMArena, LiveBench, Aider, SWE-bench, Scale SEAL, HELM, OpenCompass, and CJK and multilingual suites. Scores are fetched from each leaderboard and range-checked before they are written.

许可证: Each leaderboard's own terms

Hugging Face Open LLM Leaderboard

快照

Retired by Hugging Face. BenchGecko keeps its last snapshot; it is no longer fetched.

来源: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard许可证: Open data

MCP Registry

每日

MCP server listings with package info, transport types, and repository links.

来源: https://registry.modelcontextprotocol.io许可证: Open API

Hacker News, Wikipedia, GitHub

每日

Mindshare signals: daily Hacker News mentions (Algolia API), Wikipedia page views (Wikimedia API) and GitHub stars for every tracked model, lab, agent, person and topic.

来源: https://hn.algolia.com/api许可证: Public APIs

SEC EDGAR and market close

每日

Public company figures from filings and the daily market close. Private company figures are researched twice a week and written only when a trusted source page contains the number.

来源: https://www.sec.gov/edgar许可证: Public records

Vast.ai marketplace

每日

GPU rental prices: median, 10th percentile and minimum on-demand price per GPU-hour for tracked AI chips.

来源: https://vast.ai许可证: Public marketplace data

Hugging Face Hub

快照

Model metadata for open models: parameter counts, licenses, architectures, downloads.

来源: https://huggingface.co/api/models许可证: Public API, no authentication required

Infrastructure dataset

人工整理 · 标注日期

Chips, memory, foundries, systems and energy, curated from datasheets, earnings calls, filings and utility disclosures. Every record carries an as-of date and a source link.

许可证: Sources linked per record

Gecko Tests

每日

BenchGecko's own automated tests on the newest models: identity, world map, refusals, knowledge cutoff, tokenizer cost, provider quality, drift. Raw answers are published.

许可证: CC BY 4.0

基准测试分数

我们如实展示各来源报告的分数。除非明确注明，分数不会被调整、加权或标准化以进行跨基准测试比较。每个分数都尽可能附有来源链接。

当多个来源报告同一模型的同一基准测试时,BenchGecko 保留更权威来源的分数(优先采用基准测试自身的排行榜,其次才是聚合站点)。当公开排行榜尚未收录时,我们会补充来自模型官方发布的分数。

BenchGecko 分数

BenchGecko 分数用同一标尺对模型排名。每项基准测试分数会在所有已跟踪模型在该基准上的最低分与最高分之间重新缩放到 0 至 100,然后对缩放后的分数取平均。Arena Elo 评分和 Artificial Analysis 综合指数不计入,模型至少需要 3 项基准测试才会获得分数。它只是一个概括性信号:在得出强结论之前,请先查看模型页面上的覆盖情况。

定价

模型标价来自 OpenRouter 的公开目录,按每 100 万 token 显示。我们跟踪 9 个价格字段:输入、输出、缓存读取、缓存写入、图像、音频、内部推理、网络搜索和按请求收费。各提供商的报价(价格、量化方式、上下文窗口、正常运行时间)来自 OpenRouter 的端点 API,因此同一模型可以在不同托管方之间比较。

价格每天检查一次,并保存为每日价格历史,在每个模型页面以图表展示。持续有效的价格变动会作为带日期的事件记录在更新日志中。

在线率监控

提供商正常运行时间的测量方式是:每 15 分钟调用每个已跟踪提供商的公开 API 端点,并记录 HTTP 状态和响应时间。连续三次检查失败会开启一次故障事件,连续两次检查成功则将其关闭。

正常运行时间百分比根据保存的检查记录计算,这些记录保留 35 天。它反映的是 API 端点的可用性,而非单个模型的可用性。

Open Source 分类

如果模型的权重可公开下载并在 OSI 认可的许可证（Apache 2.0、MIT）或宽松社区许可证（Llama Community License）下使用，则标记为"Open Source"。在限制性许可证下的"开放权重"模型会单独标注。

更新频率

数据类型	频率
API 定价	每日
模型目录	每日（来自 OpenRouter）
基准测试分数	每日
供应商在线率	每 15 分钟
MCP 服务器	每日
关注度(Hacker News、Wikipedia、GitHub)	每日
公司数据	上市公司:每日 · 非上市公司:每周两次
GPU 租赁价格	每日
Gecko Tests	每日实验 · 每个模型每个测试版本测一次
芯片、内存、晶圆代工、系统、能源	人工整理的数据集 · 截至 ·

数据勘误

如果您发现我们的数据有误,请发送邮件至 hello@benchgecko.ai,或在 X 上联系 @BenchGecko。每个数字都保留了来源和日期,因此可以对照原始资料核实更正。

由 BenchGecko 团队基于公开来源构建。每个数字都标明日期和来源。