方法論

データの取得方法、スコアの算出方法、各項目の更新頻度について説明します。

OpenRouter API

毎日

Model catalog and list prices (9 fields: input, output, cache read/write, reasoning, image, audio, web search, per request), context windows, modalities, supported parameters, deprecation dates. Per-provider offers from the endpoints API.

ソース: https://openrouter.ai/api/v1/modelsライセンス: Public API, no authentication required

Epoch AI

毎日

Benchmark scores and model metadata such as training compute, release dates and organizations.

ソース: https://epoch.ai/dataライセンス: CC BY 4.0

Public leaderboards

毎日

Artificial Analysis, LMArena, LiveBench, Aider, SWE-bench, Scale SEAL, HELM, OpenCompass, and CJK and multilingual suites. Scores are fetched from each leaderboard and range-checked before they are written.

ライセンス: Each leaderboard's own terms

Hugging Face Open LLM Leaderboard

スナップショット

Retired by Hugging Face. BenchGecko keeps its last snapshot; it is no longer fetched.

ソース: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboardライセンス: Open data

MCP Registry

毎日

MCP server listings with package info, transport types, and repository links.

ソース: https://registry.modelcontextprotocol.ioライセンス: Open API

Hacker News, Wikipedia, GitHub

毎日

Mindshare signals: daily Hacker News mentions (Algolia API), Wikipedia page views (Wikimedia API) and GitHub stars for every tracked model, lab, agent, person and topic.

ソース: https://hn.algolia.com/apiライセンス: Public APIs

SEC EDGAR and market close

毎日

Public company figures from filings and the daily market close. Private company figures are researched twice a week and written only when a trusted source page contains the number.

ソース: https://www.sec.gov/edgarライセンス: Public records

Vast.ai marketplace

毎日

GPU rental prices: median, 10th percentile and minimum on-demand price per GPU-hour for tracked AI chips.

ソース: https://vast.aiライセンス: Public marketplace data

Hugging Face Hub

スナップショット

Model metadata for open models: parameter counts, licenses, architectures, downloads.

ソース: https://huggingface.co/api/modelsライセンス: Public API, no authentication required

Infrastructure dataset

キュレーション · 日付付き

Chips, memory, foundries, systems and energy, curated from datasheets, earnings calls, filings and utility disclosures. Every record carries an as-of date and a source link.

ライセンス: Sources linked per record

Gecko Tests

毎日

BenchGecko's own automated tests on the newest models: identity, world map, refusals, knowledge cutoff, tokenizer cost, provider quality, drift. Raw answers are published.

ライセンス: CC BY 4.0

スコアはソースから報告されたままの値を表示しています。明示的に注記されている場合を除き、ベンチマーク間の比較のための調整、重み付け、正規化は行っておりません。各スコアは可能な限りソースへのリンクを提供しています。

複数のソースが同じモデルの同じベンチマークを報告している場合、BenchGecko はより信頼性の高いソース(集計サイトよりもベンチマーク公式のリーダーボード)のスコアを採用します。公開リーダーボードにまだ掲載されていない場合は、モデルの公式発表のスコアを追加します。

BenchGecko スコアは、モデルを単一の尺度でランク付けするものです。各ベンチマークのスコアを、追跡中のモデルの最低スコアから最高スコアの間で0から100に再スケールし、その平均を取ります。Arena Elo レーティングと Artificial Analysis の総合指数は含まれず、スコアの算出には少なくとも3つのベンチマークが必要です。これは要約的な指標です。強い結論を出す前に、モデルページでカバレッジを確認してください。

モデルの定価は OpenRouter の公開カタログから取得し、100万トークンあたりで表示します。追跡する価格項目は9種類で、入力、出力、キャッシュ読み取り、キャッシュ書き込み、画像、音声、内部推論、ウェブ検索、リクエスト単位の料金です。プロバイダー別の提供情報(価格、量子化、コンテキストウィンドウ、稼働率)は OpenRouter のエンドポイント API から取得するため、同じモデルをホスト間で比較できます。

価格は毎日確認され、日次の価格履歴として保存され、各モデルページのチャートに表示されます。継続した価格変更は、日付付きのイベントとして変更履歴に記録されます。

プロバイダーの稼働率は、追跡対象の各プロバイダーの公開 API エンドポイントを15分ごとに呼び出し、HTTP ステータスと応答時間を記録して測定します。チェックが3回連続で失敗するとインシデントが開始され、2回連続で成功すると終了します。

稼働率は、35日間保存されたチェック結果から算出されます。これは API エンドポイントの可用性を示すもので、個々のモデルの可用性ではありません。

モデルが「Open Source」と表示されるのは、重みがOSI承認ライセンス(Apache 2.0、MIT)または寛容なコミュニティライセンス(Llama Community License)の下で公開ダウンロードおよび利用可能な場合です。制限的ライセンスの下での「オープンウェイト」モデルは別途表示されます。

データタイプ頻度
API料金毎日
モデルディレクトリ毎日(OpenRouterより取得)
ベンチマークスコア毎日
プロバイダー稼働率15分ごと
MCP サーバー毎日
マインドシェア(Hacker News、Wikipedia、GitHub)毎日
企業の数値公開企業:毎日 · 非公開企業:週2回
GPUレンタル価格毎日
Gecko Tests毎日のラボ · 各モデルはテストバージョンごとに1回
チップ、メモリ、ファウンドリ、システム、エネルギーキュレーション済みデータセット · · 時点

データに誤りを見つけた場合は、hello@benchgecko.ai へメールするか、X の @BenchGecko までご連絡ください。すべての数値にはソースと日付が付いているため、元の情報と照合して訂正できます。

BenchGecko チームが公開情報をもとに作成しています。すべての数値に日付とソースを表示しています。