方法論
データの取得方法、スコアの算出方法、各項目の更新頻度について説明します。
データソース
OpenRouter API
毎日Model catalog and list prices (9 fields: input, output, cache read/write, reasoning, image, audio, web search, per request), context windows, modalities, supported parameters, deprecation dates. Per-provider offers from the endpoints API.
Epoch AI
毎日Benchmark scores and model metadata such as training compute, release dates and organizations.
Public leaderboards
毎日Artificial Analysis, LMArena, LiveBench, Aider, SWE-bench, Scale SEAL, HELM, OpenCompass, and CJK and multilingual suites. Scores are fetched from each leaderboard and range-checked before they are written.
Hugging Face Open LLM Leaderboard
スナップショットRetired by Hugging Face. BenchGecko keeps its last snapshot; it is no longer fetched.
MCP Registry
毎日MCP server listings with package info, transport types, and repository links.
Hacker News, Wikipedia, GitHub
毎日Mindshare signals: daily Hacker News mentions (Algolia API), Wikipedia page views (Wikimedia API) and GitHub stars for every tracked model, lab, agent, person and topic.
SEC EDGAR and market close
毎日Public company figures from filings and the daily market close. Private company figures are researched twice a week and written only when a trusted source page contains the number.
Vast.ai marketplace
毎日GPU rental prices: median, 10th percentile and minimum on-demand price per GPU-hour for tracked AI chips.
Hugging Face Hub
スナップショットModel metadata for open models: parameter counts, licenses, architectures, downloads.
Infrastructure dataset
キュレーション · 日付付きChips, memory, foundries, systems and energy, curated from datasheets, earnings calls, filings and utility disclosures. Every record carries an as-of date and a source link.
Gecko Tests
毎日BenchGecko's own automated tests on the newest models: identity, world map, refusals, knowledge cutoff, tokenizer cost, provider quality, drift. Raw answers are published.
ベンチマークスコア
スコアはソースから報告されたままの値を表示しています。明示的に注記されている場合を除き、ベンチマーク間の比較のための調整、重み付け、正規化は行っておりません。各スコアは可能な限りソースへのリンクを提供しています。
複数のソースが同じモデルの同じベンチマークを報告している場合、BenchGecko はより信頼性の高いソース(集計サイトよりもベンチマーク公式のリーダーボード)のスコアを採用します。公開リーダーボードにまだ掲載されていない場合は、モデルの公式発表のスコアを追加します。
BenchGecko スコア
BenchGecko スコアは、モデルを単一の尺度でランク付けするものです。各ベンチマークのスコアを、追跡中のモデルの最低スコアから最高スコアの間で0から100に再スケールし、その平均を取ります。Arena Elo レーティングと Artificial Analysis の総合指数は含まれず、スコアの算出には少なくとも3つのベンチマークが必要です。これは要約的な指標です。強い結論を出す前に、モデルページでカバレッジを確認してください。
料金
モデルの定価は OpenRouter の公開カタログから取得し、100万トークンあたりで表示します。追跡する価格項目は9種類で、入力、出力、キャッシュ読み取り、キャッシュ書き込み、画像、音声、内部推論、ウェブ検索、リクエスト単位の料金です。プロバイダー別の提供情報(価格、量子化、コンテキストウィンドウ、稼働率)は OpenRouter のエンドポイント API から取得するため、同じモデルをホスト間で比較できます。
価格は毎日確認され、日次の価格履歴として保存され、各モデルページのチャートに表示されます。継続した価格変更は、日付付きのイベントとして変更履歴に記録されます。
稼働率モニタリング
プロバイダーの稼働率は、追跡対象の各プロバイダーの公開 API エンドポイントを15分ごとに呼び出し、HTTP ステータスと応答時間を記録して測定します。チェックが3回連続で失敗するとインシデントが開始され、2回連続で成功すると終了します。
稼働率は、35日間保存されたチェック結果から算出されます。これは API エンドポイントの可用性を示すもので、個々のモデルの可用性ではありません。
Open Source分類
モデルが「Open Source」と表示されるのは、重みがOSI承認ライセンス(Apache 2.0、MIT)または寛容なコミュニティライセンス(Llama Community License)の下で公開ダウンロードおよび利用可能な場合です。制限的ライセンスの下での「オープンウェイト」モデルは別途表示されます。
更新頻度
| データタイプ | 頻度 |
|---|---|
| API料金 | 毎日 |
| モデルディレクトリ | 毎日(OpenRouterより取得) |
| ベンチマークスコア | 毎日 |
| プロバイダー稼働率 | 15分ごと |
| MCP サーバー | 毎日 |
| マインドシェア(Hacker News、Wikipedia、GitHub) | 毎日 |
| 企業の数値 | 公開企業:毎日 · 非公開企業:週2回 |
| GPUレンタル価格 | 毎日 |
| Gecko Tests | 毎日のラボ · 各モデルはテストバージョンごとに1回 |
| チップ、メモリ、ファウンドリ、システム、エネルギー | キュレーション済みデータセット · · 時点 |
修正について
データに誤りを見つけた場合は、hello@benchgecko.ai へメールするか、X の @BenchGecko までご連絡ください。すべての数値にはソースと日付が付いているため、元の情報と照合して訂正できます。
BenchGecko チームが公開情報をもとに作成しています。すべての数値に日付とソースを表示しています。