방법론

데이터를 어디서 가져오고, 어떻게 점수를 매기며, 각 항목이 얼마나 자주 갱신되는지 안내합니다.

OpenRouter API

매일

Model catalog and list prices (9 fields: input, output, cache read/write, reasoning, image, audio, web search, per request), context windows, modalities, supported parameters, deprecation dates. Per-provider offers from the endpoints API.

출처: https://openrouter.ai/api/v1/models라이선스: Public API, no authentication required

Epoch AI

매일

Benchmark scores and model metadata such as training compute, release dates and organizations.

출처: https://epoch.ai/data라이선스: CC BY 4.0

Public leaderboards

매일

Artificial Analysis, LMArena, LiveBench, Aider, SWE-bench, Scale SEAL, HELM, OpenCompass, and CJK and multilingual suites. Scores are fetched from each leaderboard and range-checked before they are written.

라이선스: Each leaderboard's own terms

Hugging Face Open LLM Leaderboard

스냅샷

Retired by Hugging Face. BenchGecko keeps its last snapshot; it is no longer fetched.

출처: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard라이선스: Open data

MCP Registry

매일

MCP server listings with package info, transport types, and repository links.

출처: https://registry.modelcontextprotocol.io라이선스: Open API

Hacker News, Wikipedia, GitHub

매일

Mindshare signals: daily Hacker News mentions (Algolia API), Wikipedia page views (Wikimedia API) and GitHub stars for every tracked model, lab, agent, person and topic.

출처: https://hn.algolia.com/api라이선스: Public APIs

SEC EDGAR and market close

매일

Public company figures from filings and the daily market close. Private company figures are researched twice a week and written only when a trusted source page contains the number.

출처: https://www.sec.gov/edgar라이선스: Public records

Vast.ai marketplace

매일

GPU rental prices: median, 10th percentile and minimum on-demand price per GPU-hour for tracked AI chips.

출처: https://vast.ai라이선스: Public marketplace data

Hugging Face Hub

스냅샷

Model metadata for open models: parameter counts, licenses, architectures, downloads.

출처: https://huggingface.co/api/models라이선스: Public API, no authentication required

Infrastructure dataset

큐레이션 · 날짜 표기

Chips, memory, foundries, systems and energy, curated from datasheets, earnings calls, filings and utility disclosures. Every record carries an as-of date and a source link.

라이선스: Sources linked per record

Gecko Tests

매일

BenchGecko's own automated tests on the newest models: identity, world map, refusals, knowledge cutoff, tokenizer cost, provider quality, drift. Raw answers are published.

라이선스: CC BY 4.0

벤치마크 점수는 원본 출처에서 보고된 그대로 표시합니다. 명시적으로 표기하지 않는 한 벤치마크 간 비교를 위해 점수를 조정, 가중, 정규화하지 않습니다. 각 점수는 가능한 경우 출처에 링크합니다.

여러 출처가 같은 모델의 동일한 벤치마크 점수를 보고하면, BenchGecko는 더 신뢰도가 높은 출처(집계 사이트보다 벤치마크 자체 리더보드)의 점수를 유지합니다. 공개 리더보드에 아직 없는 점수는 공식 모델 발표에서 가져와 추가합니다.

BenchGecko 점수는 모델을 하나의 척도로 순위화합니다. 각 벤치마크 점수는 추적 중인 모델 중 해당 벤치마크의 최저 점수와 최고 점수 사이에서 0에서 100으로 환산한 뒤 평균을 냅니다. Arena Elo 점수와 Artificial Analysis 종합 지수는 제외하며, 점수를 받으려면 최소 3개의 벤치마크가 필요합니다. 이는 요약 지표이므로, 결론을 내리기 전에 모델 페이지에서 커버리지를 확인하세요.

모델 정가는 OpenRouter의 공개 카탈로그에서 가져오며 100만 토큰당 가격으로 표시합니다. 입력, 출력, 캐시 읽기, 캐시 쓰기, 이미지, 오디오, 내부 추론, 웹 검색, 요청당 요금까지 9개 가격 항목을 추적합니다. 제공업체별 조건(가격, 양자화, 컨텍스트 윈도우, 가동률)은 OpenRouter의 엔드포인트 API에서 가져오므로, 같은 모델을 여러 호스트에서 비교할 수 있습니다.

가격은 매일 확인하여 일별 가격 이력으로 저장하며, 각 모델 페이지에 차트로 표시합니다. 유지된 가격 변동은 날짜가 표시된 이벤트로 변경 내역에 기록됩니다.

제공업체 가동률은 추적 중인 각 제공업체의 공개 API 엔드포인트를 15분마다 호출하여 HTTP 상태와 응답 시간을 기록하는 방식으로 측정합니다. 연속 3회 실패하면 장애가 시작되고, 연속 2회 성공하면 종료됩니다.

가동률은 35일간 보관된 점검 기록으로 계산합니다. 이는 개별 모델이 아니라 API 엔드포인트의 가용성을 나타냅니다.

모델의 가중치가 OSI 승인 라이선스(Apache 2.0, MIT) 또는 허용적 커뮤니티 라이선스(Llama Community License)하에 공개적으로 다운로드 및 사용 가능한 경우 "Open Source"로 표시합니다. 제한적 라이선스하의 "공개 가중치" 모델은 별도로 표시합니다.

데이터 유형주기
API 가격매일
모델 디렉터리매일 (OpenRouter 기준)
벤치마크 점수매일
프로바이더 가동률15분마다
MCP 서버매일
마인드셰어 (Hacker News, Wikipedia, GitHub)매일
기업 수치상장: 매일 · 비상장: 주 2회
GPU 대여 가격매일
Gecko Tests매일 실험 · 테스트 버전당 모델별 1회
칩, 메모리, 파운드리, 시스템, 에너지큐레이션 데이터셋 · · 기준

데이터에서 오류를 발견하면 hello@benchgecko.ai로 이메일을 보내 주시거나 X @BenchGecko로 연락해 주세요. 모든 수치에는 출처와 날짜가 남아 있어 원본과 대조하여 수정할 수 있습니다.

BenchGecko 팀이 공개 출처를 바탕으로 만들었습니다. 모든 수치에 날짜와 출처가 표시됩니다.