같은 질문 · 같은 모델 · 편집 없는 응답

매 실행마다 동일한 문항을 OpenRouter를 통해 각 모델에 temperature 0, 모델이 제공하는 가장 낮은 추론 설정으로 보냅니다. BenchGecko는 모델 ID, 응답을 제공한 제공자, 날짜, 설정, 비용, 전체 응답을 기록합니다.

정확한 답이 있는 항목(정체성, 지리, 날짜, 토큰 수)은 코드로 채점합니다. Censorship Index의 거부 라벨과 Model Drift Index는 질문과 응답만 보는 심사 모델이 고정된 평가 기준에 따라 판정합니다.

프로필 테스트는 모델 버전마다 한 번 실행됩니다. 모니터링 테스트는 반복되며, Model Drift Index는 매주, Same Model Different Host는 매월 실행됩니다. 일일 예산 한도가 있어 새 모델이 많이 밀리면 처리에 며칠이 걸릴 수 있습니다. 문항이나 채점 방식이 바뀌면 항상 새 테스트 버전이 됩니다.