同じ質問 · 同じモデル · 無編集の回答

毎回の実行では、同じ項目をOpenRouter経由で各モデルに送信します。温度は0、推論設定はモデルが提供する最低レベルです。BenchGeckoは、モデルID、応答を返したプロバイダー、日付、設定、コスト、そして応答の全文を記録します。

正解が明確に決まる場合(アイデンティティ、地理、日付、トークン数)は、コードで採点します。Censorship IndexとModel Drift Indexの拒否ラベルは、固定のルーブリックを持つ判定モデルが付けます。判定モデルには質問と応答だけが見えます。

プロファイルテストはモデルのバージョンごとに1回実行されます。モニタリングテストは繰り返し実行されます。Model Drift Indexは毎週、Same Model Different Hostは毎月です。1日の予算上限があるため、新モデルが大量に溜まった場合は解消に数日かかることがあります。項目や採点方法を変更した場合は、必ず新しいテストバージョンになります。