独自のAIテスト · 生の回答も公開

ベンチマークは、モデルが何を解けるかを測ります。Gecko Testsは、モデルがどう振る舞うかを測ります。自分を作った組織を知っているか、世界をどう描くか、何を拒否するか、知識がどこで途切れるか、他言語にどれだけコストがかかるか、そして予告なく変化するかどうかです。

プロファイルテストは、新しいモデルが登場するとすぐに、モデルのバージョンごとに1回実行されます。モニタリングテストは同じモデルで繰り返し実行されます。Model Drift Indexは毎週、Same Model Different Hostは毎月です。すべての実行には日付があり、すべての回答が保存されます。

注目すべき結果は、ブログで発見として公開されます。スコア、テスト項目、生の回答は、CC BY 4.0のもとで自由に再利用できます。各テストページのJSONと、GitHubのBenchGecko datasetsリポジトリにある日次エクスポートで入手できます。