Mistral 7B Instruct v0.1
オープンソース開発元 Mistral AI · リリース日 2023-09-28
12.8
平均スコア
$0.11/1M
入力料金
$0.19/1M
出力料金
3K tokens (~1 books)
コンテキストウィンドウ
text
タイプ
Tested on 6 benchmarks with 12.8% average. Top scores: IFEval (44.9%), MMLU-PRO (15.7%), BBH (HuggingFace) (7.7%).
ベンチマークスコア
| ベンチマーク | カテゴリ | スコア | Bar |
|---|---|---|---|
| IFEval | language | 44.9 | |
| MMLU-PRO | knowledge | 15.7 | |
| BBH (HuggingFace) | general | 7.7 | |
| MUSR | reasoning | 6.1 | |
| MATH Level 5 | math | 2.3 | |
| GPQA | knowledge | 0.0 |