Hermes 3 70B Instruct
オープンソース開発元 nousresearch · リリース日 2024-08-18
38.5
平均スコア
$0.30/1M
入力料金
$0.30/1M
出力料金
131K tokens (~66 books)
コンテキストウィンドウ
text
タイプ
Tested on 6 benchmarks with 38.5% average. Top scores: IFEval (76.6%), BBH (HuggingFace) (53.8%), MMLU-PRO (41.4%).
ベンチマークスコア
| ベンチマーク | カテゴリ | スコア | Bar |
|---|---|---|---|
| IFEval | language | 76.6 | |
| BBH (HuggingFace) | general | 53.8 | |
| MMLU-PRO | knowledge | 41.4 | |
| MUSR | reasoning | 23.4 | |
| MATH Level 5 | math | 21.0 | |
| GPQA | knowledge | 14.9 |