Hermes 2 Pro - Llama-3 8B
オープンソース開発元 nousresearch · リリース日 2024-05-27
22.1
平均スコア
$0.14/1M
入力料金
$0.14/1M
出力料金
8K tokens (~4 books)
コンテキストウィンドウ
text
タイプ
Tested on 6 benchmarks with 22.1% average. Top scores: IFEval (53.6%), BBH (HuggingFace) (30.7%), MMLU-PRO (22.8%).
ベンチマークスコア
| ベンチマーク | カテゴリ | スコア | Bar |
|---|---|---|---|
| IFEval | language | 53.6 | |
| BBH (HuggingFace) | general | 30.7 | |
| MMLU-PRO | knowledge | 22.8 | |
| MUSR | reasoning | 11.3 | |
| MATH Level 5 | math | 8.4 | |
| GPQA | knowledge | 5.7 |