Hermes 3 70B Instruct vs Llama 3 8B Instruct
Côte à côte. Chaque métrique. Chaque benchmark.
| Type | Hermes 3 70B Instruct | Llama 3 8B Instruct |
|---|---|---|
| Provider |  nousresearch |  Meta |
| score moyen | 38.5 | 30.8 |
| Prix d'entrée | $0.30 | $0.03 |
| Prix de sortie | $0.30 | $0.04 |
| Fenêtre de contexte | 131K tokens (~66 books) | 8K tokens (~4 books) |
| Sorti le | 2024-08-18 | 2024-04-18 |
| Code source ouvert | Open Source | Open Source |
Scores de benchmark
6 benchmarks · Hermes 3 70B Instruct: 6, Llama 3 8B Instruct: 0
| Benchmark | Catégorie | Hermes 3 70B Instruct | Llama 3 8B Instruct |
|---|---|---|---|
| BBH (HuggingFace) | general | 53.8 | 18.4 |
| GPQA | knowledge | 14.9 | 2.1 |
| IFEval | language | 76.6 | 24.0 |
| MATH Level 5 | math | 21.0 | 3.9 |
| MMLU-PRO | knowledge | 41.4 | 17.8 |
| MUSR | reasoning | 23.4 | 19.9 |