Phi 3.5 Mini Instruct vs Gemma 2 27B
Côte à côte. Chaque métrique. Chaque benchmark.
| Type | Phi 3.5 Mini Instruct | Gemma 2 27B |
|---|---|---|
| Provider |  Microsoft |  Google DeepMind |
| score moyen | 28.2 | 32.9 |
| Prix d'entrée | - | $0.65 |
| Prix de sortie | - | $0.65 |
| Fenêtre de contexte | - | 8K tokens (~4 books) |
| Sorti le | 2024-08-16 | 2024-07-13 |
| Code source ouvert | Open Source | Open Source |
Scores de benchmark
6 benchmarks · Phi 3.5 Mini Instruct: 1, Gemma 2 27B: 5
| Benchmark | Catégorie | Phi 3.5 Mini Instruct | Gemma 2 27B |
|---|---|---|---|
| BBH (HuggingFace) | general | 36.8 | 49.3 |
| GPQA | knowledge | 12.0 | 16.7 |
| IFEval | language | 57.8 | 79.8 |
| MATH Level 5 | math | 19.6 | 23.9 |
| MMLU-PRO | knowledge | 32.9 | 38.4 |
| MUSR | reasoning | 10.1 | 9.1 |