Phi 2 vs StarCoder 2 15B
Côte à côte. Chaque métrique. Chaque benchmark.
| Type | Phi 2 | StarCoder 2 15B |
|---|---|---|
| Provider |  Microsoft | U Unknown |
| score moyen | 30.2 | 24.3 |
| Prix d'entrée | - | - |
| Prix de sortie | - | - |
| Fenêtre de contexte | - | - |
| Sorti le | 2023-12-13 | 2024-01-01 |
| Code source ouvert | Open Source | Open Source |
Scores de benchmark
9 benchmarks · Phi 2: 4, StarCoder 2 15B: 5
| Benchmark | Catégorie | Phi 2 | StarCoder 2 15B |
|---|---|---|---|
| ARC AI2 | knowledge | 67.9 | 29.6 |
| BBH (HuggingFace) | general | 28.0 | 20.4 |
| GPQA | knowledge | 2.9 | 3.1 |
| IFEval | language | 27.4 | 27.8 |
| MATH Level 5 | math | 3.0 | 6.0 |
| MMLU | knowledge | 44.5 | 52.1 |
| MMLU-PRO | knowledge | 18.1 | 15.0 |
| MUSR | reasoning | 13.8 | 2.9 |
| Winogrande | knowledge | 9.4 | 28.6 |