Phi 3.5 Mini Instruct vs Gemma 2 27B
Lado a lado. Cada métrica. Cada benchmark.
| Tipo | Phi 3.5 Mini Instruct | Gemma 2 27B |
|---|---|---|
| Provider |  Microsoft |  Google DeepMind |
| pontuação média | 28.2 | 32.9 |
| Preço de entrada | - | $0.65 |
| Preço de saída | - | $0.65 |
| Janela de contexto | - | 8K tokens (~4 books) |
| Lançado em | 2024-08-16 | 2024-07-13 |
| Código aberto | Open Source | Open Source |
Pontuações de benchmark
6 benchmarks · Phi 3.5 Mini Instruct: 1, Gemma 2 27B: 5
| Benchmark | Categoria | Phi 3.5 Mini Instruct | Gemma 2 27B |
|---|---|---|---|
| BBH (HuggingFace) | general | 36.8 | 49.3 |
| GPQA | knowledge | 12.0 | 16.7 |
| IFEval | language | 57.8 | 79.8 |
| MATH Level 5 | math | 19.6 | 23.9 |
| MMLU-PRO | knowledge | 32.9 | 38.4 |
| MUSR | reasoning | 10.1 | 9.1 |