LLaMA-33B
Código abertopor Meta · Lançado em 2024-01-01
57.9
pontuação média
N/A
Preço de entrada
N/A
Preço de saída
N/A
Janela de contexto
text
Tipo
Tested on 10 benchmarks with 57.9% average. Top scores: TriviaQA (83.8%), LAMBADA (77.2%), HellaSwag (77.1%).
Pontuações de benchmark
| Benchmark | Categoria | Pontuação | Bar |
|---|---|---|---|
| TriviaQA | knowledge | 83.8 | |
| LAMBADA | knowledge | 77.2 | |
| HellaSwag | knowledge | 77.1 | |
| PIQA | knowledge | 64.6 | |
| ARC AI2 | knowledge | 56.7 | |
| Winogrande | knowledge | 52.0 | |
| MMLU | knowledge | 44.9 | |
| OpenBookQA | knowledge | 44.8 | |
| GSM8K | math | 44.1 | |
| BBH | reasoning | 33.3 |