GPT-3.5 Turbo (older v0613) vs Llama 2-13B
Lado a lado. Cada métrica. Cada benchmark.
| Tipo | GPT-3.5 Turbo (older v0613) | Llama 2-13B |
|---|---|---|
| Provider |  OpenAI |  Meta |
| pontuação média | 45.8 | 42.5 |
| Preço de entrada | $1.00 | - |
| Preço de saída | $2.00 | - |
| Janela de contexto | 4K tokens (~2 books) | - |
| Lançado em | 2024-01-25 | 2024-01-01 |
| Código aberto | Proprietary | Open Source |
Pontuações de benchmark
10 benchmarks · GPT-3.5 Turbo (older v0613): 10, Llama 2-13B: 0
| Benchmark | Categoria | GPT-3.5 Turbo (older v0613) | Llama 2-13B |
|---|---|---|---|
| ARC AI2 | knowledge | 83.2 | 47.1 |
| BBH | reasoning | 48.8 | 44.3 |
| CSQA2 | knowledge | 14.0 | 0.1 |
| GPQA diamond | knowledge | 2.9 | 1.8 |
| GSM8K | math | 57.8 | 36.9 |
| MATH level 5 | math | 11.6 | 3.3 |
| MMLU | knowledge | 56.4 | 40.8 |
| OpenBookQA | knowledge | 81.3 | 42.7 |
| TriviaQA | knowledge | 85.8 | 79.6 |
| Winogrande | knowledge | 63.2 | 45.6 |