Claude 3.5 Haiku vs GPT-4o-mini
Lado a lado. Cada métrica. Cada benchmark.
| Tipo | Claude 3.5 Haiku | GPT-4o-mini |
|---|---|---|
| Provider |  Anthropic |  OpenAI |
| pontuação média | 37.2 | 39.6 |
| Preço de entrada | $0.80 | $0.15 |
| Preço de saída | $4.00 | $0.60 |
| Janela de contexto | 200K tokens (~100 books) | 128K tokens (~64 books) |
| Lançado em | 2024-11-04 | 2024-07-18 |
| Código aberto | Proprietary | Proprietary |
Pontuações de benchmark
9 benchmarks · Claude 3.5 Haiku: 5, GPT-4o-mini: 4
| Benchmark | Categoria | Claude 3.5 Haiku | GPT-4o-mini |
|---|---|---|---|
| Aider polyglot | coding | 28.0 | 3.6 |
| Balrog | knowledge | 19.3 | 17.4 |
| GeoBench | knowledge | 34.0 | 64.0 |
| GPQA diamond | knowledge | 17.5 | 17.0 |
| Lech Mazur Writing | knowledge | 73.5 | 67.2 |
| MATH level 5 | math | 46.4 | 52.6 |
| MMLU | knowledge | 65.7 | 75.7 |
| OTIS Mock AIME 2024-2025 | math | 4.2 | 6.8 |
| WeirdML | coding | 30.7 | 11.8 |