Beta
Classificação/Llama 3 8B Instruct
Meta

Llama 3 8B Instruct

Código aberto

por Meta · Lançado em 2024-04-18

41.7
pontuação média
$0.03/1M
Preço de entrada
$0.04/1M
Preço de saída
8K tokens (~4 books)
Janela de contexto
text
Tipo

Tested on 9 benchmarks with 41.7% average. Top scores: ARC AI2 (77.1%), OpenBookQA (76.8%), TriviaQA (67.7%).

Pontuações de benchmark

BenchmarkCategoriaPontuaçãoBar
ARC AI2knowledge77.1
OpenBookQAknowledge76.8
TriviaQAknowledge67.7
MMLUknowledge58.4
Winograndeknowledge51.4
ANLIknowledge36.0
MATH level 5math6.1
GPQA diamondknowledge1.4
OTIS Mock AIME 2024-2025math0.7

Modelos similares

M
Kimi K2 0711
moonshotai
41.8
U
MPT-30B
unknown
41.5
U
StarCoder 2 15B
unknown
42.0
AnthropicClaude 3.7 Sonnet
Anthropic
42.1

Meta Llama 3 Cronologia

Llama 3 70B Instruct
31.7
$0.51/M in8Kctx7 benchmarks
Llama 3 8B Instruct
41.7+10.0
$0.03/M in(-0.48)8Kctx9 benchmarks