Beta
Classificação/Gemini 1.5 Pro (Sept 2024)
Google

Gemini 1.5 Pro (Sept 2024)

por Google · Lançado em 2024-01-01

31.3
pontuação média
N/A
Preço de entrada
N/A
Preço de saída
N/A
Janela de contexto
text
Tipo

Tested on 10 benchmarks with 31.3% average. Top scores: MMLU (82.5%), MATH level 5 (70.4%), GPQA diamond (43.0%).

Pontuações de benchmark

BenchmarkCategoriaPontuaçãoBar
MMLUknowledge82.5
MATH level 5math70.4
GPQA diamondknowledge43.0
CadEvalcoding34.0
OTIS Mock AIME 2024-2025math23.0
WeirdMLcoding22.2
Balrogknowledge21.0
SimpleBenchreasoning12.5
The Agent Companyagentic3.4
ARC-AGI-2reasoning0.8

Modelos similares

OpenAIGPT-4o (2024-08-06)
OpenAI
31.6
OpenAIGPT-4o (2024-05-13)
OpenAI
31.6
OpenAIGPT-4o
OpenAI
31.6
OpenAIGPT-4o (extended)
OpenAI
31.6

Google Gemini 1.5 Pro Cronologia

Gemini 1.5 Pro (Feb 2024)
37.7
N/AN/Actx6 benchmarks
Gemini 1.5 Pro (Sept 2024)
31.3-6.4
N/AN/Actx10 benchmarks