The AI Economy, Tracked

Every model. Every agent. Everything AI. Tracked.

Updated Mar 30

414Models·55Providers·40Benchmarks·1,577Data Points·3,941MCP Servers·Sources:6

Provider

Filter

174 models

#▲	Model	Avg	ARC AI2?	BBH?	GSM8K?	HellaSwag?	LAMBADA?	MMLU?	GPQA diamond?	MATH level 5?	otis mock ?	WeirdML?	Winogrande?	SimpleBench?	aider poly?	lech mazur?	GSO-Bench?	fiction li?	swe bench ?	terminal b?	frontierma?	simpleqa v?	frontierma?	chess puzz?	APEX-Agents?	OSWorld?	ARC-AGI-2?	HLE?	TriviaQA?	ScienceQA?	PIQA?	OpenBookQA?	CadEval?	Balrog?	GeoBench?	Cybench?	ANLI?	the agent ?	VideoMME?	ARC-AGI?	deepresear?	VPCT?	$/1M in	Context	Released
1	Claude Instant🇺🇸 Anthropic	78.0	81.7	-	86.7	-	-	64.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	78.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
2	DeepSeek-V2 (MoE-236B, May 2024)🇨🇳 DeepSeek	76.5	89.6	71.7	-	82.8	-	71.2	-	-	-	-	72.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	80.0	-	67.8	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
3	Qwen2.5 Coder 32B Instruct🇨🇳 Alibaba QwenOpen	72.6	60.7	-	91.1	77.3	-	72.1	-	-	-	-	61.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.66	33K	Nov 241y ago
4	U Stable Beluga 2 unknown	69.3	81.5	59.1	69.6	78.8	71.3	58.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	66.6	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
5	Gemini 3.1 Pro Preview🇺🇸 Google DeepMind	67.4	-	-	-	-	-	-	92.1	-	95.6	72.1	-	75.5	-	-	-	-	-	78.4	36.9	77.3	16.7	55.0	33.5	-	77.1	-	-	-	-	-	-	-	-	-	-	-	-	98.0	-	-	$2.00	1.0M	Feb 261mo ago
6	phi-3-small 7.4B🇺🇸 MicrosoftOpen	67.4	87.6	72.1	-	69.3	-	67.6	-	-	-	-	63.0	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	58.1	-	-	84.0	-	-	-	-	37.1	-	-	-	-	-	-	-	Jan 242y ago
7	T Falcon-180B TIIOpen	66.7	57.1	-	54.4	85.3	79.8	60.8	-	-	-	-	74.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	69.8	52.3	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
8	Qwen3 Max🇨🇳 Alibaba QwenOpen	65.6	-	-	-	-	-	-	63.5	97.1	73.3	-	-	-	-	87.1	-	66.7	-	-	-	67.5	-	4.0	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.78	262K	Sep 256mo ago
9	o3 Pro🇺🇸 OpenAI	65.1	-	-	-	-	-	-	-	-	-	58.2	-	-	84.9	86.3	-	97.2	-	-	-	-	-	-	-	-	4.9	-	-	-	-	-	-	-	-	-	-	-	-	59.3	-	-	$20.00	200K	Jun 259mo ago
10	M Kimi K2 0905🇨🇳 moonshotaiOpen	62.4	-	-	-	-	-	-	-	-	-	36.7	-	-	59.1	87.3	-	66.7	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.40	131K	Sep 256mo ago
11	LLaMA-65B🇺🇸 MetaOpen	61.9	59.3	44.5	54.4	78.9	77.7	51.2	-	-	-	-	54.0	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	86.0	-	65.6	46.9	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
12	Qwen2.5 Coder 7B Instruct🇨🇳 Alibaba QwenOpen	61.4	47.9	-	86.7	69.1	-	57.3	-	-	-	-	45.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.03	33K	Apr 2511mo ago
13	Qwen-14B🇨🇳 AlibabaOpen	61.1	79.2	40.0	61.3	-	71.1	55.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	59.8	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
14	phi-3-mini 3.8B🇺🇸 MicrosoftOpen	61.0	79.9	62.3	-	68.9	-	58.4	-	-	-	-	41.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	64.0	-	-	84.0	-	-	-	-	29.2	-	-	-	-	-	-	-	Jan 242y ago
15	DeepSeek V3.2 Exp🇨🇳 DeepSeekOpen	60.0	-	-	-	-	-	-	-	-	-	39.5	-	-	74.2	-	-	83.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	42.9	-	-	-	-	$0.27	164K	Sep 256mo ago
16	GPT-5.4 Pro🇺🇸 OpenAI	59.9	-	-	-	-	-	-	-	-	-	-	-	68.9	-	-	-	-	-	-	50.0	-	37.5	-	-	-	83.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$30.00	1.1M	Mar 2625d ago
17	GPT-5.4🇺🇸 OpenAI	59.1	-	-	-	-	-	-	91.1	-	95.3	57.4	-	-	-	-	-	-	-	-	47.6	44.8	27.1	-	35.9	-	74.0	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$2.50	1.1M	Mar 2625d ago
18	phi-3-medium 14B🇺🇸 MicrosoftOpen	58.6	88.8	75.2	-	76.5	-	70.7	3.5	17.6	-	-	63.0	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	73.9	-	-	83.2	-	-	-	-	33.7	-	-	-	-	-	-	-	Jan 242y ago
19	T Falcon 2 11B TIIOpen	58.0	-	-	53.8	77.2	-	44.5	-	-	-	-	56.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
20	LLaMA-33B🇺🇸 MetaOpen	57.9	56.7	33.3	44.1	77.1	77.2	44.9	-	-	-	-	52.0	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	83.8	-	64.6	44.8	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
21	Mixtral 8x7B Instruct🇫🇷 Mistral AIOpen	57.8	83.1	-	74.4	82.3	-	60.8	7.5	9.9	-	-	54.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	82.2	-	67.2	81.1	-	-	-	-	32.8	-	-	-	-	-	$0.54	33K	Dec 232y ago
22	Mistral 7B v0.1🇫🇷 MistralOpen	57.8	71.5	41.5	54.4	74.7	-	50.0	-	-	-	-	50.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	75.2	-	66.0	73.1	-	-	-	-	20.6	-	-	-	-	-	-	-	Jan 242y ago
23	Gemma 7B🇺🇸 GoogleOpen	57.6	71.1	40.1	46.4	76.3	-	54.8	-	-	-	-	58.0	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	72.3	-	62.4	71.5	-	-	-	-	23.1	-	-	-	-	-	-	-	Jan 242y ago
24	DeepSeek V3🇨🇳 DeepSeekOpen	57.2	93.7	83.3	-	85.2	-	82.9	42.0	64.8	15.8	-	70.4	2.7	48.4	-	-	-	-	-	1.7	-	-	-	-	-	-	-	82.9	-	69.4	-	-	-	-	-	-	-	-	-	-	-	$0.32	164K	Dec 241y ago
25	Gemini 3 Pro🇺🇸 Google	56.9	-	-	-	-	-	-	90.2	-	91.4	69.9	-	71.7	-	-	18.6	-	74.2	61.8	37.6	72.9	18.8	31.0	18.4	-	31.1	34.4	-	-	-	-	-	-	84.0	-	-	-	-	75.0	-	86.5	-	-	Jan 242y ago
26	Llama 2-70B🇺🇸 MetaOpen	56.6	71.1	53.2	69.6	80.4	78.9	59.9	1.8	3.3	-	-	60.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	87.6	-	65.6	46.9	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
27	Qwen3 235B A22B🇨🇳 Alibaba QwenOpen	56.4	-	-	-	-	-	-	60.9	68.9	-	37.3	-	17.2	59.6	83.0	-	67.7	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.46	131K	Apr 2511mo ago
28	Grok 4 Fast🇺🇸 xAI	55.9	-	-	-	-	-	-	-	-	-	42.9	-	-	-	81.1	-	94.4	-	-	-	-	-	-	-	-	5.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.20	2.0M	Sep 256mo ago
29	Claude Opus 4.6🇺🇸 Anthropic	55.5	-	-	-	-	-	-	87.4	-	94.4	77.9	-	61.1	-	-	33.3	-	-	69.9	40.7	46.5	22.9	17.0	31.7	-	69.2	31.1	-	-	-	-	-	-	-	-	-	-	-	94.0	-	-	$5.00	1.0M	Feb 261mo ago
30	GPT-5.2 Chat🇺🇸 OpenAI	54.8	-	-	-	-	-	-	88.5	-	96.1	72.2	-	35.0	-	-	27.4	-	71.8	64.9	40.7	38.9	18.8	49.0	34.3	-	52.9	24.2	-	-	-	-	-	-	-	-	-	-	-	86.2	-	76.0	$1.75	128K	Dec 253mo ago
31	GPT-5.2🇺🇸 OpenAI	54.8	-	-	-	-	-	-	88.5	-	96.1	72.2	-	35.0	-	-	27.4	-	71.8	64.9	40.7	38.9	18.8	49.0	34.3	-	52.9	24.2	-	-	-	-	-	-	-	-	-	-	-	86.2	-	76.0	$1.75	400K	Dec 253mo ago
32	o1🇺🇸 OpenAI	54.3	-	-	-	-	-	-	69.0	94.7	73.3	43.8	-	28.1	61.7	70.2	-	83.3	-	-	9.3	-	-	-	-	-	-	-	-	-	-	-	56.0	-	80.0	-	-	-	-	30.7	-	5.5	$15.00	200K	Dec 241y ago
33	T Falcon-40B TIIOpen	54.1	49.1	16.1	33.8	80.4	77.3	42.5	-	-	-	-	53.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	79.9	-	66.0	42.1	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
34	GPT-5 Chat🇺🇸 OpenAI	53.7	-	-	-	-	-	-	81.6	98.1	91.4	60.7	-	48.0	88.0	87.2	6.9	97.2	65.0	49.6	32.4	50.6	12.5	37.0	18.3	-	9.9	21.6	-	-	-	-	-	32.8	81.0	-	-	-	-	65.7	51.0	49.0	$1.25	128K	Aug 257mo ago
35	GPT-5🇺🇸 OpenAI	53.7	-	-	-	-	-	-	81.6	98.1	91.4	60.7	-	48.0	88.0	87.2	6.9	97.2	65.0	49.6	32.4	50.6	12.5	37.0	18.3	-	9.9	21.6	-	-	-	-	-	32.8	81.0	-	-	-	-	65.7	51.0	49.0	$1.25	400K	Aug 257mo ago
36	Llama 2-13B🇺🇸 MetaOpen	53.7	47.1	44.3	36.9	74.3	76.5	40.8	-	-	-	-	45.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	79.6	41.0	61.6	42.7	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
37	Gemini 2.0 Pro🇺🇸 Google	53.7	-	-	-	-	-	-	54.2	83.5	-	-	-	-	35.6	-	-	41.7	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
38	U Nemotron-4 15B unknown	53.4	40.7	44.9	46.0	76.5	-	44.9	-	-	-	-	56.0	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	64.8	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
39	U Yi-34B unknownOpen	53.0	-	62.3	76.0	-	-	68.4	-	5.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
40	Qwen2.5 72B Instruct🇨🇳 Alibaba QwenOpen	52.3	92.7	73.1	-	79.7	-	80.4	32.2	63.2	8.0	-	64.6	-	-	-	-	-	-	-	-	-	-	-	-	5.0	-	-	71.9	-	65.2	-	-	16.2	62.0	-	-	5.7	64.7	-	-	-	$0.12	33K	Sep 241y ago
41	o3🇺🇸 OpenAI	51.3	-	-	-	-	-	-	75.8	97.8	83.9	52.4	-	43.7	81.3	83.9	8.8	88.9	58.4	-	18.7	53.0	2.1	-	-	23.0	6.5	16.3	-	-	-	-	74.0	-	74.0	-	-	-	-	60.8	46.6	28.0	$2.00	200K	Apr 2511mo ago
42	DeepSeek V3.1🇨🇳 DeepSeekOpen	51.1	-	-	-	-	-	-	-	-	-	38.4	-	28.0	-	85.2	-	52.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.15	33K	Aug 257mo ago
43	Gemini 3 Flash Preview🇺🇸 Google DeepMind	50.5	-	-	-	-	-	-	77.6	-	92.8	61.6	-	53.3	-	-	9.8	-	-	64.3	35.6	67.4	4.2	38.0	24.0	-	33.6	-	-	-	-	-	-	48.1	88.0	-	-	-	-	-	-	58.9	$0.50	1.0M	Dec 253mo ago
44	Llama 2-34B🇺🇸 MetaOpen	50.4	39.3	25.5	42.2	-	-	50.1	-	-	-	-	53.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	84.6	-	63.8	44.3	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
45	Gemini 2.0 Flash🇺🇸 Google DeepMind	50.0	-	-	-	-	-	72.9	-	-	-	-	-	17.3	38.2	71.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.10	1.0M	Feb 251y ago
46	Llama 3.1-405B🇺🇸 MetaOpen	49.3	93.7	77.2	-	85.6	-	79.3	34.5	49.8	9.6	21.4	78.4	7.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	82.7	-	71.8	32.3	-	-	-	7.5	-	7.4	-	-	-	-	-	-	Jan 242y ago
47	Qwen-7B🇨🇳 AlibabaOpen	49.3	67.1	26.7	51.7	-	67.9	26.7	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	55.8	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
48	DeepSeek-R1 (May 2025)🇨🇳 DeepSeek	48.5	-	-	-	-	-	-	68.4	96.6	66.4	41.6	-	29.0	71.4	-	-	75.0	-	-	-	27.4	-	-	-	-	1.1	-	-	-	-	-	-	-	-	-	-	-	-	21.2	35.1	-	-	-	Jan 242y ago
49	U Baichuan2-13B unknown	48.4	17.3	32.0	52.8	61.1	74.0	45.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	56.2	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
50	Qwen3 235B A22B Thinking 2507🇨🇳 Alibaba QwenOpen	48.0	-	-	-	-	-	-	73.4	-	86.7	41.0	-	-	-	85.0	-	75.0	-	-	8.5	50.1	0.1	12.0	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.15	131K	Jul 258mo ago
51	Grok 4🇺🇸 xAI	47.8	-	-	-	-	-	-	82.7	-	84.0	45.7	-	52.6	79.6	80.7	-	94.4	-	27.2	19.7	47.9	2.1	28.0	15.2	-	16.0	-	-	-	-	-	-	43.6	45.0	-	-	-	-	-	47.9	-	$3.00	256K	Jul 258mo ago
52	DeepSeek-R1🇨🇳 DeepSeek	47.6	-	-	-	-	-	-	62.3	93.0	53.3	36.5	-	17.1	56.9	83.0	-	69.4	-	-	-	-	-	-	-	-	1.3	-	-	-	-	-	-	34.9	-	-	-	-	-	15.8	-	-	-	-	Jan 242y ago
53	Claude Sonnet 4.6🇺🇸 Anthropic	47.3	-	-	-	-	-	-	83.2	-	85.8	66.1	-	-	-	-	-	-	-	-	32.4	29.0	8.3	13.0	-	-	60.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$3.00	1.0M	Feb 261mo ago
54	Grok 3 Mini🇺🇸 xAI	46.6	-	-	-	-	-	-	68.3	90.9	77.8	42.6	-	-	49.3	73.5	-	66.7	-	-	5.9	21.1	-	-	-	-	0.4	-	-	-	-	-	-	-	-	-	-	-	-	16.5	-	-	$0.30	131K	Jun 259mo ago
55	Grok 3 Mini Beta🇺🇸 xAI	46.6	-	-	-	-	-	-	68.3	90.9	77.8	42.6	-	-	49.3	73.5	-	66.7	-	-	5.9	21.1	-	-	-	-	0.4	-	-	-	-	-	-	-	-	-	-	-	-	16.5	-	-	$0.30	131K	Apr 2511mo ago
56	Claude Opus 4.5🇺🇸 Anthropic	46.5	-	-	-	-	-	-	81.4	-	86.1	63.7	-	54.4	-	-	26.5	-	74.4	63.1	20.7	41.8	4.2	12.0	18.4	66.3	37.6	21.4	-	-	-	-	-	-	75.0	-	-	-	-	80.0	-	10.0	$5.00	200K	Nov 254mo ago
57	o4 Mini🇺🇸 OpenAI	46.3	-	-	-	-	-	-	72.8	97.8	81.7	52.6	-	26.4	72.0	75.0	3.6	77.8	45.0	-	24.8	23.9	6.3	26.0	-	-	6.1	13.9	-	-	-	-	62.0	-	64.0	-	-	-	-	58.7	-	36.3	$1.10	200K	Apr 2511mo ago
58	Phi 4🇺🇸 MicrosoftOpen	45.7	-	-	-	-	-	79.7	41.4	64.9	13.7	-	-	-	-	62.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	11.6	-	-	-	-	-	-	-	-	$0.07	16K	Jan 251y ago
59	LLaMA-13B🇺🇸 MetaOpen	45.7	36.9	17.2	20.6	72.3	75.2	30.3	-	-	-	-	46.0	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	77.9	24.4	60.2	41.9	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
60	GPT-4 Turbo🇺🇸 OpenAI	45.3	-	66.8	90.0	-	-	76.5	7.5	23.0	1.0	12.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	84.8	-	-	-	-	-	-	-	-	-	-	-	-	-	$10.00	128K	Apr 241y ago
61	GPT-4 Turbo (older v1106)🇺🇸 OpenAI	45.3	-	66.8	90.0	-	-	76.5	7.5	23.0	1.0	12.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	84.8	-	-	-	-	-	-	-	-	-	-	-	-	-	$10.00	128K	Nov 232y ago
62	GPT-4 (older v0314)🇺🇸 OpenAI	45.3	-	66.8	90.0	-	-	76.5	7.5	23.0	1.0	12.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	84.8	-	-	-	-	-	-	-	-	-	-	-	-	-	$30.00	8K	May 232y ago
63	GPT-4🇺🇸 OpenAI	45.3	-	66.8	90.0	-	-	76.5	7.5	23.0	1.0	12.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	84.8	-	-	-	-	-	-	-	-	-	-	-	-	-	$30.00	8K	May 232y ago
64	U Yi 6B unknownOpen	44.8	33.7	29.6	44.9	65.9	-	52.0	-	-	-	-	42.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
65	ZA GLM 4.5🇨🇳 z-aiOpen	44.1	-	-	-	-	-	-	-	-	-	40.6	-	-	-	78.0	-	-	54.2	-	-	-	-	-	-	-	-	3.7	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.60	131K	Jul 258mo ago
66	Gemini 1.5 Flash (May 2024)🇺🇸 Google	43.8	-	-	82.4	-	-	70.5	20.5	25.1	3.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	60.4	-	-	-	-	-	Jan 242y ago
67	GPT-5.1🇺🇸 OpenAI	43.4	-	-	-	-	-	-	83.5	-	88.6	60.8	-	43.8	-	-	13.7	-	66.0	47.6	31.0	48.9	12.5	32.0	17.5	-	17.6	19.8	-	-	-	-	-	-	-	-	-	-	-	72.8	-	38.0	$1.25	400K	Nov 254mo ago
68	GPT-5.1 Chat🇺🇸 OpenAI	43.4	-	-	-	-	-	-	83.5	-	88.6	60.8	-	43.8	-	-	13.7	-	66.0	47.6	31.0	48.9	12.5	32.0	17.5	-	17.6	19.8	-	-	-	-	-	-	-	-	-	-	-	72.8	-	38.0	$1.25	128K	Nov 254mo ago
69	Gemini 2.5 Pro🇺🇸 Google DeepMind	43.4	-	-	-	-	-	-	80.4	-	84.7	54.0	-	54.9	83.1	86.0	3.9	91.7	-	32.6	14.1	56.0	4.2	20.0	-	-	4.9	17.7	-	-	-	-	-	-	-	-	-	-	-	31.3	42.8	19.6	$1.25	1.0M	Jun 259mo ago
70	Gemini 2.5 Flash🇺🇸 Google DeepMind	43.3	-	-	-	-	-	-	-	-	73.0	41.0	-	-	47.1	76.5	-	47.2	28.7	-	-	-	-	-	-	-	-	7.7	-	-	-	-	-	-	73.0	-	-	-	-	32.3	-	7.0	$0.30	1.0M	Jun 259mo ago
71	Llama 2-7B🇺🇸 MetaOpen	43.0	27.9	18.9	16.7	69.6	73.3	27.7	-	-	-	-	38.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	73.7	24.1	57.6	44.8	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
72	GPT-5 Mini🇺🇸 OpenAI	42.3	-	-	-	-	-	-	66.7	97.8	86.7	52.7	-	-	-	-	-	69.4	59.8	31.9	27.2	21.0	6.3	-	-	-	4.4	15.4	-	-	-	-	-	-	-	-	-	-	-	-	-	10.3	$0.25	400K	Aug 257mo ago
73	Gemma 3 4B (free)🇺🇸 Google DeepMindOpen	42.2	-	-	-	-	-	-	31.8	74.0	19.6	-	-	-	4.9	79.9	-	33.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	52.0	-	-	-	-	-	-	-	$0.00	33K	Mar 251y ago
74	Gemma 3 4B🇺🇸 Google DeepMindOpen	42.2	-	-	-	-	-	-	31.8	74.0	19.6	-	-	-	4.9	79.9	-	33.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	52.0	-	-	-	-	-	-	-	$0.04	131K	Mar 251y ago
75	Gemma 3 12B (free)🇺🇸 Google DeepMindOpen	42.2	-	-	-	-	-	-	31.8	74.0	19.6	-	-	-	4.9	79.9	-	33.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	52.0	-	-	-	-	-	-	-	$0.00	33K	Mar 251y ago
76	Gemma 3 12B🇺🇸 Google DeepMindOpen	42.2	-	-	-	-	-	-	31.8	74.0	19.6	-	-	-	4.9	79.9	-	33.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	52.0	-	-	-	-	-	-	-	$0.04	131K	Mar 251y ago
77	Gemma 3 27B (free)🇺🇸 Google DeepMindOpen	42.2	-	-	-	-	-	-	31.8	74.0	19.6	-	-	-	4.9	79.9	-	33.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	52.0	-	-	-	-	-	-	-	$0.00	131K	Mar 251y ago
78	Gemma 3 27B🇺🇸 Google DeepMindOpen	42.2	-	-	-	-	-	-	31.8	74.0	19.6	-	-	-	4.9	79.9	-	33.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	52.0	-	-	-	-	-	-	-	$0.08	131K	Mar 251y ago
79	Claude 3.7 Sonnet🇺🇸 Anthropic	42.1	-	-	-	-	-	-	73.0	91.2	57.7	-	-	35.7	64.9	81.1	3.8	83.3	52.8	-	4.1	-	-	-	-	35.8	0.9	3.4	-	-	-	-	54.0	-	68.0	20.0	-	30.9	-	28.6	43.6	8.5	$3.00	200K	Feb 251y ago
80	Claude 3.7 Sonnet (thinking)🇺🇸 Anthropic	42.1	-	-	-	-	-	-	73.0	91.2	57.7	-	-	35.7	64.9	81.1	3.8	83.3	52.8	-	4.1	-	-	-	-	35.8	0.9	3.4	-	-	-	-	54.0	-	68.0	20.0	-	30.9	-	28.6	43.6	8.5	$3.00	200K	Feb 251y ago
81	U StarCoder 2 15B unknownOpen	42.0	29.6	-	57.7	-	-	52.1	-	-	-	-	28.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
82	M Kimi K2 0711🇨🇳 moonshotaiOpen	41.8	-	-	-	-	-	-	-	-	-	39.4	-	11.6	59.1	86.9	4.9	61.1	43.8	27.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.57	131K	Jul 258mo ago
83	Llama 3 8B Instruct🇺🇸 MetaOpen	41.7	77.1	-	-	-	-	58.4	1.4	6.1	0.7	-	51.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	67.7	-	-	76.8	-	-	-	-	36.0	-	-	-	-	-	$0.03	8K	Apr 241y ago
84	U MPT-30B unknown	41.5	34.1	17.3	34.4	-	-	30.5	-	-	-	-	42.0	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	73.6	-	63.8	36.0	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
85	Phi-2🇺🇸 MicrosoftOpen	41.2	67.9	45.9	-	38.1	-	44.5	-	-	-	-	9.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	45.2	-	-	64.8	-	-	-	-	13.8	-	-	-	-	-	-	-	Jan 242y ago
86	Qwen2.5-Max🇨🇳 AlibabaOpen	41.0	-	-	-	-	-	-	41.5	67.2	16.0	-	-	-	21.8	72.9	-	66.7	-	-	1.0	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
87	M Kimi K2.5🇨🇳 moonshotaiOpen	40.9	-	-	-	-	-	-	83.5	-	92.2	45.6	-	36.2	-	-	-	86.1	-	-	27.9	33.9	4.2	12.0	14.4	63.3	11.8	20.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.42	262K	Jan 262mo ago
88	GPT-5 Pro🇺🇸 OpenAI	40.9	-	-	-	-	-	-	-	-	-	60.4	-	53.9	-	-	-	-	-	-	-	-	14.6	-	-	-	18.3	28.2	-	-	-	-	-	-	-	-	-	-	-	70.2	-	-	$15.00	400K	Oct 255mo ago
89	Claude Sonnet 4.5🇺🇸 Anthropic	40.6	-	-	-	-	-	-	76.4	97.7	77.8	47.7	-	45.2	-	-	14.7	-	70.6	42.8	15.2	23.6	4.2	12.0	-	62.9	13.6	9.4	-	-	-	-	-	-	-	55.0	-	-	-	-	52.6	9.7	$3.00	1.0M	Sep 256mo ago
90	Gemini 1.5 Flash (Sep 2024)🇺🇸 Google	40.4	-	-	-	-	-	65.2	29.8	61.9	16.2	24.9	-	-	-	-	-	-	-	-	0.1	-	-	-	-	-	-	-	-	-	75.0	-	-	14.6	76.0	-	-	-	-	-	-	-	-	-	Jan 242y ago
91	Qwen2.5-Coder (1.5B)🇨🇳 AlibabaOpen	40.3	26.9	-	65.8	49.1	-	38.1	-	-	-	-	21.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
92	Claude Opus 4🇺🇸 Anthropic	40.1	-	-	-	-	-	-	68.3	85.0	64.4	43.4	-	50.6	72.0	-	6.9	61.1	67.6	-	4.5	-	4.2	-	-	-	8.6	6.2	-	-	-	-	-	-	49.0	38.0	-	-	-	35.7	49.0	7.0	$15.00	200K	May 2510mo ago
93	Mistral Medium 3🇫🇷 Mistral AIOpen	40.0	-	-	-	-	-	-	46.0	81.6	32.1	-	-	-	-	-	-	-	-	-	0.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.40	131K	May 2510mo ago
94	Gemma 2 9B🇺🇸 Google DeepMindOpen	40.0	-	-	84.9	-	-	62.8	3.3	21.0	0.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	67.4	-	-	-	-	-	-	-	-	-	-	-	$0.03	8K	Jun 241y ago
95	LLaMA-7B🇺🇸 MetaOpen	39.7	30.1	11.3	11.0	68.3	73.3	14.1	-	-	-	-	40.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	71.0	14.9	59.6	42.9	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
96	T Falcon-7B TIIOpen	39.6	30.5	5.0	6.8	70.8	74.9	13.3	-	-	-	-	34.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	64.6	-	60.6	35.5	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
97	Mistral Large 2407🇫🇷 Mistral AIOpen	39.1	-	-	-	-	-	73.3	32.0	44.8	8.4	-	-	7.0	-	69.0	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$2.00	131K	Nov 241y ago
98	U MPT-7B unknown	38.8	23.5	14.1	9.1	68.5	70.0	7.7	-	-	-	-	37.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	61.6	-	61.2	35.2	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
99	DeepSeek V3.2🇨🇳 DeepSeekOpen	38.7	-	-	-	-	-	-	77.9	-	87.8	-	-	-	74.2	-	-	-	-	-	22.1	27.5	2.1	14.0	-	-	4.0	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.26	164K	Dec 253mo ago
100	Claude Opus 4.1🇺🇸 Anthropic	38.5	-	-	-	-	-	-	69.7	-	68.9	42.8	-	52.0	-	85.4	-	-	-	38.0	7.2	34.8	4.2	-	-	-	-	7.1	-	-	-	-	-	-	-	38.0	-	-	-	-	49.7	2.5	$15.00	200K	Aug 257mo ago
101	GPT-4o-mini (2024-07-18)🇺🇸 OpenAI	38.5	-	-	91.3	-	-	75.7	17.0	52.6	6.8	11.8	-	-	3.6	67.2	-	-	-	-	-	-	-	-	-	-	0.1	-	-	-	77.4	-	-	17.4	64.0	-	-	-	53.1	-	-	1.0	$0.15	128K	Jul 241y ago
102	GPT-4o-mini🇺🇸 OpenAI	38.5	-	-	91.3	-	-	75.7	17.0	52.6	6.8	11.8	-	-	3.6	67.2	-	-	-	-	-	-	-	-	-	-	0.1	-	-	-	77.4	-	-	17.4	64.0	-	-	-	53.1	-	-	1.0	$0.15	128K	Jul 241y ago
103	Grok 3🇺🇸 xAI	38.4	-	-	-	-	-	-	67.7	88.8	55.5	37.2	-	23.3	53.3	76.4	-	58.3	-	-	3.8	-	0.1	-	-	-	0.1	-	-	-	-	-	-	29.5	-	-	-	-	-	5.5	-	-	$3.00	131K	Jun 259mo ago
104	Grok 3 Beta🇺🇸 xAI	38.4	-	-	-	-	-	-	67.7	88.8	55.5	37.2	-	23.3	53.3	76.4	-	58.3	-	-	3.8	-	0.1	-	-	-	0.1	-	-	-	-	-	-	29.5	-	-	-	-	-	5.5	-	-	$3.00	131K	Apr 2511mo ago
105	o3 Mini🇺🇸 OpenAI	38.4	-	-	-	-	-	-	69.4	96.5	76.9	43.7	-	7.4	60.4	61.7	1.3	50.0	-	-	12.4	-	4.2	17.0	-	-	3.0	-	-	-	-	-	54.0	-	-	22.5	-	-	-	34.5	-	-	$1.10	200K	Jan 251y ago
106	gpt-oss-120b (free)🇺🇸 OpenAIOpen	38.2	-	-	-	-	-	-	67.7	-	88.9	48.2	-	6.5	41.8	77.3	-	44.4	26.0	18.7	-	13.9	-	20.0	4.7	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.00	131K	Aug 257mo ago
107	gpt-oss-120b🇺🇸 OpenAIOpen	38.2	-	-	-	-	-	-	67.7	-	88.9	48.2	-	6.5	41.8	77.3	-	44.4	26.0	18.7	-	13.9	-	20.0	4.7	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.04	131K	Aug 257mo ago
108	gpt-oss-20b (free)🇺🇸 OpenAIOpen	38.2	-	-	-	-	-	-	67.7	-	88.9	48.2	-	6.5	41.8	77.3	-	44.4	26.0	18.7	-	13.9	-	20.0	4.7	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.00	131K	Aug 257mo ago
109	gpt-oss-20b🇺🇸 OpenAIOpen	38.2	-	-	-	-	-	-	67.7	-	88.9	48.2	-	6.5	41.8	77.3	-	44.4	26.0	18.7	-	13.9	-	20.0	4.7	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.03	131K	Aug 257mo ago
110	M Kimi K2 Thinking🇨🇳 moonshotaiOpen	38.1	-	-	-	-	-	-	79.0	-	83.0	42.8	-	-	-	-	-	-	63.4	35.7	21.4	31.6	0.1	20.0	4.0	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.47	131K	Nov 254mo ago
111	Qwen3-235B-A22B-Instruct (Jul 2025)🇨🇳 AlibabaOpen	38.1	-	-	-	-	-	-	-	-	-	38.7	-	-	59.6	-	-	52.9	-	-	-	-	-	-	-	-	1.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
112	U Baichuan 2-7B unknown	37.7	10.0	22.1	24.6	57.3	73.3	38.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
113	Gemini 1.5 Pro (Feb 2024)🇺🇸 Google	37.7	-	-	-	-	-	76.9	27.8	40.8	6.7	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	7.5	-	-	66.7	-	-	-	-	-	Jan 242y ago
114	Gemini 2.0 Flash Thinking (Jan 2025)🇺🇸 Google	37.7	-	-	-	-	-	-	42.8	-	57.7	-	-	16.8	18.2	73.8	-	52.8	-	-	-	-	-	-	-	-	-	1.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
115	Mistral Nemo🇫🇷 Mistral AIOpen	37.2	-	-	84.2	-	-	-	6.5	10.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	67.0	-	-	17.6	-	-	-	-	-	-	-	-	$0.02	131K	Jul 241y ago
116	Claude 2🇺🇸 Anthropic	37.2	-	-	-	-	-	71.3	12.9	11.7	2.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	87.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
117	Claude Sonnet 4🇺🇸 Anthropic	36.9	-	-	-	-	-	-	72.3	84.4	71.1	46.1	-	34.6	61.3	-	4.9	46.9	64.9	-	4.1	-	0.1	-	-	43.9	5.9	3.1	-	-	-	-	-	-	37.0	35.0	-	33.1	-	40.0	47.8	1.0	$3.00	200K	May 2510mo ago
118	U INTELLECT-1 unknown	36.3	39.4	13.1	38.6	61.9	-	33.2	-	-	-	-	31.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
119	ZA GLM 5 Turbo🇨🇳 z-ai	36.1	-	-	-	-	-	-	83.8	-	80.0	48.2	-	43.8	-	-	-	-	-	-	16.4	-	2.1	10.0	-	-	4.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$1.20	203K	Mar 2615d ago
120	ZA GLM 5🇨🇳 z-aiOpen	36.1	-	-	-	-	-	-	83.8	-	80.0	48.2	-	43.8	-	-	-	-	-	-	16.4	-	2.1	10.0	-	-	4.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.72	80K	Feb 261mo ago
121	Llama 3.2 90B🇺🇸 MetaOpen	36.1	-	-	-	-	-	73.7	21.4	39.4	2.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	27.3	52.0	-	-	-	-	-	-	-	-	-	Jan 242y ago
122	o1-preview🇺🇸 OpenAI	36.0	-	-	-	-	-	-	33.8	81.7	31.0	47.6	-	30.0	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	10.0	-	-	-	18.0	-	-	-	-	Jan 242y ago
123	GPT-4.5🇺🇸 OpenAI	35.9	-	-	-	-	-	-	58.3	78.6	37.7	39.4	-	21.4	44.9	75.6	-	63.9	-	-	-	-	-	-	-	-	0.8	0.7	-	-	-	-	-	-	-	17.5	-	-	-	10.3	-	17.5	-	-	Jan 242y ago
124	Claude Haiku 4.5🇺🇸 Anthropic	35.3	-	-	-	-	-	-	61.6	96.4	66.6	45.4	-	-	-	-	-	-	-	29.8	5.9	5.9	2.1	-	-	-	4.0	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$1.00	200K	Oct 255mo ago
125	Gemma 2B🇺🇸 GoogleOpen	34.7	22.8	13.6	17.7	61.9	-	23.1	-	-	-	-	30.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	53.2	-	54.6	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
126	Qwen2-72B🇨🇳 AlibabaOpen	34.4	-	-	-	-	-	76.5	21.0	39.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	1.1	-	-	-	-	-	-	Jan 242y ago
127	GPT-4.1🇺🇸 OpenAI	34.0	-	-	-	-	-	-	55.9	83.0	38.3	39.0	-	12.4	52.4	-	-	63.9	39.6	-	5.5	-	0.1	-	-	-	0.4	0.6	-	-	-	-	42.0	-	72.0	-	-	-	-	5.5	-	-	$2.00	1.0M	Apr 2511mo ago
128	U XGen-7B unknown	33.9	21.6	-	-	65.6	-	15.1	-	-	-	-	29.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	51.0	20.3	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
129	Claude 3 Opus🇺🇸 Anthropic	33.7	-	-	-	-	-	79.5	29.6	37.5	4.6	23.2	77.0	8.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	10.0	-	-	-	-	-	-	-	-	Jan 242y ago
130	GPT-5 Nano🇺🇸 OpenAI	32.9	-	-	-	-	-	-	59.3	95.2	81.1	38.1	-	-	-	-	-	44.4	34.8	11.5	8.3	12.2	2.1	-	-	-	2.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	5.8	$0.05	400K	Aug 257mo ago
131	Qwen3 Coder 480B A35B (free)🇨🇳 Alibaba QwenOpen	31.7	-	-	-	-	-	-	-	-	-	41.2	-	-	-	-	4.9	-	55.4	25.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.00	262K	Jul 258mo ago
132	Qwen3 Coder 480B A35B🇨🇳 Alibaba QwenOpen	31.7	-	-	-	-	-	-	-	-	-	41.2	-	-	-	-	4.9	-	55.4	25.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.22	262K	Jul 258mo ago
133	GPT-4.1 Mini🇺🇸 OpenAI	31.7	-	-	-	-	-	-	54.5	87.3	44.7	37.6	-	-	32.4	-	-	44.4	23.9	-	4.5	-	-	-	-	-	0.1	-	-	-	-	-	16.0	-	-	-	-	-	-	3.5	-	-	$0.40	1.0M	Apr 2511mo ago
134	Llama 3 70B Instruct🇺🇸 MetaOpen	31.7	-	-	-	-	-	72.4	20.8	22.6	4.2	-	67.0	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	30.1	-	-	-	5.0	-	-	-	-	-	-	$0.51	8K	Apr 241y ago
135	o1-mini🇺🇸 OpenAI	31.7	-	-	-	-	-	-	49.8	89.2	46.9	36.3	-	1.7	32.9	64.9	-	-	-	-	1.7	-	-	-	-	-	0.8	-	-	-	-	-	-	-	-	10.0	-	-	-	14.0	-	-	-	-	Jan 242y ago
136	GPT-4o (2024-08-06)🇺🇸 OpenAI	31.6	-	-	-	-	-	79.1	32.3	53.3	6.3	-	-	1.4	23.1	-	-	-	-	-	0.3	-	-	-	-	-	-	-	-	-	-	-	26.0	-	-	-	-	-	62.5	-	-	-	$2.50	128K	Aug 241y ago
137	GPT-4o (2024-05-13)🇺🇸 OpenAI	31.6	-	-	-	-	-	79.1	32.3	53.3	6.3	-	-	1.4	23.1	-	-	-	-	-	0.3	-	-	-	-	-	-	-	-	-	-	-	26.0	-	-	-	-	-	62.5	-	-	-	$5.00	128K	May 241y ago
138	GPT-4o🇺🇸 OpenAI	31.6	-	-	-	-	-	79.1	32.3	53.3	6.3	-	-	1.4	23.1	-	-	-	-	-	0.3	-	-	-	-	-	-	-	-	-	-	-	26.0	-	-	-	-	-	62.5	-	-	-	$2.50	128K	May 241y ago
139	GPT-4o (extended)🇺🇸 OpenAI	31.6	-	-	-	-	-	79.1	32.3	53.3	6.3	-	-	1.4	23.1	-	-	-	-	-	0.3	-	-	-	-	-	-	-	-	-	-	-	26.0	-	-	-	-	-	62.5	-	-	-	$6.00	128K	May 241y ago
140	Gemini 1.5 Pro (Sept 2024)🇺🇸 Google	31.3	-	-	-	-	-	82.5	43.0	70.4	23.0	22.2	-	12.5	-	-	-	-	-	-	-	-	-	-	-	-	0.8	-	-	-	-	-	34.0	21.0	-	-	-	3.4	-	-	-	-	-	-	Jan 242y ago
141	GPT-4 Turbo Preview🇺🇸 OpenAI	30.9	-	-	-	-	-	75.1	28.8	46.7	6.6	18.0	-	10.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$10.00	128K	Jan 242y ago
142	ZA GLM 4.7🇨🇳 z-aiOpen	30.2	-	-	-	-	-	-	77.8	-	83.3	-	-	37.2	-	-	-	-	-	-	2.4	31.5	0.1	6.0	3.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.39	203K	Dec 253mo ago
143	Claude 3.5 Haiku🇺🇸 Anthropic	29.9	-	-	-	-	-	65.7	17.5	46.4	4.2	30.7	-	-	28.0	73.5	-	-	-	-	0.3	6.7	-	-	-	-	-	-	-	-	-	-	32.0	19.3	34.0	-	-	-	-	-	-	-	$0.80	200K	Nov 241y ago
144	Grok-2 (Dec 2024)🇺🇸 xAI	29.6	-	-	-	-	-	-	38.4	63.5	11.4	22.2	-	7.2	-	63.6	-	-	-	-	0.7	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
145	U Dolly 2.0-12b unknown	29.2	19.5	-	-	61.1	-	1.6	-	-	-	-	23.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	50.8	18.9	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
146	Llama 3.3 70B Instruct (free)🇺🇸 MetaOpen	29.1	-	-	-	-	-	81.7	29.9	41.6	5.0	14.4	-	3.9	-	-	-	33.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	23.0	-	-	-	-	-	-	-	-	$0.00	66K	Dec 241y ago
147	Llama 3.3 70B Instruct🇺🇸 MetaOpen	29.1	-	-	-	-	-	81.7	29.9	41.6	5.0	14.4	-	3.9	-	-	-	33.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	23.0	-	-	-	-	-	-	-	-	$0.10	131K	Dec 241y ago
148	Claude 3.5 Sonnet🇺🇸 Anthropic	28.8	-	-	-	-	-	82.0	38.7	51.7	6.4	31.0	-	13.0	-	-	-	-	-	-	1.0	-	0.1	-	-	-	-	-	-	-	-	-	-	-	-	17.5	-	-	46.7	-	-	-	$6.00	200K	Oct 241y ago
149	Llama 3.1 8B Instruct🇺🇸 MetaOpen	28.7	-	-	82.4	-	-	41.5	1.3	22.9	2.4	1.7	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	62.4	-	-	15.1	-	-	-	-	-	-	-	-	$0.02	16K	Jul 241y ago
150	Claude 3 Haiku🇺🇸 Anthropic	28.7	-	-	-	-	-	65.1	15.1	14.9	1.7	9.8	48.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	62.7	-	-	12.0	-	-	-	-	-	-	-	-	-	$0.25	200K	Mar 242y ago
151	GPT-4o (2024-11-20)🇺🇸 OpenAI	28.6	-	-	-	-	-	84.1	30.5	49.8	6.2	25.1	-	-	18.2	81.8	0.1	-	21.6	-	0.3	-	-	-	-	-	0.1	-	-	-	-	-	-	-	71.0	12.5	-	8.6	62.5	4.5	-	10.0	$2.50	128K	Nov 241y ago
152	Claude 3 Sonnet🇺🇸 Anthropic	28.3	-	-	-	-	-	67.9	20.8	18.2	2.4	10.2	50.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
153	Llama 4 Maverick🇺🇸 MetaOpen	28.0	-	-	-	-	-	-	56.0	73.0	20.5	24.5	-	13.2	15.6	63.7	-	46.2	21.0	-	0.7	-	-	-	-	-	0.1	0.9	-	-	-	-	-	-	52.0	-	-	-	-	4.4	-	-	$0.15	1.0M	Apr 2511mo ago
154	Gemma 2 27B🇺🇸 Google DeepMindOpen	28.0	-	-	-	-	-	67.6	15.3	27.9	1.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.65	8K	Jul 241y ago
155	Phi-1.5🇺🇸 MicrosoftOpen	27.2	25.9	-	-	30.1	-	16.8	-	-	-	-	46.8	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	16.3	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
156	Llama 3.1 70B Instruct🇺🇸 MetaOpen	26.1	-	-	-	-	-	73.5	25.6	36.7	3.5	9.0	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	27.9	-	-	-	6.9	-	-	-	-	$0.40	131K	Jul 241y ago
157	Mistral Large🇫🇷 Mistral AIOpen	25.8	-	-	-	-	-	58.4	18.4	24.5	1.9	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$2.00	128K	Feb 242y ago
158	DeepSeek Coder 33B🇨🇳 DeepSeek	25.4	22.9	-	35.4	-	-	19.2	-	-	-	-	24.0	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
159	U Baichuan1-7B unknown	23.7	-	10.0	9.2	-	-	23.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	52.4	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
160	Mixtral 8x22B Instruct🇫🇷 Mistral AIOpen	23.5	-	-	-	-	-	70.4	12.1	24.2	-	3.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	7.5	-	-	-	-	-	-	$2.00	66K	Apr 241y ago
161	Mistral Large 2411🇫🇷 Mistral AIOpen	23.4	-	-	-	-	-	-	35.1	50.3	7.7	-	-	-	-	-	-	-	-	-	0.3	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$2.00	131K	Nov 241y ago
162	Cerebras-GPT-13B🇺🇸 OpenAI	23.4	9.9	-	-	45.9	-	1.6	-	-	-	-	21.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	47.0	14.4	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
163	Gemini 1.0 Pro🇺🇸 Google	21.1	-	-	-	-	-	60.0	11.9	11.2	1.0	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
164	Claude 2.1🇺🇸 Anthropic	21.0	-	-	-	-	-	64.7	10.6	-	1.9	7.1	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
165	U StarCoder 2 7B unknownOpen	20.9	18.3	-	32.7	-	-	18.4	-	-	-	-	14.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
166	GPT-4.1 Nano🇺🇸 OpenAI	20.5	-	-	-	-	-	-	31.9	70.0	28.8	19.0	-	-	8.9	-	-	25.0	-	-	1.0	-	-	-	-	-	0.1	-	-	-	-	-	-	-	-	-	-	-	-	0.1	-	-	$0.10	1.0M	Apr 2511mo ago
167	Llama 4 Scout🇺🇸 MetaOpen	18.9	-	-	-	-	-	-	35.8	62.3	7.7	-	-	-	-	-	-	36.0	9.1	-	0.1	-	-	-	-	-	0.1	-	-	-	-	-	-	-	-	-	-	-	-	0.5	-	-	$0.08	328K	Apr 2511mo ago
168	GPT-3.5 Turbo (older v0613)🇺🇸 OpenAI	18.6	-	-	-	-	-	56.4	2.9	11.6	-	3.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$1.00	4K	Jan 242y ago
169	GPT-3.5 Turbo Instruct🇺🇸 OpenAI	18.6	-	-	-	-	-	56.4	2.9	11.6	-	3.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$1.50	4K	Sep 232y ago
170	GPT-3.5 Turbo🇺🇸 OpenAI	18.6	-	-	-	-	-	56.4	2.9	11.6	-	3.5	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.50	16K	May 232y ago
171	DeepSeek Coder 6.7B🇨🇳 DeepSeek	16.7	15.2	-	21.3	-	-	15.2	-	-	-	-	15.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
172	U StarCoder 2 3B unknownOpen	15.9	12.3	-	21.6	-	-	15.5	-	-	-	-	14.2	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago
173	ZA GLM 4.6🇨🇳 z-aiOpen	8.4	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	24.5	3.8	-	2.1	-	3.0	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	$0.39	205K	Sep 256mo ago
174	DeepSeek Coder 1.3B🇨🇳 DeepSeek	3.2	0.5	-	4.4	-	-	1.1	-	-	-	-	6.6	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	Jan 242y ago

90+ 80-89 70-79 60-69 <60Scores in % unless noted. Avg = unweighted mean across tested benchmarks.

Benchmark Spotlight

Data from:OpenRouterEpoch AISWE-benchMCP RegistryMethodology