ベンチマーク
11カテゴリにわたる160件のベンチマーク。クリックして全ランキングを表示。
コーディング
Aider — Code Editing
コーディング1
o1
84.2
2
Claude 3.5 Sonnet
84.2
3o1-preview
79.7
4GPT-4o (2024-05-13)
72.9
5GPT-4o (2024-11-20)
71.4
29 テスト済みモデル数
Aider polyglot
コーディング1GPT-5 Chat
88.0
2GPT-5
88.0
3o3 Pro
84.9
4
Gemini 2.5 Pro
83.1
5Gemini 2.5 Pro Preview 06-05
83.1
54 テスト済みモデル数
Cybench
コーディング1Claude Opus 4.6
93.0
2Claude Opus 4.5
82.0
3Claude Sonnet 4.5
60.0
4
Grok 4
43.0
5Claude Opus 4.1
42.0
21 テスト済みモデル数
Deepswe
コーディング1GPT-6 Astra
74.1
2Gemini 3.8 Flash
73.8
3Claude Opus 5
73.7
4GPT-5.6 Sol
72.7
5Claude Fable 5
69.9
23 テスト済みモデル数
Frontiercode
コーディング1Claude Opus 5.5
54.6
2Claude Fable 5
53.5
3Claude Opus 5
53.4
4GPT-6 Astra
53.3
5Claude Sonnet 5.5
52.1
40 テスト済みモデル数
Frontierswe
コーディング1GPT-6 Astra
65.5
2Claude Opus 5.5
62.3
3Claude Sonnet 5.5
61.9
4Claude Fable 5.1
56.3
5Gemini 4 Argon
55.0
17 テスト済みモデル数
GSO-Bench
コーディング1Claude Fable 5.1
88.2
2GPT-6 Astra
79.4
3Claude Fable 5
78.4
4GPT-5.6 Sol
76.5
5Claude Opus 4.8
47.1
27 テスト済みモデル数
1
GLM 5.2
73.3
2
Kimi K2.7 Code
70.0
3
MiniMax M3
60.0
4
DeepSeek V4 Pro
56.7
5GPT-5.1-Codex-Max
56.7
40 テスト済みモデル数
LiveBench — Coding
コーディング1GPT-5.2-Codex
83.6
2GPT-5.1-Codex-Max
81.4
3GLM 5.2
79.7
4
Qwen3.6 Plus
78.2
5GPT-5 Mini
76.1
40 テスト済みモデル数
Mirrorcode
コーディング1Claude Opus 5.5
77.4
2Claude Fable 5.1
73.3
3Claude Fable 5
63.9
4GPT-6 Astra
46.7
5Claude Opus 4.7
31.1
8 テスト済みモデル数
1GLM 5
86.2
2
Step 3.5 Flash
83.9
3GLM 4.7
83.8
4Qwen3.5 397B A17B
83.0
5DeepSeek V3.2 Speciale
80.9
34 テスト済みモデル数
SWE-Bench verified
コーディング1Claude Mythos Preview
93.9
2Claude Opus 4.7
83.5
3Gemini 3.5 Flash
79.3
4Claude Opus 4.6
78.7
5GLM 5.2
78.7
32 テスト済みモデル数
1Claude Opus 4.5
74.4
2GPT-5.2
71.8
3Claude Sonnet 4.5
70.6
4Claude Opus 4
67.6
5GPT-5.1
66.0
19 テスト済みモデル数
Terminal Bench
コーディング1GPT-5.5
82.7
2Claude Mythos Preview
82.0
3GPT-5.4
81.8
4Gemini 3.1 Pro Preview
80.2
5Claude Opus 4.7
80.2
36 テスト済みモデル数
WeirdML
コーディング1GPT-6 Astra
93.6
2Claude Fable 5.1
92.9
3Claude Fable 5
91.9
4Claude Opus 5
91.8
5GPT-5.6 Sol
89.4
116 テスト済みモデル数
知識
ANLI
知識1GPT-3.5 Turbo (older v0613)
37.1
2
phi-3-small 7.4B
37.1
3
Llama 3-70B
36.0
4Llama 3 8B Instruct
36.0
5phi-3-medium 14B
33.7
11 テスト済みモデル数
ARC AI2
知識1Llama 3.1 405B
93.7
2DeepSeek V3
93.7
3Qwen2.5 72B Instruct
92.7
4DeepSeek-V2 (MoE-236B, May 2024)
89.6
5phi-3-medium 14B
88.8
52 テスト済みモデル数
0 テスト済みモデル数
1Gemini 2.5 Pro
46.9
2Gemini 2.5 Flash
40.0
3
Voxtral Small 24B 2507
26.3
3 テスト済みモデル数
Balrog
知識1GPT-6 Astra
68.3
2Claude Opus 5
63.4
3GPT-5.6 Sol
60.0
4Gemini 3 Pro
58.1
5Gemini 3.1 Pro Preview
57.0
36 テスト済みモデル数
1GPT-6 Astra
74.8
2GPT-6.1 Sol
66.3
3GPT-5.6 Sol
66.3
4Claude Opus 5.5
65.3
5Gemini 3.7 Flash
64.2
122 テスト済みモデル数
CMMLU
知識1Qwen2-72B
89.7
2Qwen2.5 72B Instruct
85.7
3GPT-4 Turbo
71.0
4Llama 3.1 70B Instruct
64.4
5Qwen-14B
58.7
8 テスト済みモデル数
1Claude Opus 4.6
55.3
2GPT-5
55.1
3Claude Sonnet 4.6
54.9
4Claude Opus 4.5
54.8
5Claude Sonnet 4.5
52.6
26 テスト済みモデル数
GeoBench
知識1Gemini 3 Flash Preview
88.0
2Gemini 3 Pro
84.0
3Gemini 2.5 Pro
81.0
4GPT-5
81.0
5o1
80.0
27 テスト済みモデル数
GPQA
知識1Meta Llama 3 8B
19.7
2
HA
Qwen2.5 72B Instruct Abliterated19.4
3Qwen2-72B
19.2
4DeepSeek R1 Distill Qwen 14B
18.3
5WizardLM-2 8x22B
17.6
78 テスト済みモデル数
1Gemini 4 Argon
99.2
2GPT-6 Astra
98.3
3Claude Sonnet 5.5
98.0
4GPT-6.1 Sol
97.8
5Gemini 3.8 Flash
97.8
180 テスト済みモデル数
1GPT-4 Turbo
93.7
2Llama 3.1 405B
85.6
3
Falcon-180B
85.3
4DeepSeek V3
85.2
5DeepSeek-V2 (MoE-236B, May 2024)
82.8
42 テスト済みモデル数
HLE
知識1Claude Mythos Preview
56.8
2GPT-6 Astra
52.5
3Claude Fable 5.1
43.8
4Gemini 3.1 Pro Preview
43.7
5Claude Sonnet 5.5
43.4
39 テスト済みモデル数
0 テスト済みモデル数
0 テスト済みモデル数
LAMBADA
知識1Falcon-180B
79.8
2Llama 2-13B
76.5
3LLaMA-13B
75.2
4
U
Baichuan 2-7B73.3
5
U
internlm-20b71.8
9 テスト済みモデル数
1Qwen3 Max
87.1
2o3 Pro
86.3
3GPT-5
86.0
4Kimi K2 0711
85.6
5Claude Opus 4.1
85.4
46 テスト済みモデル数
1GLM 5.2
76.2
2GPT-5.2-Codex
74.3
3Qwen3.7 Max
74.3
4DeepSeek V4 Pro
73.6
5GPT-5.1-Codex-Max
72.0
40 テスト済みモデル数
MMLU
知識1GPT-4o (2024-11-20)
84.1
2DeepSeek V3
82.9
3Claude 3.5 Sonnet
82.0
4GPT-4 (older v0314)
81.9
5Llama 3.3 70B Instruct
81.7
83 テスト済みモデル数
MMLU-PRO
知識1Qwen2-72B
52.6
2Qwen2.5 32B Instruct
51.9
3Qwen2.5 72B Instruct
51.4
4
HA
Qwen2.5 72B Instruct Abliterated50.4
5Phi 4
48.3
78 テスト済みモデル数
1phi-3-small 7.4B
84.0
2phi-3-mini 3.8B
84.0
3phi-3-medium 14B
83.2
4GPT-3.5 Turbo (older v0613)
81.3
5Mixtral 8x7B Instruct
81.1
27 テスト済みモデル数
1Qwen3.5 397B A17B
88.4
2Kimi K2.5
88.1
3GLM 4.7
86.9
4DeepSeek V3.2 Speciale
86.7
5GLM 5
85.3
34 テスト済みモデル数
1DeepSeek V3.2 Speciale
28.6
2Kimi K2.5
28.6
3GLM 5
28.1
4Qwen3.5 397B A17B
27.5
5GLM 4.7
25.4
34 テスト済みモデル数
1Qwen3.5 397B A17B
87.6
2Kimi K2.5
86.2
3DeepSeek V3.2
85.8
4Gemini 2.5 Pro
85.8
5DeepSeek V3.2 Speciale
85.5
34 テスト済みモデル数
PIQA
知識1GPT-4o-mini (2024-07-18)
77.4
2GPT-4o-mini
77.4
3Gemini 1.5 Flash (May 2024)
75.0
4Llama 3.1 405B
71.8
5Falcon-180B
69.8
33 テスト済みモデル数
1Claude Fable 5
41.8
2GPT-5.6 Sol
36.2
3Claude Opus 5
35.0
4Claude Opus 4.8
33.8
5Kimi K3
32.0
23 テスト済みモデル数
1Claude Opus 4.6 (Fast)
53.3
2Claude Opus 4.6
53.3
3GPT-5
51.3
4GPT-5 Pro
51.1
5o3 Pro
49.1
6 テスト済みモデル数
1Claude Opus 4.6 (Fast)
52.3
2Claude Opus 4.6
52.3
3GPT-5 Pro
49.9
4o3 Pro
49.7
5GPT-5
49.0
6 テスト済みモデル数
1GPT-4o (2024-05-13)
84.7
2GPT-4o (2024-11-20)
84.7
3Claude 3 Haiku
62.7
4Llama 2-13B
41.0
5LLaMA-13B
24.4
5 テスト済みモデル数
1Gemini 4 Argon
76.0
2GPT-6 Astra
75.6
3GPT-6.1 Sol
73.9
4Gemini 3.1 Pro Preview
73.5
5Gemini 3 Pro
72.9
88 テスト済みモデル数
1GPT-6 Astra
25.7
2GPT-6.1 Sol
24.7
3GPT-6 Sol
7.5
4Claude Opus 5.5
3.3
5Claude Fable 5.1
2.0
7 テスト済みモデル数
TriviaQA
知識1Claude 2
87.5
2
U
PaLM 2-L86.1
3GPT-3.5 Turbo (older v0613)
85.8
4GPT-4 Turbo
84.8
5DeepSeek V3
82.9
25 テスト済みモデル数
1Gemini 3.1 Pro Preview
29.0
2Claude Opus 4.6 (Fast)
27.5
3Claude Opus 4.6
27.5
3 テスト済みモデル数
1GPT-6 Astra
60.0
2GPT-6.1 Sol
56.2
3Claude Opus 5.5
55.4
4Claude Fable 5.1
48.4
5Gemini 4 Argon
46.0
20 テスト済みモデル数
1Llama 3.1 405B
78.4
2Claude 3 Opus
77.0
3GPT-4 (older v0314)
75.0
4GPT-4 Turbo
75.0
5Falcon-180B
74.2
53 テスト済みモデル数
エージェント
APEX-Agents
エージェント1Gemini 4 Argon
82.4
2Claude Sonnet 5.5
75.5
3Claude Opus 5.5
73.5
4Claude Fable 5.1
68.6
5Gemini 3.7 Flash
67.8
70 テスト済みモデル数
OSWorld
エージェント1Claude Mythos Preview
79.6
2GPT-5.5
78.7
3Claude Sonnet 4.6
72.1
4Claude Opus 4.5
66.3
5Kimi K2.5
63.3
10 テスト済みモデル数
SWE Atlas — Codebase QnA
エージェント1Claude Opus 4.6 (Fast)
33.3
2Claude Opus 4.6
33.3
3GPT-5.3-Codex
32.6
4Claude Sonnet 4.6
31.2
4 テスト済みモデル数
SWE Atlas — Test Writing
エージェント1Claude Opus 4.6 (Fast)
36.7
2Claude Opus 4.6
36.7
3Claude Sonnet 4.6
31.8
3 テスト済みモデル数
The Agent Company
エージェント1DeepSeek V3.2 Exp
42.9
2Gemini 2.5 Flash
41.1
3Claude Sonnet 4
33.1
4Claude 3.7 Sonnet
30.9
5Gemini 2.5 Pro
30.3
15 テスト済みモデル数
推論
ARC-AGI
推論1Claude Fable 5
98.5
2GPT-6 Astra
98.5
3Claude Opus 5.5
98.5
4GPT-6.1 Sol
98.5
5Gemini 3.8 Flash
98.5
82 テスト済みモデル数
1GPT-6 Astra
95.0
2GPT-6.1 Sol
94.2
3Claude Opus 5.5
93.3
4GPT-5.6 Sol
92.5
5Gemini 4 Argon
91.3
85 テスト済みモデル数
BBH
推論1Gemini 1.5 Pro (May 2024)
85.6
2DeepSeek V3
83.3
3Gemini 1.5 Pro (Feb 2024)
78.7
4Llama 3.1 405B
77.2
5phi-3-medium 14B
75.2
28 テスト済みモデル数
1GPT-5.2-Codex
78.2
2MiniMax M3
76.2
3DeepSeek V4 Pro
74.5
4GLM 5.2
73.7
5Qwen3.7 Max
71.8
40 テスト済みモデル数
1GPT-5.1-Codex-Max
84.6
2Qwen3.7 Max
83.3
3Kimi K2.7 Code
82.8
4DeepSeek V4 Pro
82.7
5GPT-5.1-Codex
82.0
40 テスト済みモデル数
MUSR
推論1DeepSeek R1 Distill Qwen 14B
28.7
2
Hermes 3 70B Instruct
23.4
3Llama 3 8B Instruct
19.9
4Qwen2-72B
19.7
5
U
Stable Beluga 218.6
78 テスト済みモデル数
1Claude Fable 5
78.3
2Claude Opus 5
76.7
3Gemini 3.1 Pro Preview
75.5
4Gemini 3.5 Flash
72.0
5Gemini 3 Pro
71.7
78 テスト済みモデル数
速度
1GPT-5.4
69.4
2Claude Opus 4.6 (Fast)
67.6
3GLM 5 Turbo
63.1
4
MiMo-V2-Pro
62.8
5GPT-5.3-Codex
62.2
88 テスト済みモデル数
1Claude Fable 5
76.5
2Claude Opus 4.8 (Fast)
74.3
3Claude Opus 4.7 (Fast)
73.6
4Gemini 3.5 Flash
70.1
5Gemini 3.1 Pro Preview
68.8
89 テスト済みモデル数
1Claude Fable 5
59.9
2Claude Opus 5.5
57.6
3GPT-5.4
57.2
4Claude Sonnet 5.5
56.0
5Claude Opus 4.8 (Fast)
55.7
136 テスト済みモデル数
1GPT-6 Astra
31.7
2Claude Opus 5.5
31.7
3GPT-6.1 Sol
31.7
4Claude Sonnet 5.5
31.4
5GPT-5.6 Terra
30.0
70 テスト済みモデル数
1Claude Opus 5.5
68.3
2Claude Sonnet 5.5
66.9
3Claude Fable 5.1
62.7
4Grok 4.7
60.6
5MiMo-V2.6-Pro
59.2
61 テスト済みモデル数
1GPT-6 Astra
96.1
2Gemini 3.8 Flash
95.3
3Gemini 3.1 Pro Preview
94.1
4Claude Fable 5.1
93.7
5Kimi K3
93.5
55 テスト済みモデル数
1Claude Opus 5.5
61.4
2Claude Fable 5.1
59.1
3Gemini 4 Argon
57.1
4Claude Sonnet 5.5
55.0
5GPT-6 Astra
54.7
71 テスト済みモデル数
1MiniMax M3
82.9
2
Nemotron 3 Ultra
81.4
3Qwen3.7 Plus
78.0
4Gemini 3.1 Pro Preview
77.1
5Gemma 4 31B
75.6
37 テスト済みモデル数
1Kimi K3
88.7
2Step 5 Preview
88.3
3MiMo-V2.6-Pro
86.3
4Claude Fable 5.1
85.3
5Claude Opus 5.5
84.7
70 テスト済みモデル数
1Claude Opus 5.5
87.7
2GPT-6 Astra
86.9
3GPT-6.1 Sol
86.0
4Gemini 3.8 Flash
85.6
5Qwen3.8 Max (0902)
82.8
35 テスト済みモデル数
1Claude Opus 5.5
66.9
2Claude Fable 5.1
63.1
3Gemini 4 Argon
61.8
4Claude Sonnet 5.5
61.0
5MiMo-V2.6-Pro
60.9
56 テスト済みモデル数
1Gemini 3.1 Pro Preview
95.6
2Qwen3.6 35B A3B
95.3
3Mistral Medium 3.5
94.2
4Qwen3.7 Plus
93.0
5Qwen3.5 4B
92.1
37 テスト済みモデル数
1GPT-5.6 Terra
57.6
2Gemini 3.1 Pro Preview
53.8
3GPT-5.3-Codex
53.0
4Qwen3.7 Plus
47.0
5Kimi K2.7 Code
44.7
37 テスト済みモデル数
総合
1Qwen2.5 72B Instruct
61.9
2
HA
Qwen2.5 72B Instruct Abliterated60.5
3Llama 3.3 70B Instruct
56.6
4Qwen2.5 32B Instruct
56.5
5Llama 3.1 70B Instruct
55.9
78 テスト済みモデル数
Cl Bench
総合1GPT-5.4
27.9
2GPT-5.1
23.7
3Grok 4.20
22.2
4Claude Opus 4.5
21.1
5Gemini 3.1 Pro Preview
20.8
19 テスト済みモデル数
1GPT-5.4
21.7
2GPT-5.1
17.3
3Claude Opus 4.6
17.0
4Gemini 3.1 Pro Preview
16.9
5DeepSeek V4 Pro
13.5
12 テスト済みモデル数
Dtbench
総合1Claude Opus 5.5
98.2
2Claude Fable 5
97.3
3Claude Opus 5
96.5
4Claude Fable 5.1
96.0
5Gemini 4 Argon
96.0
140 テスト済みモデル数
1GPT-6 Astra
76.2
2Claude Opus 5.5
71.4
3Gemini 4 Argon
64.8
4Claude Fable 5.1
57.1
5GPT-6.1 Sol
54.3
25 テスト済みモデル数
1Claude Opus 4.7
26.5
2Gemini 3.1 Pro Preview
26.1
3Claude Sonnet 4.6
23.6
4Kimi K2.6
18.4
5GLM 5.1
18.1
7 テスト済みモデル数
1Claude Opus 5.5
76.2
2GPT-6 Astra
71.4
3GPT-6.1 Sol
71.4
4Claude Sonnet 5.5
64.3
5Gemini 4 Argon
60.7
32 テスト済みモデル数
Gdpval
総合1GPT-5.2
49.7
2Claude Opus 4.5
45.5
3Claude Opus 4.1
43.6
4Claude Sonnet 4.5
42.5
5Gemini 3 Pro
40.3
11 テスト済みモデル数
Lmca
総合1Claude Sonnet 5.5
80.3
2Claude Opus 5.5
80.3
3Claude Fable 5.1
77.0
4Claude Opus 5
75.8
5GPT-6 Astra
75.7
118 テスト済みモデル数
1Claude Opus 4.6
78.9
2Gemini 3.1 Pro Preview
77.0
3GPT-5.2
75.3
4Claude Opus 4.5
75.0
5GPT-5.3-Codex
74.5
29 テスト済みモデル数
1GPT-6 Astra
82.4
2GPT-6.1 Sol
78.0
3Claude Opus 5.5
68.0
4Claude Sonnet 5.5
61.5
5Gemini 4 Argon
60.3
73 テスト済みモデル数
1Claude Opus 5
31.4
2GPT-5.6 Sol
27.3
3Claude Opus 4.8
20.6
4Claude Opus 4.7
18.2
5Claude Sonnet 4.6
9.3
8 テスト済みモデル数
1Claude Fable 5.1
100.0
2Claude Opus 5.5
100.0
3Claude Sonnet 5.5
100.0
4GPT-6 Astra
99.0
5Claude Opus 5
99.0
63 テスト済みモデル数
1Claude Opus 5.5
21.3
2GPT-6 Astra
20.8
3Claude Fable 5.1
17.9
4Claude Fable 5
16.1
5Claude Opus 4.8
8.3
14 テスト済みモデル数
1Claude Fable 5
95.0
2Kimi K3
95.0
3GPT-5.6 Sol
93.1
4Claude Opus 4.8
87.5
5GPT-5.6 Terra
83.8
22 テスト済みモデル数
アリーナ
1Qwen3.8 Max (0902)
1671.2
2Claude Fable 5
1653.9
3MiMo-V2.6-Pro
1618.4
4GLM 5.3 Flash
1615.6
5GLM 5.2
1593.3
58 テスト済みモデル数
1Claude Fable 5
1507.6
2Claude Opus 4.6 (Fast)
1503.7
3Claude Opus 4.6
1497.3
4Claude Opus 4.7
1494.1
5Muse Spark
1489.3
148 テスト済みモデル数
安全性
数学
1Muse Spark
68.4
2Gemini 3 Pro
66.0
3GPT-5.4 Pro
50.0
4GPT-5.4
47.6
5Claude Opus 4.8
47.2
67 テスト済みモデル数
1GPT-5.4 Pro
37.5
2GPT-5.2 Pro
31.3
3Claude Opus 4.8
31.3
4Gemini 3 Pro
31.3
5GPT-5.4
27.1
49 テスト済みモデル数
1GPT-6.1 Sol
100.0
2GPT-6 Astra
97.6
3Claude Opus 5.5
95.0
4Claude Fable 5
90.2
5GPT-6 Sol
90.0
60 テスト済みモデル数
1GPT-6 Astra
98.6
2GPT-6.1 Sol
98.6
3Claude Opus 5.5
96.0
4Claude Fable 5.1
94.9
5GPT-6 Sol
94.5
79 テスト済みモデル数
GSM8K
数学1GPT-4 (older v0314)
92.0
2GPT-4o-mini (2024-07-18)
91.3
3GPT-4o-mini
91.3
4Qwen2.5 Coder 32B Instruct
91.1
5GPT-4 Turbo
90.0
43 テスト済みモデル数
1DeepSeek V4 Pro
90.7
2GLM 5.2
89.8
3GPT-5.2-Codex
88.8
4Qwen3.7 Max
85.3
5GLM 5.1
84.9
40 テスト済みモデル数
1Qwen2.5 32B Instruct
62.5
2
HA
Qwen2.5 72B Instruct Abliterated60.1
3Qwen2.5 72B Instruct
59.8
4DeepSeek R1 Distill Qwen 14B
57.0
5Qwen2.5 14B Instruct
55.3
78 テスト済みモデル数
1DeepSeek V3.2 Speciale
96.0
2GLM 5
95.8
3Step 3.5 Flash
95.7
4GLM 4.7
95.4
5Kimi K2 Thinking
94.1
34 テスト済みモデル数
1Claude Fable 5
100.0
2Claude Fable 5.1
100.0
3GPT-6 Astra
100.0
4Claude Opus 5.5
100.0
5GPT-6 Sol
100.0
169 テスト済みモデル数
言語
1Grok 3 Mini Beta
95.1
2Grok-3 mini
95.1
3Grok 4
94.9
4GPT-5.1
93.5
5GPT-5 Nano
93.2
40 テスト済みモデル数
IFEval
言語1Llama 3.3 70B Instruct
90.0
2Llama 3.1 70B Instruct
86.7
3Qwen2.5 72B Instruct
86.4
4
HA
Qwen2.5 72B Instruct Abliterated85.9
5Qwen2.5 32B Instruct
83.5
78 テスト済みモデル数
1DeepSeek R1 Distill Qwen 32B
95.3
2DeepSeek R1 Distill Qwen 14B
93.7
3Qwen2 7B Instruct
89.1
4Qwen2 VL 7B Instruct
87.8
5Meta Llama 3 8B Instruct
87.7
12 テスト済みモデル数
0 テスト済みモデル数
JMMLU
言語1DeepSeek R1 Distill Qwen 32B
72.2
2DeepSeek R1 Distill Qwen 14B
63.4
3Qwen2 7B Instruct
56.5
4Qwen2 VL 7B Instruct
56.3
5Meta Llama 3 8B Instruct
46.7
12 テスト済みモデル数
JNLI
言語1DeepSeek R1 Distill Qwen 32B
85.6
2DeepSeek R1 Distill Qwen 14B
82.4
3Qwen2 7B Instruct
81.3
4Qwen2 VL 7B Instruct
74.4
5DeepSeek R1 Distill Llama 8B
69.4
12 テスト済みモデル数
JSQuAD
言語1Qwen2 VL 7B Instruct
89.9
2DeepSeek R1 Distill Qwen 14B
89.8
3Qwen2 7B Instruct
89.6
4Meta Llama 3 8B Instruct
89.5
5DeepSeek R1 Distill Qwen 32B
89.2
12 テスト済みモデル数
1Qwen3.7 Max
74.0
2GLM 5.1
68.5
3Gemma 4 31B
67.6
4GPT-5.1-Codex-Max
67.1
5GPT-5.2-Codex
66.5
40 テスト済みモデル数
1Qwen3.7 Max
79.7
2DeepSeek V4 Pro
78.1
3Kimi K2.7 Code
77.9
4GLM 5
77.5
5MiniMax M3
76.8
40 テスト済みモデル数
1DeepSeek R1 Distill Qwen 32B
59.3
2DeepSeek R1 Distill Qwen 14B
56.8
3Qwen2 VL 7B Instruct
53.0
4Qwen2 7B Instruct
51.7
5Meta Llama 3 8B Instruct
49.6
12 テスト済みモデル数
1Kimi K2.5
93.9
2Step 3.5 Flash
93.2
3GLM 5
93.2
4Kimi K2 Thinking
92.4
5DeepSeek V3.2 Speciale
91.7
34 テスト済みモデル数
マルチモーダル
VideoMME
マルチモーダル1Gemini 1.5 Pro (Feb 2024)
66.7
2Qwen2.5 72B Instruct
64.7
3GPT-4o (2024-11-20)
62.5
4GPT-4o (2024-08-06)
62.5
5Gemini 1.5 Flash (May 2024)
60.4
8 テスト済みモデル数