Qwen2.5 Coder 32B Instruct
オープンソース開発元 Alibaba Qwen · リリース日 2024-11-11
53.1
平均スコア
$0.66/1M
入力料金
$1.00/1M
出力料金
33K tokens (~16 books)
コンテキストウィンドウ
text
タイプ
Tested on 14 benchmarks with 53.1% average. Top scores: Chatbot Arena Elo — Overall (1269.9%), GSM8K (91.1%), HellaSwag (77.3%).
ベンチマークスコア
| ベンチマーク | カテゴリ | スコア | Bar |
|---|---|---|---|
| Chatbot Arena Elo — Overall | arena | 1269.9 | |
| GSM8K | math | 91.1 | |
| HellaSwag | knowledge | 77.3 | |
| IFEval | language | 72.7 | |
| MMLU | knowledge | 72.1 | |
| Aider — Code Editing | coding | 71.4 | |
| Winogrande | knowledge | 61.6 | |
| ARC AI2 | knowledge | 60.7 | |
| BBH (HuggingFace) | general | 52.3 | |
| MATH Level 5 | math | 49.5 | |
| MMLU-PRO | knowledge | 37.9 | |
| Aider polyglot | coding | 16.4 | |
| MUSR | reasoning | 13.7 | |
| GPQA | knowledge | 13.2 |
類似モデル
DeepSeek
53.2
DeepSeek
53.0
OpenAI
53.2
Alibaba Qwen
53.2