DeepSeek V3 vs Llama 3.1 405B
나란히 비교. 모든 지표. 모든 벤치마크.
| 유형 | DeepSeek V3 | Llama 3.1 405B |
|---|---|---|
| Provider |  Meta | |
| 평균 점수 | 59.0 | 38.0 |
| 입력 가격 | $0.32 | - |
| 출력 가격 | $0.89 | - |
| 컨텍스트 윈도우 | 164K tokens (~82 books) | - |
| 출시일 | 2024-12-26 | 2024-07-16 |
| 오픈소스 | Open Source | Open Source |
벤치마크 점수
12 benchmarks · DeepSeek V3: 7, Llama 3.1 405B: 4
| 벤치마크 | 카테고리 | DeepSeek V3 | Llama 3.1 405B |
|---|---|---|---|
| ARC AI2 | knowledge | 93.7 | 93.7 |
| BBH | reasoning | 83.3 | 77.2 |
| GPQA diamond | knowledge | 42.0 | 34.5 |
| HellaSwag | knowledge | 85.2 | 85.6 |
| MATH level 5 | math | 64.8 | 49.8 |
| MMLU | knowledge | 82.9 | 79.3 |
| OTIS Mock AIME 2024-2025 | math | 15.8 | 9.6 |
| PIQA | knowledge | 69.4 | 71.8 |
| SimpleBench | reasoning | 2.7 | 7.6 |
| TriviaQA | knowledge | 82.9 | 82.7 |
| WeirdML | coding | 36.1 | 21.4 |
| Winogrande | knowledge | 70.4 | 78.4 |