Benchmark

AIME 2025

Mathematical reasoning

Categories
reasoning, math
Openness
unknown
Source
artificial_analysis
Reported scores
270

Reported scores

artificial_analysis

ModelOrganizationReported valueReportedEvidence
Apriel-v1.5-15B-ThinkerServiceNow0.8752025-09-30evidence
Apriel-v1.6-15B-ThinkerServiceNow0.882025-11-25evidence
Claude 3.7 Sonnet (Non-reasoning)Anthropic0.212025-02-24evidence
Claude 3.7 Sonnet (Reasoning)Anthropic0.5633333333333332025-02-24evidence
Claude 4 Opus (Non-reasoning)Anthropic0.3633333333333332025-05-22evidence
Claude 4 Opus (Reasoning)Anthropic0.7333333333333332025-05-22evidence
Claude 4 Sonnet (Non-reasoning)Anthropic0.382025-05-22evidence
Claude 4 Sonnet (Reasoning)Anthropic0.7433333333333332025-05-22evidence
Claude 4.1 Opus (Reasoning)Anthropic0.8033333333333332025-08-05evidence
Claude 4.5 Haiku (Non-reasoning)Anthropic0.392025-10-15evidence
Claude 4.5 Haiku (Reasoning)Anthropic0.8366666666666672025-10-15evidence
Claude 4.5 Sonnet (Non-reasoning)Anthropic0.372025-09-29evidence
Claude 4.5 Sonnet (Reasoning)Anthropic0.882025-09-29evidence
Claude Opus 4.5 (Non-reasoning)Anthropic0.6266666666666672025-11-24evidence
Claude Opus 4.5 (Reasoning)Anthropic0.9133333333333332025-11-24evidence
Cogito v2.1 (Reasoning)Deep Cogito0.7266666666666672025-11-18evidence
Command ACohere0.132025-03-13evidence
DeepSeek R1 (Jan '25)DeepSeek0.682025-01-20evidence
DeepSeek R1 0528 (May '25)DeepSeek0.762025-05-28evidence
DeepSeek R1 0528 Qwen3 8BDeepSeek0.6366666666666672025-05-29evidence
DeepSeek R1 Distill Llama 70BDeepSeek0.5366666666666672025-01-20evidence
DeepSeek R1 Distill Llama 8BDeepSeek0.4133333333333332025-01-20evidence
DeepSeek R1 Distill Qwen 1.5BDeepSeek0.222025-01-20evidence
DeepSeek R1 Distill Qwen 14BDeepSeek0.5566666666666672025-01-20evidence
DeepSeek R1 Distill Qwen 32BDeepSeek0.632025-01-20evidence
DeepSeek V3 (Dec '24)DeepSeek0.262024-12-26evidence
DeepSeek V3 0324DeepSeek0.412025-03-25evidence
DeepSeek V3.1 (Non-reasoning)DeepSeek0.4966666666666672025-08-21evidence
DeepSeek V3.1 (Reasoning)DeepSeek0.8966666666666672025-08-21evidence
DeepSeek V3.1 Terminus (Non-reasoning)DeepSeek0.5366666666666672025-09-22evidence
DeepSeek V3.1 Terminus (Reasoning)DeepSeek0.8966666666666672025-09-22evidence
DeepSeek V3.2 (Non-reasoning)DeepSeek0.592025-12-01evidence
DeepSeek V3.2 (Reasoning)DeepSeek0.922025-12-01evidence
DeepSeek V3.2 Exp (Non-reasoning)DeepSeek0.5766666666666672025-09-29evidence
DeepSeek V3.2 Exp (Reasoning)DeepSeek0.8766666666666672025-09-29evidence
DeepSeek V3.2 SpecialeDeepSeek0.9666666666666672025-12-01evidence
Devstral 2Mistral0.3666666666666672025-12-09evidence
Devstral MediumMistral0.04666666666666672025-07-10evidence
Devstral Small (Jul '25)Mistral0.2933333333333332025-07-10evidence
Devstral Small 2Mistral0.3433333333333332025-12-09evidence
Doubao Seed CodeByteDance Seed0.7933333333333332025-11-11evidence
ERNIE 4.5 300B A47BBaidu0.4133333333333332025-06-30evidence
ERNIE 5.0 Thinking PreviewBaidu0.852025-11-13evidence
Exaone 4.0 1.2B (Non-reasoning)LG AI Research0.242025-07-15evidence
Exaone 4.0 1.2B (Reasoning)LG AI Research0.5033333333333332025-07-15evidence
EXAONE 4.0 32B (Non-reasoning)LG AI Research0.3933333333333332025-07-15evidence
EXAONE 4.0 32B (Reasoning)LG AI Research0.82025-07-15evidence
Falcon-H1R-7BTII UAE0.82026-01-04evidence
Gemini 2.0 Flash (Feb '25)Google0.2166666666666672025-02-05evidence
Gemini 2.5 Flash (Non-reasoning)Google0.6033333333333332025-05-20evidence
Gemini 2.5 Flash (Reasoning)Google0.7333333333333332025-05-20evidence
Gemini 2.5 Flash Preview (Sep '25) (Non-reasoning)Google0.5666666666666672025-09-25evidence
Gemini 2.5 Flash Preview (Sep '25) (Reasoning)Google0.7833333333333332025-09-25evidence
Gemini 2.5 Flash-Lite (Non-reasoning)Google0.3533333333333332025-06-17evidence
Gemini 2.5 Flash-Lite (Reasoning)Google0.5333333333333332025-06-17evidence
Gemini 2.5 Flash-Lite Preview (Sep '25) (Non-reasoning)Google0.4666666666666672025-09-25evidence
Gemini 2.5 Flash-Lite Preview (Sep '25) (Reasoning)Google0.6866666666666672025-09-08evidence
Gemini 2.5 ProGoogle0.8766666666666672025-06-05evidence
Gemini 3 Flash Preview (Non-reasoning)Google0.5566666666666672025-12-17evidence
Gemini 3 Flash Preview (Reasoning)Google0.972025-12-17evidence
Gemini 3 Pro Preview (high)Google0.9566666666666672025-11-18evidence
Gemini 3 Pro Preview (low)Google0.8666666666666672025-11-18evidence
Gemma 3 12B InstructGoogle0.1833333333333332025-03-12evidence
Gemma 3 1B InstructGoogle0.03333333333333332025-03-13evidence
Gemma 3 270MGoogle0.02333333333333332025-08-14evidence
Gemma 3 27B InstructGoogle0.2066666666666672025-03-12evidence
Gemma 3 4B InstructGoogle0.1266666666666672025-03-12evidence
Gemma 3n E2B InstructGoogle0.1033333333333332025-06-26evidence
Gemma 3n E4B InstructGoogle0.1433333333333332025-06-26evidence
GLM-4.5 (Reasoning)Z.ai0.7366666666666672025-07-28evidence
GLM-4.5-AirZ.ai0.8066666666666672025-07-28evidence
GLM-4.5V (Non-reasoning)Z.ai0.1533333333333332025-08-11evidence
GLM-4.5V (Reasoning)Z.ai0.732025-08-11evidence
GLM-4.6 (Non-reasoning)Z.ai0.4433333333333332025-09-30evidence
GLM-4.6 (Reasoning)Z.ai0.862025-09-30evidence
GLM-4.6V (Non-reasoning)Z.ai0.2633333333333332025-12-08evidence
GLM-4.6V (Reasoning)Z.ai0.8533333333333332025-12-08evidence
GLM-4.7 (Non-reasoning)Z.ai0.482025-12-22evidence
GLM-4.7 (Reasoning)Z.ai0.952025-12-22evidence
GPT-4.1OpenAI0.3466666666666672025-04-14evidence
GPT-4.1 miniOpenAI0.4633333333333332025-04-14evidence
GPT-4.1 nanoOpenAI0.242025-04-14evidence
GPT-4o (March 2025, chatgpt-4o-latest)OpenAI0.2566666666666672025-03-27evidence
GPT-4o (Nov '24)OpenAI0.062024-11-20evidence
GPT-4o miniOpenAI0.1466666666666672024-07-18evidence
GPT-5 (ChatGPT)OpenAI0.4833333333333332025-08-07evidence
GPT-5 (high)OpenAI0.9433333333333332025-08-07evidence
GPT-5 (low)OpenAI0.832025-08-07evidence
GPT-5 (medium)OpenAI0.9166666666666672025-08-07evidence
GPT-5 (minimal)OpenAI0.3166666666666672025-08-07evidence
GPT-5 Codex (high)OpenAI0.9866666666666672025-09-23evidence
GPT-5 mini (high)OpenAI0.9066666666666672025-08-07evidence
GPT-5 mini (medium)OpenAI0.852025-08-07evidence
GPT-5 mini (minimal)OpenAI0.4666666666666672025-08-07evidence
GPT-5 nano (high)OpenAI0.8366666666666672025-08-07evidence
GPT-5 nano (medium)OpenAI0.7833333333333332025-08-07evidence
GPT-5 nano (minimal)OpenAI0.2733333333333332025-08-07evidence
GPT-5.1 (high)OpenAI0.942025-11-13evidence
GPT-5.1 (Non-reasoning)OpenAI0.382025-11-13evidence
GPT-5.1 Codex (high)OpenAI0.9566666666666672025-11-13evidence
GPT-5.1 Codex mini (high)OpenAI0.9166666666666672025-11-13evidence
GPT-5.2 (medium)OpenAI0.9666666666666672025-12-11evidence
GPT-5.2 (Non-reasoning)OpenAI0.512025-12-11evidence
GPT-5.2 (xhigh)OpenAI0.992025-12-11evidence
gpt-oss-120b (high)OpenAI0.9344166666666672025-08-05evidence
gpt-oss-120b (low)OpenAI0.6666666666666672025-08-05evidence
gpt-oss-20b (high)OpenAI0.8933333333333332025-08-05evidence
gpt-oss-20b (low)OpenAI0.6233333333333332025-08-05evidence
Granite 3.3 8B (Non-reasoning)IBM0.06666666666666672025-04-16evidence
Granite 4.0 1BIBM0.06333333333333332025-10-28evidence
Granite 4.0 350MIBM02025-10-28evidence
Granite 4.0 H 1BIBM0.06333333333333332025-10-28evidence
Granite 4.0 H 350MIBM0.01333333333333332025-10-28evidence
Granite 4.0 H SmallIBM0.1366666666666672025-09-22evidence
Granite 4.0 MicroIBM0.062025-09-22evidence
Grok 3xAI0.582025-02-19evidence
Grok 3 mini Reasoning (high)xAI0.8466666666666672025-02-19evidence
Grok 4xAI0.9266666666666672025-07-10evidence
Grok 4 Fast (Non-reasoning)xAI0.4133333333333332025-09-19evidence
Grok 4 Fast (Reasoning)xAI0.8966666666666672025-09-19evidence
Grok 4.1 Fast (Non-reasoning)xAI0.3433333333333332025-11-19evidence
Grok 4.1 Fast (Reasoning)xAI0.8933333333333332025-11-19evidence
Grok Code Fast 1xAI0.4333333333333332025-08-28evidence
Hermes 4 - Llama-3.1 405B (Non-reasoning)Nous Research0.1533333333333332025-08-27evidence
Hermes 4 - Llama-3.1 405B (Reasoning)Nous Research0.6966666666666672025-08-27evidence
Hermes 4 - Llama-3.1 70B (Non-reasoning)Nous Research0.1133333333333332025-08-27evidence
Hermes 4 - Llama-3.1 70B (Reasoning)Nous Research0.6866666666666672025-08-27evidence
HyperCLOVA X SEED Think (32B)Naver0.592025-12-26evidence
INTELLECT-3Prime Intellect0.882025-11-27evidence
Jamba 1.7 LargeAI21 Labs0.02333333333333332025-07-07evidence
Jamba 1.7 MiniAI21 Labs0.003333333333333332025-07-07evidence
Jamba Reasoning 3BAI21 Labs0.1066666666666672025-10-08evidence
K-EXAONE (Non-reasoning)LG AI Research0.442025-12-31evidence
K-EXAONE (Reasoning)LG AI Research0.9033333333333342025-12-31evidence
K2-V2 (high)MBZUAI Institute of Foundation Models0.7833333333333332025-12-05evidence
K2-V2 (low)MBZUAI Institute of Foundation Models0.3533333333333332025-12-05evidence
K2-V2 (medium)MBZUAI Institute of Foundation Models0.6466666666666672025-12-05evidence
KAT-Coder-Pro V1KwaiKAT0.9466666666666672025-11-11evidence
Kimi K2Moonshot AI0.572025-07-11evidence
Kimi K2 0905Moonshot AI0.5733333333333332025-09-05evidence
Kimi K2 ThinkingMoonshot AI0.9466666666666672025-11-06evidence
Kimi Linear 48B A3B InstructMoonshot AI0.3633333333333332025-10-30evidence
LFM2 1.2BLiquid AI0.03333333333333332025-07-10evidence
LFM2 2.6BLiquid AI0.08333333333333332025-09-23evidence
LFM2 8B A1BLiquid AI0.2533333333333332025-10-07evidence
Ling-1TInclusionAI0.7133333333333332025-10-08evidence
Ling-flash-2.0InclusionAI0.6533333333333332025-09-17evidence
Ling-mini-2.0InclusionAI0.4933333333333332025-09-09evidence
Llama 3.1 Instruct 405BMeta0.032024-07-23evidence
Llama 3.1 Instruct 70BMeta0.042024-07-23evidence
Llama 3.1 Instruct 8BMeta0.04333333333333332024-07-23evidence
Llama 3.1 Nemotron Instruct 70BNVIDIA0.112024-10-15evidence
Llama 3.1 Nemotron Nano 4B v1.1 (Reasoning)NVIDIA0.52025-05-20evidence
Llama 3.1 Nemotron Ultra 253B v1 (Reasoning)NVIDIA0.6366666666666672025-04-07evidence
Llama 3.2 Instruct 11B (Vision)Meta0.01666666666666672024-09-25evidence
Llama 3.2 Instruct 1BMeta02024-09-25evidence
Llama 3.2 Instruct 3BMeta0.03333333333333332024-09-25evidence
Llama 3.3 Instruct 70BMeta0.07666666666666672024-12-06evidence
Llama 3.3 Nemotron Super 49B v1 (Non-reasoning)NVIDIA0.07666666666666672025-03-18evidence
Llama 3.3 Nemotron Super 49B v1 (Reasoning)NVIDIA0.5466666666666672025-03-18evidence
Llama 4 MaverickMeta0.1933333333333332025-04-05evidence
Llama 4 ScoutMeta0.142025-04-05evidence
Llama Nemotron Super 49B v1.5 (Non-reasoning)NVIDIA0.082025-07-25evidence
Llama Nemotron Super 49B v1.5 (Reasoning)NVIDIA0.7666666666666672025-07-25evidence
Magistral Medium 1Mistral0.4033333333333332025-06-10evidence
Magistral Medium 1.2Mistral0.822025-09-18evidence
Magistral Small 1Mistral0.4133333333333332025-06-10evidence
Magistral Small 1.2Mistral0.8033333333333332025-09-17evidence
Mi:dm K 2.5 ProKorea Telecom0.7666666666666672025-12-11evidence
Mi:dm K 2.5 Pro PreviewKorea Telecom0.7866666666666672025-12-11evidence
MiMo-V2-Flash (Non-reasoning)Xiaomi0.6766666666666672025-12-16evidence
MiMo-V2-Flash (Reasoning)Xiaomi0.9633333333333332025-12-16evidence
MiniMax M1 40kMiniMax0.1366666666666672025-06-17evidence
MiniMax M1 80kMiniMax0.612025-06-17evidence
MiniMax-M2MiniMax0.7833333333333332025-10-26evidence
MiniMax-M2.1MiniMax0.8266666666666672025-12-23evidence
Ministral 3 14BMistral0.32025-12-02evidence
Ministral 3 3BMistral0.222025-12-02evidence
Ministral 3 8BMistral0.3166666666666672025-12-02evidence
Mistral Large 2 (Jul '24)Mistral02024-07-24evidence
Mistral Large 2 (Nov '24)Mistral0.142024-11-18evidence
Mistral Large 3Mistral0.382025-12-02evidence
Mistral Medium 3Mistral0.3033333333333332025-05-07evidence
Mistral Medium 3.1Mistral0.3833333333333332025-08-12evidence
Mistral Small 3Mistral0.04333333333333332025-01-30evidence
Mistral Small 3.1Mistral0.03666666666666672025-03-17evidence
Mistral Small 3.2Mistral0.272025-06-20evidence
Molmo 7B-DAllen Institute for AI02024-09-25evidence
Motif-2-12.7B-ReasoningMotif Technologies0.8033333333333332025-12-04evidence
Nova 2.0 Lite (high)Amazon0.9433333333333332025-10-29evidence
Nova 2.0 Lite (low)Amazon0.4666666666666672025-10-29evidence
Nova 2.0 Lite (medium)Amazon0.8866666666666672025-10-29evidence
Nova 2.0 Lite (Non-reasoning)Amazon0.3366666666666672025-10-29evidence
Nova 2.0 Omni (low)Amazon0.562025-11-26evidence
Nova 2.0 Omni (medium)Amazon0.8966666666666672025-11-26evidence
Nova 2.0 Omni (Non-reasoning)Amazon0.372025-11-26evidence
Nova 2.0 Pro Preview (low)Amazon0.6333333333333332025-11-27evidence
Nova 2.0 Pro Preview (medium)Amazon0.892025-11-27evidence
Nova 2.0 Pro Preview (Non-reasoning)Amazon0.3066666666666672025-11-27evidence
Nova LiteAmazon0.072024-12-03evidence
Nova MicroAmazon0.062024-12-03evidence
Nova PremierAmazon0.1733333333333332025-04-30evidence
Nova ProAmazon0.072024-12-03evidence
NVIDIA Nemotron 3 Nano 30B A3B (Non-reasoning)NVIDIA0.1333333333333332025-12-15evidence
NVIDIA Nemotron 3 Nano 30B A3B (Reasoning)NVIDIA0.912025-12-15evidence
NVIDIA Nemotron Nano 12B v2 VL (Non-reasoning)NVIDIA0.2666666666666672025-10-28evidence
NVIDIA Nemotron Nano 12B v2 VL (Reasoning)NVIDIA0.752025-10-28evidence
NVIDIA Nemotron Nano 9B V2 (Non-reasoning)NVIDIA0.6233333333333332025-08-18evidence
NVIDIA Nemotron Nano 9B V2 (Reasoning)NVIDIA0.6966666666666672025-08-18evidence
o1-previewOpenAI0.7966666666666672024-09-12evidence
o3OpenAI0.8833333333333332025-04-16evidence
o4-mini (high)OpenAI0.9066666666666672025-04-16evidence
OLMo 2 32BAllen Institute for AI0.03333333333333332025-03-13evidence
OLMo 2 7BAllen Institute for AI0.006666666666666672024-11-26evidence
Olmo 3 32B ThinkAllen Institute for AI0.7366666666666672025-11-20evidence
Olmo 3 7B InstructAllen Institute for AI0.4133333333333332025-11-20evidence
Olmo 3 7B ThinkAllen Institute for AI0.7066666666666672025-11-20evidence
Olmo 3.1 32B ThinkAllen Institute for AI0.7733333333333332025-12-12evidence
Phi-3 Mini Instruct 3.8BMicrosoft0.003333333333333332024-04-23evidence
Phi-4Microsoft0.182024-12-12evidence
Phi-4 Mini InstructMicrosoft0.06666666666666672024-02-26evidence
Pixtral LargeMistral0.02333333333333332024-11-18evidence
Qwen2.5 Instruct 72BQwen0.142024-09-19evidence
Qwen3 0.6B (Non-reasoning)Qwen0.1033333333333332025-04-28evidence
Qwen3 0.6B (Reasoning)Qwen0.182025-04-28evidence
Qwen3 1.7B (Non-reasoning)Qwen0.07333333333333332025-04-28evidence
Qwen3 1.7B (Reasoning)Qwen0.3866666666666672025-04-28evidence
Qwen3 14B (Non-reasoning)Qwen0.582025-04-28evidence
Qwen3 14B (Reasoning)Qwen0.5566666666666672025-04-28evidence
Qwen3 235B A22B (Non-reasoning)Qwen0.2366666666666672025-04-28evidence
Qwen3 235B A22B (Reasoning)Qwen0.822025-04-28evidence
Qwen3 235B A22B 2507 (Reasoning)Qwen0.912025-07-25evidence
Qwen3 235B A22B 2507 InstructQwen0.7166666666666672025-07-21evidence
Qwen3 30B A3B (Non-reasoning)Qwen0.2166666666666672025-04-28evidence
Qwen3 30B A3B (Reasoning)Qwen0.7233333333333332025-04-28evidence
Qwen3 30B A3B 2507 (Reasoning)Qwen0.5633333333333332025-07-30evidence
Qwen3 30B A3B 2507 InstructQwen0.6633333333333332025-07-29evidence
Qwen3 32B (Non-reasoning)Qwen0.1966666666666672025-04-28evidence
Qwen3 32B (Reasoning)Qwen0.732025-04-28evidence
Qwen3 4B (Reasoning)Qwen0.2233333333333332025-04-28evidence
Qwen3 4B 2507 (Reasoning)Qwen0.8266666666666672025-08-06evidence
Qwen3 4B 2507 InstructQwen0.5233333333333332025-08-06evidence
Qwen3 8B (Non-reasoning)Qwen0.2433333333333332025-04-28evidence
Qwen3 8B (Reasoning)Qwen0.192025-04-28evidence
Qwen3 Coder 30B A3B InstructQwen0.292025-07-31evidence
Qwen3 Coder 480B A35B InstructQwen0.3933333333333332025-07-22evidence
Qwen3 MaxQwen0.8066666666666672025-09-23evidence
Qwen3 Max (Preview)Qwen0.752025-09-05evidence
Qwen3 Max Thinking (Preview)Qwen0.8233333333333332025-11-03evidence
Qwen3 Next 80B A3B (Reasoning)Qwen0.8433333333333332025-09-11evidence
Qwen3 Next 80B A3B InstructQwen0.6633333333333332025-09-11evidence
Qwen3 Omni 30B A3B (Reasoning)Qwen0.742025-09-22evidence
Qwen3 Omni 30B A3B InstructQwen0.5233333333333332025-09-22evidence
Qwen3 VL 235B A22B (Reasoning)Qwen0.8833333333333332025-09-23evidence
Qwen3 VL 235B A22B InstructQwen0.7066666666666672025-09-23evidence
Qwen3 VL 30B A3B (Reasoning)Qwen0.8233333333333332025-10-03evidence
Qwen3 VL 30B A3B InstructQwen0.7233333333333332025-10-03evidence
Qwen3 VL 32B (Reasoning)Qwen0.8466666666666672025-10-21evidence
Qwen3 VL 32B InstructQwen0.6833333333333332025-10-21evidence
Qwen3 VL 4B (Reasoning)Qwen0.2566666666666672025-10-14evidence
Qwen3 VL 4B InstructQwen0.372025-10-14evidence
Qwen3 VL 8B (Reasoning)Qwen0.3066666666666672025-10-14evidence
Qwen3 VL 8B InstructQwen0.2733333333333332025-10-14evidence
QwQ 32BQwen0.292025-03-05evidence
Reka Flash 3Reka AI0.3366666666666672025-03-10evidence
Ring-1TInclusionAI0.8933333333333332025-10-13evidence
Ring-flash-2.0InclusionAI0.8366666666666672025-09-19evidence
Seed-OSS-36B-InstructByteDance Seed0.8466666666666672025-08-20evidence
Solar Pro 2 (Non-reasoning)Upstage0.32025-07-09evidence
Solar Pro 2 (Reasoning)Upstage0.6133333333333332025-07-09evidence

Scores are partitioned by the source that reported them and are never merged into a single cross-source ranking, because the sources measure different things and say so.