SaaS Marathon Bench

Trajectory

Task 1

Forecast deals from recent sales calls

Claude Opus 5.5CLI1 2 3
GPT-6 AstraCLI1 2 3
Qwen3.8 MaxCLI1 2 3
Claude Haiku 5.5CLI1 2 3
Claude Sonnet 5.5CLI1 2 3
Gemini 4 ArgonCLI1 2 3
GPT-6.1 SolCLI1 2 3
Claude Sonnet 5.5GUI1 2 3
Claude Opus 5.5GUI1 2 3
DeepSeek V4 FlashCLI1 2 3
Gemini 3.8 FlashCLI1 2 3
Grok 4.7CLI1 2 3
Gemini 3.8 FlashGUI1 2 3
GPT-6 AstraGUI1 2 3
GPT-6.1 SolGUI1 2 3
Gemini 4 ArgonGUI1 2 3
GLM 5CLI1 2 3
Claude Haiku 5.5GUI1 2 3
Grok 4.7GUI1 2 3
Qwen3.8 MaxGUI1 2 3

Task 2

Review reimbursements before year-end close

Claude Opus 5.5CLI1 2 3
GPT-6 AstraCLI1 2 3
Qwen3.8 MaxCLI1 2 3
Claude Haiku 5.5CLI1 2 3
Claude Sonnet 5.5CLI1 2 3
Gemini 4 ArgonCLI1 2 3
GPT-6.1 SolCLI1 2 3
Claude Sonnet 5.5GUI1 2 3
Claude Opus 5.5GUI1 2 3
DeepSeek V4 FlashCLI1 2 3
Gemini 3.8 FlashCLI1 2 3
Grok 4.7CLI1 2 3
Gemini 3.8 FlashGUI1 2 3
GPT-6 AstraGUI1 2 3
GPT-6.1 SolGUI1 2 3
Gemini 4 ArgonGUI1 2 3
GLM 5CLI1 2 3
Claude Haiku 5.5GUI1 2 3
Grok 4.7GUI1 2 3
Qwen3.8 MaxGUI1 2 3

Task 3

Audit a week of sales activity

Claude Opus 5.5CLI1 2 3
GPT-6 AstraCLI1 2 3
Qwen3.8 MaxCLI1 2 3
Claude Haiku 5.5CLI1 2 3
Claude Sonnet 5.5CLI1 2 3
Gemini 4 ArgonCLI1 2 3
GPT-6.1 SolCLI1 2 3
Claude Sonnet 5.5GUI1 2 3
Claude Opus 5.5GUI1 2 3
DeepSeek V4 FlashCLI1 2 3
Gemini 3.8 FlashCLI1 2 3
Grok 4.7CLI1 2 3
Gemini 3.8 FlashGUI1 2 3
GPT-6 AstraGUI1 2 3
GPT-6.1 SolGUI1 2 3
Gemini 4 ArgonGUI1 2 3
GLM 5CLI1 2 3
Claude Haiku 5.5GUI1 2 3
Grok 4.7GUI1 2 3
Qwen3.8 MaxGUI1 2 3

Task 4

Match client deposits to invoices

Claude Opus 5.5CLI1 2 3
GPT-6 AstraCLI1 2 3
Qwen3.8 MaxCLI1 2 3
Claude Haiku 5.5CLI1 2 3
Claude Sonnet 5.5CLI1 2 3
Gemini 4 ArgonCLI1 2 3
GPT-6.1 SolCLI1 2 3
Claude Sonnet 5.5GUI1 2 3
Claude Opus 5.5GUI1 2 3
DeepSeek V4 FlashCLI1 2 3
Gemini 3.8 FlashCLI1 2 3
Grok 4.7CLI1 2 3
Gemini 3.8 FlashGUI1 2 3
GPT-6 AstraGUI1 2 3
GPT-6.1 SolGUI1 2 3
Gemini 4 ArgonGUI1 2 3
GLM 5CLI1 2 3
Claude Haiku 5.5GUI1 2 3
Grok 4.7GUI1 2 3
Qwen3.8 MaxGUI1 2 3

Task 5

Untangle a client's duplicate records

Claude Opus 5.5CLI1 2 3
GPT-6 AstraCLI1 2 3
Qwen3.8 MaxCLI1 2 3
Claude Haiku 5.5CLI1 2 3
Claude Sonnet 5.5CLI1 2 3
Gemini 4 ArgonCLI1 2 3
GPT-6.1 SolCLI1 2 3
Claude Sonnet 5.5GUI1 2 3
Claude Opus 5.5GUI1 2 3
DeepSeek V4 FlashCLI1 2 3
Gemini 3.8 FlashCLI1 2 3
Grok 4.7CLI1 2 3
Gemini 3.8 FlashGUI1 2 3
GPT-6 AstraGUI1 2 3
GPT-6.1 SolGUI1 2 3
Gemini 4 ArgonGUI1 2 3
GLM 5CLI1 2 3
Claude Haiku 5.5GUI1 2 3
Grok 4.7GUI1 2 3
Qwen3.8 MaxGUI1 2 3

Task 6

Find buyers and launch outreach

Claude Opus 5.5CLI1 2 3
GPT-6 AstraCLI1 2 3
Qwen3.8 MaxCLI1 2 3
Claude Haiku 5.5CLI1 2 3
Claude Sonnet 5.5CLI1 2 3
Gemini 4 ArgonCLI1 2 3
GPT-6.1 SolCLI1 2 3
Claude Sonnet 5.5GUI1 2 3
Claude Opus 5.5GUI1 2 3
DeepSeek V4 FlashCLI1 2 3
Gemini 3.8 FlashCLI1 2 3
Grok 4.7CLI1 2 3
Gemini 3.8 FlashGUI1 2 3
GPT-6 AstraGUI1 2 3
GPT-6.1 SolGUI1 2 3
Gemini 4 ArgonGUI1 2 3
GLM 5CLI1 2 3
Claude Haiku 5.5GUI1 2 3
Grok 4.7GUI1 2 3
Qwen3.8 MaxGUI1 2 3

Task 7

Reconcile what a partner is owed

Claude Opus 5.5CLI1 2 3
GPT-6 AstraCLI1 2 3
Qwen3.8 MaxCLI1 2 3
Claude Haiku 5.5CLI1 2 3
Claude Sonnet 5.5CLI1 2 3
Gemini 4 ArgonCLI1 2 3
GPT-6.1 SolCLI1 2 3
Claude Sonnet 5.5GUI1 2 3
Claude Opus 5.5GUI1 2 3
DeepSeek V4 FlashCLI1 2 3
Gemini 3.8 FlashCLI1 2 3
Grok 4.7CLI1 2 3
Gemini 3.8 FlashGUI1 2 3
GPT-6 AstraGUI1 2 3
GPT-6.1 SolGUI1 2 3
Gemini 4 ArgonGUI1 2 3
GLM 5CLI1 2 3
Claude Haiku 5.5GUI1 2 3
Grok 4.7GUI1 2 3
Qwen3.8 MaxGUI1 2 3

Task 8

Expense recent business trips

Claude Opus 5.5CLI1 2 3
GPT-6 AstraCLI1 2 3
Qwen3.8 MaxCLI1 2 3
Claude Haiku 5.5CLI1 2 3
Claude Sonnet 5.5CLI1 2 3
Gemini 4 ArgonCLI1 2 3
GPT-6.1 SolCLI1 2 3
Claude Sonnet 5.5GUI1 2 3
Claude Opus 5.5GUI1 2 3
DeepSeek V4 FlashCLI1 2 3
Gemini 3.8 FlashCLI1 2 3
Grok 4.7CLI1 2 3
Gemini 3.8 FlashGUI1 2 3
GPT-6 AstraGUI1 2 3
GPT-6.1 SolGUI1 2 3
Gemini 4 ArgonGUI1 2 3
GLM 5CLI1 2 3
Claude Haiku 5.5GUI1 2 3
Grok 4.7GUI1 2 3
Qwen3.8 MaxGUI1 2 3

Task 9

Chase a vendor's missing refund

Claude Opus 5.5CLI1 2 3
GPT-6 AstraCLI1 2 3
Qwen3.8 MaxCLI1 2 3
Claude Haiku 5.5CLI1 2 3
Claude Sonnet 5.5CLI1 2 3
Gemini 4 ArgonCLI1 2 3
GPT-6.1 SolCLI1 2 3
Claude Sonnet 5.5GUI1 2 3
Claude Opus 5.5GUI1 2 3
DeepSeek V4 FlashCLI1 2 3
Gemini 3.8 FlashCLI1 2 3
Grok 4.7CLI1 2 3
Gemini 3.8 FlashGUI1 2 3
GPT-6 AstraGUI1 2 3
GPT-6.1 SolGUI1 2 3
Gemini 4 ArgonGUI1 2 3
GLM 5CLI1 2 3
Claude Haiku 5.5GUI1 2 3
Grok 4.7GUI1 2 3
Qwen3.8 MaxGUI1 2 3

Task 10

Draft a client contract amendment

Claude Opus 5.5CLI1 2 3
GPT-6 AstraCLI1 2 3
Qwen3.8 MaxCLI1 2 3
Claude Haiku 5.5CLI1 2 3
Claude Sonnet 5.5CLI1 2 3
Gemini 4 ArgonCLI1 2 3
GPT-6.1 SolCLI1 2 3
Claude Sonnet 5.5GUI1 2 3
Claude Opus 5.5GUI1 2 3
DeepSeek V4 FlashCLI1 2 3
Gemini 3.8 FlashCLI1 2 3
Grok 4.7CLI1 2 3
Gemini 3.8 FlashGUI1 2 3
GPT-6 AstraGUI1 2 3
GPT-6.1 SolGUI1 2 3
Gemini 4 ArgonGUI1 2 3
GLM 5CLI1 2 3
Claude Haiku 5.5GUI1 2 3
Grok 4.7GUI1 2 3
Qwen3.8 MaxGUI1 2 3