EESTI KEELE BENCHMARK
EKI Keeleabi · keeleabi-v1

Kui hästi
oskavad masinad
eesti keelt?

4 keelemudelit lahendasid Eesti Keele Instituudi keeleabi testid — 442 valikvastusega küsimust komadest, tühikutest, võõrsõnadest ja vormimoodustusest.

4 language models answered the Estonian Language Institute's Keeleabi tests — 442 multiple-choice questions on commas, spacing, loanwords and word formation.

442
Küsimust
28
Testi
4
Mudelit
94,6%
Parim tulemus

Edetabel

Uuendatud 2. august 2026, 01:07 · avaldatud kohalikest jooksudest
Koht
Mudel
Õigeid vastuseid
Tulemus
Jooks
1
opus
Claude Code · 418 õiget · 24 viga
94,6%
2
gemini-3.1-pro-preview
Google · 411 õiget · 31 viga
93,0%
3
gemini-3.6-flash
Google · 381 õiget · 61 viga
86,2%
4
gemini-3.5-flash-lite
Google · 374 õiget · 68 viga
84,6%

Mida testitakse

Küsimused pärinevad EKI keeleabi lehelt: 28 nummerdatud testi, igas 2–4 vastusevarianti ja üks ametlik õige vastus.

Scored by exact letter or option-text match. No judge model, no partial credit.

komadtühikudvormimoodustusvõõrsõnade õigekiriomasõnade õigekirilühendamineetteütlus
Tulemus lühidalt
Ka parim mudel eksib iga kaheksateistkümnenda küsimuse peal.
Even the strongest model gets one in every 18 Estonian grammar questions wrong — 24 errors out of 442.