🐎 YakutEval — офлайн LLM лидерборд на якутском (саха) языке

Бенчмарк для якутского: модели оцениваются автоматически и воспроизводимо на замороженном наборе верифицируемых задач. Space модели не запускает — вы прогоняете оценку локально и присылаете JSON с результатами.

Ранжирование — Elo (Bradley-Terry по задачам): для каждой пары моделей на каждой задаче побеждает та, что набрала больше; рейтинг сводит эти попарные исходы. Это отражает, кто кого обыгрывает, а не просто среднее. (Не human-арена — Elo выводится из верифицируемого бенчмарка.)

Первый открытый бенчмарк LLM для якутского — низкоресурсного тюркского языка.


1	yakut-grpo-math	1055	21.7	42	18	86	2	0	0	95.3	234.378


1	yakut-grpo-math	1055	21.7	42	18	0	2	0	90	9.024
2	yakut-sft-math	1054	19.9	28	16	0	0	5	90	9.062
3	yakut-sft-tools	1012	26.7	0	0	86	0	5	96	8.431
4	qwen3-1.7b-base	976	13.7	2	24	0	0	0	70	234.378
5	yakut-cpt	904	13.6	0	0	0	0	0	95.3	8.108

Задачи

math — Математика — GSM8K, переведённый на якутский (ответ верифицируется числом).
physics — Физика — задачи на якутском (кинематика, сила, работа), числовой ответ.
tools — Tool-calling — якутский запрос → верный инструмент + аргументы.
cloze — Cloze — угадать пропущенное слово в якутском предложении.
grammar — Грамматика — MC по падежам/гармонии гласных/формам глагола.
vocab — Лексика — MC по значению слова / синонимам (знание языка).
fluency — Fluency — доля якутской кириллицы/букв в свободной генерации.
ppl — Perplexity — на held-out якутском тексте (меньше = лучше).
overall — Среднее по 7 задачам (без ppl).