AI[ex]Time

Создавать RL/eval среды в классическом SWE становится все сложнее и сложнее, нормальные модели решают практически все 👆 В ближайшее время поделимся некоторыми свежими релизами

Из сессий с агентами получаются готовые evals Каждый раз, когда выбираю сетап для кодового агента, я немного гадаю. Лучше ли эта новая модель? Помогает ли больше reasoning? Помогают ли эти скиллы? Поэтому из ~1270 своих сессий в Claude Code, Codex и Pi я собра…

Еще немного интересных наблюдений из RL для MoE. В нем есть одна проблема, которая делает обучение гораздо более склонным к нестабильностям. В любом современном RL есть train-inference mismatch, обычно вызванный двумя вещами: 1) из-за асинхронности инференс от…

Какое-то время назад открыл для себя, насколько CISPO робастнее к выбору гиперпараметров по сравнению с DAPO и насколько он по дефолту работает лучше в async режиме. На async в 64 шага дефолтный DAPO деградирует безумно сильно, да и на 16 уже заметно Для Qwen3…

На следующей неделе я буду на ICML, в том числе презентовать с командой постеры по нескольким принятым работам: LK Losses и SWE-rebench V2. Приходите к нам на стойку Nebius, на постеры или просто пишите, если хотите выпить кофе и познакомиться В этот раз мы ре…

Только успели выкатить мини-релиз SWE-rebench с Gemini 3.5 Flash, MiniMax M3 и Junie (теперь на Opus 4.8 high, кстати, топ1 model-harness результат этого цикла: 61.6% resolved / 72.7% pass@5), как сразу прилетел Fable Решил написать небольшой обзор планов на б…

По горячим следам добавили Opus 4.8 xhigh, картина теперь такая

SWE-rebench давно не обновлялся. Все потому, что каждый месяц прогонять новые модели, да ещё усложнять задачи, контролировать качество, детектить читинг со стороны моделей становится всё сложнее и сложнее. Но наконец сделали первичный релиз сразу за 2.5 месяца…