Технический отчёт DeepSeek-V4.1-Flash — часть 2/2 Продолжаем разбирать техрепорт DeepSeek-V4.1-Flash. Сегодня поговорим об архитектуре, а ещё речь пойдёт об обучении. В SWA прогоняется не весь контекст, а только последние 128 токенов для построения начального…
Душный NLP
频道Разборы свежих статей от NLP-специалистов Яндекса. Подробно, полезно, с душ(нот)ой. Вопросы и предложения > @yandex_ml_brand
互动与广告
近 30 天帖子聚合
- 平均反应
- 28
- 平均评论
- 1
- 平均转发
- 37.5
- 广告帖子(30 天)
- 0
- 广告占比
- 0.0%
- 被提及(30 天)
- 2
榜单位置
各窗口最近一次榜单
暂未进入榜单
频道进入榜单池并满足数据条件后会显示名次。
最近帖子
按发布时间倒序,最多展示 8 条
Технический отчёт DeepSeek-V4.1-Flash — часть 1/2 Разберём технический отчёт DeepSeek-V4.1-Flash. В первой части обсудим архитектуру модели. Главное достижение авторов — экстремальное сжатие KV-кеша. При стандартном для frontier-моделей максимальном контексте…
Дистилляция DeepSeek-R1 Сегодня разберём, как DeepSeek-R1 на 671B параметров дистиллировали в модель на 32 миллиарда параметров. Зачем вообще это нужно? Вышедшая в сентябре 2024 года o1 доказала, что test-time scaling работает — если дать модели подумать, то о…
(无文本内容)
(无文本内容)
Loop the Loopies! Сегодня обсудим статью, которая посвящена моделям Loopies, построенным на шеринге параметров между разными слоями. Обычно у трансформерных моделей и свёрточных нейросетей отдельные параметры на каждом блоке, благодаря чему объём вычислений и…
Context-1 — поисковый агент, который умеет избавляться от лишнего. Часть 2/2 Продолжаем изучать агент Context-1. В первой части мы рассмотрели, что это вообще такое и какие задачи перед собой ставили авторы. А в этой части поговорим о метриках и обучении. Для…
(无文本内容)
相似频道
基于 Telegram 官方相似频道推荐
暂无相似频道
等待相似频道抓取任务运行。