DeepSeek-R1

Open-source рассуждающая языковая модель на основе DeepSeek-V3.

DeepSeek-R1 представляет собой рассуждающую модель, способную выстраивать развернутые логические цепочки для формирования более качественных итоговых ответов.

В основе DeepSeek-R1 лежит модель DeepSeek-V3 с 671 млрд параметров. Благодаря архитектуре Mixture of Experts, при генерации ответа используется только 5,5% от общего числа параметров, причем их набор динамически подбирается в зависимости от конкретного пользовательского запроса.

Обучение модели процессу рассуждений проводилось методом обучения с подкреплением, где для оценки правильности ответов использовались формальные критерии проверки.

DeepSeek-R1 стала первой рассуждающей моделью, методология обучения которой была опубликована в открытом доступе.

Примеры использования

Генерация ответов на сложные запросы, например, решение математических задач.

Нововведения

1. Использование методов обучения с подкреплением для обучения процессу рассуждения.
2. Использование формальных верификаторов для подсчета награды (reward).

Количество параметров: 671B всего, 37B активных.