ResNet

ResNet (Residual Network) – модель, использующая идею residual learning. В рамках этой идеи к выходу каждого слоя прибавляется его вход, таким образом слой выучивает не полноценное новое преобразование входа, а добавочное (остаточное – residual) преобразование. «Прокидывание» входа к выходу слоя (skip connection) существенно упрощает процедуру обучения (в частности решает проблему затухания градиентов) и тем самым позволяет обучать очень глубокие нейросети. Идея residual learning используется практически во всех современных нейронных сетях.

Примеры использования:

Идеи архитектуры ResNet используются практически во всех современных нейросетях. 

Нововведения

Представлен механиз skip connection – прибавление входа к выходу слоя. Благодаря это механизму задача оптимизации, решаемая во время обучения, стало значительно проще. Таким образом стало возможно обучать очень глубокие нейросети

Количество параметров: 23M-60M