Третье поколение генеративных языковых моделей GPТ. Значительно больше GPT-2, умеет решать новые задачи без обучения
Год выпуска: 2021
Описание
Третье поколеник языковых моделей GPT (Generative Pre-training Transformer). Ключевые изменения – увеличение размера модели и размера обучающей выборки. За счёт этого модель ещё лучше решает задачи без дообучения, либо с дообучением на очень ограниченном количестве данных.
Примеры использования:
Основа для решения большиства задач автоматической обработки языка
Нововведения
Количество параметров: 175B
Документ вводит юридическое определение искусственного интеллекта, а также суверенной и национальной языковых моделей. Им придется проходить проверку на соответствие традиционным…
Генеративная поэзия появилась задолго до ChatGPT. Компьютеры генерируют стихи уже больше 60 лет, а сама мечта заставить машину рифмовать —…
Как специалисты по машинному обучению наводят порядок при работе с большими корпусами? Что нужно сделать, чтобы эксперимент был воспроизводимым, качество…