Языковая модель, позволяющая получать векторные представления слова, учитывающие его контекст
Год выпуска: 2018
Описание
Языковая модель (Embeddings from Language Model), которая позволяет извлекать контекстуализированные векторные представления слов. В отличие от Word2Vec и GloVe вектор слова зависит от контекста, в который оно помещено. Так, например, векторы слова «газ» в предложении «Газ доставляется по трубе» и в предложении «Я не люблю воду без газа», полученные ELMO, будут отличаться друг от друга, а векторы Word2vec будут идентичными.
Примеры использования:
Основа для решения большиства задач автоматической обработки языка
Нововведения
Векторные представления учитывают контекст. ELMO стала первой в своём роде универсальной языковой моделью, которую относительно легко дообучить на конкретную задачу.
Количество параметров: 13.6M — 93.6M
Область: NLP
Документ вводит юридическое определение искусственного интеллекта, а также суверенной и национальной языковых моделей. Им придется проходить проверку на соответствие традиционным…
Генеративная поэзия появилась задолго до ChatGPT. Компьютеры генерируют стихи уже больше 60 лет, а сама мечта заставить машину рифмовать —…
Как специалисты по машинному обучению наводят порядок при работе с большими корпусами? Что нужно сделать, чтобы эксперимент был воспроизводимым, качество…