Национальному корпусу русского языка — 20 лет! По этому поводу мы приготовили для вас тест по уникальным словам русских писателей. Пройдите его — и узнаете, в чьих текстах раздавалось «хохотание» и происходило «требоисправление».
Словари языка писателей существовали и до цифровой эпохи. Например, «Словарь языка Пушкина» содержит все слова (более 20 тысяч!), когда-либо использованные поэтом. Он создавался почти век и собирался вручную. Сегодня есть электронные корпуса. На сайте Национального корпуса русского языка можно сравнить тексты Пушкина с произведениями других авторов и увидеть, что особенного было в языке поэта.
Cлова, которые встречаются только у одного автора, можно найти в большом массиве текстов методом извлечения ключевых слов TF-IDF. Если эти слова встречаются редко, человек легко может их пропустить, а вот компьютерный алгоритм заметит. Филолог Борис Орехов использовал этот статистический метод на материале текстов русских классиков из НКРЯ. Он нашёл редкие слова, характерные только для определённого писателя.
Проверьте, сможете ли вы узнать классика всего по одному авторскому словечку! Многие из слов прижились, а смысл некоторых не так очевиден.
Документ вводит юридическое определение искусственного интеллекта, а также суверенной и национальной языковых моделей. Им придется проходить проверку на соответствие традиционным…
Генеративная поэзия появилась задолго до ChatGPT. Компьютеры генерируют стихи уже больше 60 лет, а сама мечта заставить машину рифмовать —…
Как специалисты по машинному обучению наводят порядок при работе с большими корпусами? Что нужно сделать, чтобы эксперимент был воспроизводимым, качество…