22 ноября 1801 года родился Владимир Даль — создатель знаменитого словаря, а до того писатель, этнограф, моряк и профессиональный хирург, из записок которого мы знаем подробности смерти Пушкина. Ко дню рождения Даля мы подготовили подборку материалов о русском языке, его эволюции и его изучении.
1. Национальный корпус русского языка — электронное собрание текстов на русском языке объемом в сотни миллионов (!) слов. Это самый фундаментальный цифровой проект по изучению и документированию русского языка разных эпох. Рассказываем, кто и как использует корпус.
2. Если в таких языках, как французский, финский или чешский дела с ударением обстоят довольно легко, то с русским разобраться не так и просто. В праславянском языке ударение было свободным, подвижным и музыкальным, но сегодня у нас целая система сложных правил, которая сводит с ума иностранцев и компьютерные алгоритмы. От праславянской акцентуации к нейросетевым программам автоматической расстановки ударений.
3. Всего двадцать лет назад по запросу «как расчесать длинношерстную собаку» поисковые алгоритмы могли не выдать вам нужной статьи: они просто не понимали, что «собаку» и «собака» это одно и то же слово в разных падежах. Чтобы поисковый алгоритм понимал такие запросы, он должен уметь приводить слова к начальной форме — нормализовывать. Рассказываем, как благодаря труду выдающегося лингвиста появились первые морфологические анализаторы для русского языка.
4. Под влиянием культурных и социальных условий наш язык трансформируется. В эпоху Интернета эти изменения происходят гораздо чаще, и принять их бывает трудно. Разбираемся, достоин ли «великий и могучий» русский язык называться таковым после языка падонкафф, где грань между «лол» и кек и почему нельзя повышать шрифт на кого попало.
5. Люди охотно делятся в соцсетях результатами теста своего словарного запаса. Разбираемся, как устроен этот тест и что позволяет ему после нескольких вопросов утверждать, что ваш словарный запас равен 92000 слов.
Документ вводит юридическое определение искусственного интеллекта, а также суверенной и национальной языковых моделей. Им придется проходить проверку на соответствие традиционным…
Генеративная поэзия появилась задолго до ChatGPT. Компьютеры генерируют стихи уже больше 60 лет, а сама мечта заставить машину рифмовать —…
Как специалисты по машинному обучению наводят порядок при работе с большими корпусами? Что нужно сделать, чтобы эксперимент был воспроизводимым, качество…