Создана программа, отслеживающая изменения в употреблении слов
Создана программа, отслеживающая изменения в употреблении слов
Ученые Мурманского арктического университета (МАУ) создали компьютерную программу, отслеживающую устаревание и появление новых слов в языке. Разработка позволяет существенно повысить эффективность лингвистических исследований за счет обработки значительных массивов текстовых данных.
Предложенный учеными метод основан на алгоритмах автоматической лемматизации (приведение к начальной форме) и количественного анализа диахронических изменений частотности употребления лексических единиц. Программа анализирует большие объемы текстов, автоматически подсчитывая, как меняется частота употребления каждого слова с течением времени.
Апробация методики была проведена на базе диахронических (разновременных) корпусов, входящих в состав Национального корпуса русского языка. В ходе исследования, охватившего три исторических периода (досоветский, советский и постсоветский), было проанализировано более 250 миллионов слов.
По результатам проведенного анализа были выявлены следующие тенденции:
Количество новых слов в языке не растет, а уменьшается, зато активный словарный запас становится больше, то есть доля часто используемых в повседневной жизни слов возрастает.
В текстах увеличивается доля цифр, что говорит о цифровизации всех сфер общественной жизни;
Обнаружены слова, демонстрирующие устойчивую тенденцию к устареванию и выходу из активного употребления.
В перспективе на основе накопленных данных можно будет строить более точные прогнозы языкового развития и даже обучать искусственный интеллект понимать и моделировать тенденции развития лексики.