Институт эстонского языка протестировал искусственный интеллект: Gemini правильно оценил значения слов в 89% случаев

Эксперимент Института эстонского языка показал, что большие языковые модели в большинстве случаев способны различать нейтральное, разговорное и пренебрежительное употребление слов. Лучший результат показал Google Gemini — его оценки подошли бы для словаря почти в 89% случаев. Результаты представила Лидия Рисберг.

Институт эстонского языка провёл эксперимент, чтобы выяснить, насколько хорошо большие языковые модели справляются с разграничением различных способов употребления слов — нейтрального, разговорного и пренебрежительного. Результаты оказались неожиданно обнадёживающими.

Наилучший результат показала модель Gemini: её оценки подошли бы для использования в словарях примерно в 89% случаев. Это свидетельствует о том, что искусственный интеллект способен выявлять определённые языковые нюансы с весьма высокой точностью. Результаты представила сотрудница Института эстонского языка Лидия Рисберг в рамках серии языковых публикаций института.

Результаты эксперимента особенно важны с точки зрения лексикографии: лингвисты и составители словарей всё активнее ищут способы применять инструменты искусственного интеллекта для описания языка. Если языковые модели смогут надёжно определять стилистический регистр слова, это способно ускорить создание и обновление лексических баз данных.

Вместе с тем следует учитывать, что даже точность в 89% означает: каждая десятая оценка может оказаться ошибочной — а это ограничивает степень, в которой на искусственный интеллект можно полностью полагаться при лингвистических решениях. Особенности эстонского языка и меньший объём обучающих данных по сравнению с крупными мировыми языками по-прежнему остаются серьёзным вызовом для всех языковых моделей.