Как обучают казахскому языку на основе искусственного интеллекта

Photo by Arthur Lambillotte on Unsplash

В этом году в модель добавят функцию голосового общения, и разработают удобный интерфейс для пользователей

Национальный научно-практический центр «Тіл-Қазына» при Комитете языковой политики Министерства науки и высшего образования представил первые результаты «Модели обучения казахскому языку «Tilqazyna» на основе искусственного интеллекта, - передает Almaty.tv со ссылкой на пресс-службу ведомства.

На данный момент модель способна выполнять задачи в таких областях казахского языка, как лексика, морфология, семантика и др. В частности, она может генерировать текст на казахском языке, создавать перифразы, работать с контекстом, сокращать тексты, исправлять грамматические и пунктуационные ошибки, раскрывать значения фразеологизмов, а также переводить термины.

Эта отраслевая LLM модель уже загружена на платформу Hugging Face и доступна всем пользователям. Использование данной модели позволит разрабатывать множество IT-продуктов на казахском языке с помощью искусственного интеллекта. Это соответствует Посланию Президента Касым-Жомарта Токаева, в котором подчеркивалась важность превращения Казахстана в страну, широко использующую искусственный интеллект и развивающую цифровые технологии.

При разработке модели эксперты центра «Тіл-Қазына» применяли алгоритмы обработки естественного языка и целенаправленно анализировали большие объемы данных. В частности:

для проверки слов использовались 684 876 лексических единиц;
для улучшения системы проверки словосочетаний было использовано 20 212 правильных и ошибочных вариантов;
для исправления пунктуационных ошибок проанализировано 5 558 текстов;
для коррекции структуры текста было подготовлено 3 000 правильных и неправильных версий текстов;
для функции сокращения предложений создана база из 6 000 полных и сокращенных предложений;
для функции перифраза собрано 14 790 синонимических рядов;
общий объем обработанного корпуса казахского языка составил 35 ГБ.

В этом году в модель будет добавлена функция голосового общения, и будет разработан удобный интерфейс для пользователей. Также проект будет способен обучать казахскому языку на уровнях A1, A2 и B1, а к 2026 году – на уровнях B2 и C1.

Конечным результатом проекта станет голосовой помощник, способный создавать индивидуальную программу обучения казахскому языку в зависимости от уровня знания языка пользователя. Он будет представлен в виде мобильного приложения для систем IOS и Android.