Исследование методов лингвистического анализа для выявления и извлечения текстовых данных на казахском языке.

Авторы:

Oralbekova, D. (Первый автор)

Akhmediyarova, A. (Соавтор)

Kassymova D. T. (Соавтор)

Alibiyeva, Z. (Соавтор)

Издательство:

РОО «Национальная академия наук Республики Казахстан»

Дата издания

27.09.2025

На каком языке издана

Русский язык

ISSN

1991-346X

Область исследования

Инжиниринг и технологии

Аннотация (краткое описание)

В данной статье рассматриваются современные методы лингвистического анализа, применяемые для обработки казахского языка, с целью автоматического выявления и извлечения текстовой информации. Особое внимание уделяется морфологическому, синтаксическому и семантическому анализу, а также их адаптации к особенностям казахского языка, который относится к агглютинативным языкам и характеризуется свободным порядком слов. Это создаёт определённые трудности при применении традиционных подходов, разработанных для языков с фиксированным порядком слов, таких как английский. В исследовательской работе анализируются современные подходы, включая методы на основе конечных автоматов, статистические модели, глубокие нейронные сети и трансформерные архитектуры. Рассматриваются существующие программные инструменты, такие как HFST, Apertium, KazNERD, BeeBERT и Kaz-RoBERTa и другие модели, специально адаптированные для языков со сложной морфологической структурой, а также их потенциал и ограничения в контексте обработки казахских текстов. Особое внимание уделяется вопросам точности морфологического анализа, устойчивости моделей к полисемии, а также способности справляться с редкими и сложными словоформами. Также обсуждаются практические области применения современных NLP-решений для казахского языка — в системах машинного перевода, автоматической классификации текстов, извлечении именованных сущностей и анализе тональности. Представлены конкретные примеры применения моделей в образовательной и юридической сферах. В заключении даны рекомендации по созданию национальных текстовых корпусов, развитию инструментов морфологического анализа, а также дальнейшему исследованию интеграции различных методологических подходов для повышения качества обработки казахского языка в задачах NLP.

Соответствие целям устойчивого развития (ЦУР)

4. 

Качественное образование

9. 

Индустриализация, инновации и инфраструктура

URI

https://journals.nauka-nanrk.kz/physics-mathematics/article/view/7628/5154

DOI

10.32014/2025.2518-1726.372

Тип публикаций

Статья

Данный документ располагается в коллекциях

Публикации в КОКСОН

Файлы документа

Документ не загружен