Авторы:
Издательство:
Дата издания
27.03.2025На каком языке издана
ISSN
1609-1817Область исследования
Аннотация (краткое описание)
В данной работе рассматривался распознавание именованных сущностей в казахском языке с использованием трансформерных моделей. Распознавание именованных сущностей (NER) - это раздел обработки естественного языка, который автоматически идентифицирует именованные сущности в текстовых данных и классифицирует их по предопределённым категориям. В ходе анализа предыдущих исследований было отмечено, что по данной теме на казахском языке требуется ещё много исследований. В качестве текстовых данных были взяты научные статьи в области информационных технологий, а при подготовке набора данных имена людей, названия учреждений, местоположения, а также термины в данной области были размечены как именованные сущности в формате IOB2. Для распознавания именованных сущностей рассматривались трансформерная модель библиотеки spaCy и большая языковая модель Llama. Для решения поставленной задачи были полностью описаны внутренние структурные блоки обеих моделей, дано формальное описание реализации NER в этих моделях и выполнена их тонкая настройка. Модели были обучены на подготовленном наборе данных и проведены различные тестирования. Полученные результаты сопоставлены с показателями других исследований и представлен сравнительный анализ.DOI
10.52167/1609-1817-2025-137-2-296-309Тип публикаций
Данный документ располагается в коллекциях
Публикации в КОКСОН
Файлы документа
Документ не загружен