Авторы:
Издательство:
Дата издания
02.03.2026На каком языке издана
ISSN
1991-346XОбласть исследования
Аннотация (краткое описание)
Бұл зерттеуде заманауи жасанды интеллект әдістеріне негізделген ымдау тілін тануға арналған жаңа кешенді жүйе ұсынылады. Жүйе Transformer архитектурасына негізделген интеллектуалды декодерді қолдана отырып, жоғары дәлдікті уақыттық конволюциялық желіні (Temporal Convolutional Network, TCN) кодтау арқылы визуалды ақпаратты мәтіндік және семантикалық құрылымдармен тиімді үйлестіре алады. Ұсынылған жүйе күрделі қозғалыс бейнелерін тікелей мәтінге түрлендіреді. Бұл үдеріс барысында уақыт бойынша өзгеретін қозғалыстың динамикалық ағымын, сондай-ақ бет әлпеті мен қол қимылдарының кеңістіктік орналасуын дәл анықтайды. Бұл мақсатқа жету үшін MediaPipe технологиясы пайдаланылды. Аталған технология әрбір бейнекадрдан адам денесінің 3D бағытталған антропометриялық деректерін бөліп алып, оларды модельдің тиімді жұмыс істеуіне қажетті форматта өңдейді. Ұсынылған архитектураның практикалық тиімділігі мен есептеу мүмкіндіктері арнайы әзірленген қазақ-орыс ымдау тілі (Kazakh-Russian Sign Language, KRSL) деректер жиынтығында жан-жақты тексерілді. Нәтижесінде нақты өмірлік міндеттерде жоғары дәлдік пен сенімділік көрсеткіштері қамтамасыз етілді. TCN негізіндегі ұсынылған KRSL-2025 моделі үлкен көлемдегі деректер жиынтығында ымдауды мәтінге тиімді түрлендіріп, оқыту және валидация кезеңдерінде тұрақты түрде жоғары нәтижелер көрсетті. Зерттеу нәтижелері бұл жұмыстың есту және сөйлеу қабілеті бұзылған адамдардың қоғамда өзара қарым-қатынас жасауына мүмкіндік беретін цифрлық коммуникация технологияларын дамытуға елеулі үлес қосатынын көрсетеді. Сонымен қатар, бұл тәсіл көптілді қолдауды қамтамасыз ететін және әлеуметтік байланыстарды нығайтатын мобильді қосымшаларды дамытуға ықпал етеді. Бұдан бөлек, ұсынылған интеллектуалды жүйе әртүрлі дереккөздерге тез бейімделе алады, нақты уақыт режимінде кідіріссіз жұмыс істейді және болашақта ресурстары шектеулі басқа да ымдау тілдері үшін қолданылуы мүмкін. Осы тұрғыдан алғанда, бұл зерттеу ақпараттық қоғамдағы қолжетімділік кедергілерін еңсеруге бағытталған маңызды қадам болып табылады.DOI
10.32014/2026.2518-1726.422Тип публикаций
Данный документ располагается в коллекциях
Публикации в КОКСОН
Файлы документа
---------mediapipe (3).pdf