한국 수화 인식을 위한 딥러닝 알고리즘 기반 시스템 개발 "KSLRS "

본 연구 프로젝트는 고급 딥러닝 기술, 특히 양방향 장기 단기 메모리(Bi-LSTM) 네트워크를 활용한 새로운 한국 수화 인식 시스템(KSLRS)을 제안한다.
14 Downloads
Updated 31 Jul 2023

View License

제목: 딥러닝 기반의 한국 수화 인식 시스템
===================== 초록 =============================
본 연구 프로젝트는 고급 딥러닝 기술, 특히 양방향 장기 단기 메모리(Bi-LSTM) 네트워크를 활용한 새로운 한국 수화 인식 시스템(KSLRS)을 제안한다. 이 시스템은 청각 장애 커뮤니티와 수화에 익숙하지 않은 사람들 사이의 의사소통을 용이하게 하고 개선함으로써 사회적 포괄성에 기여하는 것을 목표로 한다. 개발된 시스템은 제스처 인식이 제기하는 복잡한 도전과제, 즉 제스처 수행에 있어서의 인구통계학적 차이, 입력 프레임의 해상도가 낮음, 그리고 배경 잡음의 존재를 해결한다. 견고한 특징 추출 메커니즘과 데이터 증강 기법을 활용하여, 시스템은 인구통계학적 편향을 효과적으로 완화한다. 또한, Bi-LSTM 네트워크는 과거와 미래의 시퀀스 맥락을 모두 수용하도록 설계되었으며, 시계열 제스처 분류에 이상적이다. 시스템은 5-겹 한 명을 빼고 교차 검증 방법을 사용하여 테스트되며, 이는 별도의 참가자 데이터셋에 대한 반복적인 훈련 및 테스트를 포함하며, 평균 정확도는 시스템의 견고성을 나타낸다. 또한, 혼동 행렬을 활용하여 모델의 성능을 평가하며, 15가지 특정 제스처를 분류하는 데 있어서의 장점과 개선의 여지를 더 깊게 이해한다. 연구 커뮤니티와 필요한 사람들에게 기여하기 위해 제안된 KSLRS의 전체 코드베이스는 MATLAB 파일 교환 플랫폼에서 무료로 사용하고 더욱 개선할 수 있도록 공개된다. 이 연구는 궁극적으로 청각 장애를 가진 사람들과 그렇지 않은 사람들 사이에서 이해와 상호작용을 촉진하여 의사소통 장벽이 줄어드는 세상을 만드는 데 이러한 수화 인식의 발전이 도움이 되기를 바란다.
==========================================================

Cite As

Oleksandr Yuhai (2024). 한국 수화 인식을 위한 딥러닝 알고리즘 기반 시스템 개발 "KSLRS " (https://www.mathworks.com/matlabcentral/fileexchange/132962-kslrs), MATLAB Central File Exchange. Retrieved .

MATLAB Release Compatibility
Created with R2023a
Compatible with any release
Platform Compatibility
Windows macOS Linux
Tags Add Tags

Community Treasure Hunt

Find the treasures in MATLAB Central and discover how the community can help you!

Start Hunting!

ModifiedOpenPose/RawOpenPose

Version Published Release Notes
0.0.0