Reconnaissance du langage des signes par apprentissage automatique en temps réel

2023 Informatique

Contexte général : La communication est essentielle pour tous, mais les personnes sourdes ou malentendantes sont souvent confrontées à des difficultés de communication. La reconnaissance de la langue des signes peut aider à surmonter ces barrières, mais il est souvent difficile de trouver des interprètes qualifiés. Dans ce contexte, la reconnaissance automatique de la langue des signes en temps réel peut offrir une solution prometteuse.
Objectif : L’objectif principal de ce projet est de développer un système de reconnaissance automatique de la langue des signes en temps réel en utilisant du matériel existant, tel qu’une webcam standard.
Méthodologie :
- Extraire les points clés holistiques du MediaPipe
- Prétraitement des données
- Construire un modèle de langue des signes à l’aide d’une détection d’action alimentée par des couches LSTM
- Prédire la langue des signes en temps réel à l’aide de séquences vidéo
Résultats : Nous avons réalisé des tests préliminaires avec un petit ensemble de données et avons obtenu des résultats encourageants. Le système a réussi à reconnaître la langue des signes avec une précision de 85 %.
Conclusion : Ce projet de reconnaissance automatique de la langue des signes en temps réel a permis d’explorer les possibilités offertes par les technologies de l’IA pour faciliter la communication pour les personnes sourdes ou malentendantes. Le modèle de détection d’action basé sur les points clés holistiques a été entraîné sur un ensemble de données annotées collectées à partir de vidéos de personnes utilisant la langue des signes dans différents contextes. Les résultats obtenus ont montré une précision prometteuse dans la reconnaissance des gestes de la langue des signes. Ce projet pourrait être une base pour d’autres recherches dans le domaine de la reconnaissance de la langue des signes et contribuer à faciliter la communication pour les personnes sourdes ou malentendantes.
Perspectives futures :
- Amélioration de la précision : Bien que le modèle de reconnaissance de la langue des signes fonctionne bien, il y a toujours de la place pour l’amélioration de la précision. Nous pouvons envisager d’ajouter plus de données d’entraînement, d’explorer des architectures de réseau plus avancées ou d’ajouter des techniques de régularisation pour améliorer les performances.
- L’intégration de NLP (Natural Language Processing) dans notre projet de reconnaissance de la langue des signes pourrait être une perspective intéressante pour améliorer la précision et la performance de notre modèle. Cela permettrait de mieux comprendre la structure grammaticale des phrases en langue des signes et de traduire plus facilement les mouvements de la main et du corps en texte.
- Enfin, nous pouvons également envisager d’appliquer notre modèle de reconnaissance de la langue des signes à d’autres domaines, tels que la surveillance de la sécurité ou la détection de fraudes, où la reconnaissance des mouvements peut être utilisée pour identifier les comportements suspects.