Un système automatique d'identification du langage gestuel est en cours de développement à l'UPV/EHU.

2022/11/29 Agirre Ruiz de Arkaute, Aitziber - Elhuyar Zientzia Iturria: Elhuyar aldizkaria

• Teknologia
• Berdintasuna
• Adimen artifiziala

Un groupe informatique de l'UPV/EHU travaille sur une recherche qui peut apporter une contribution importante du point de vue de l'inclusion: un système automatique d'identification du langage des signes est en cours de développement en utilisant les points de référence des mains tirées des vidéos. En fait, 70 millions de personnes dans le monde malentendant utilisent le langage des signes pour communiquer, mais comme le reste ne connaît pas le langage des signes, elles ont du mal à communiquer au quotidien.

Un grand effort technologique a été accompli ces dernières années dans le domaine de la connaissance automatique des langues orales, mais les 300 langues du monde sont exclues. À cette occasion, l'équipe de professeur de science de l'informatique et de l'intelligence artificielle de l'UPV/EHU Basilio Sierra développe un système d'identification de la langue argentine.

Structures linguistiques et caractéristiques des langues d'origine

Dans le nouveau système, chaque image vidéo reprend les points de référence de la main, génère des groupes d'arbres, identifie et classe ses caractéristiques par des algorithmes mathématiques. Les chercheurs ont dû tenir compte des structures linguistiques et des caractéristiques propres aux langues minoritaires. Par conséquent, en plus de la position et du mouvement de la main, ils doivent détecter l'orientation, car un geste peut avoir une signification différente selon l'orientation.

D'autre part, ils ont également dû tenir compte de l'orthographe numérique, car il y a des mots qui sont délimités (si le signe du mot n'est pas connu, pour indiquer des noms propres, ou pour mettre en évidence un mot, entre autres). Selon l'origine de la langue des signes, l'orthographe numérique peut prendre une grande importance: dans le langage gestuel américain, par exemple, elle peut occuper entre 12 et 35% de la conversation, mais en italien, elle n'est utilisée que pour exprimer des mots étrangers.

Les chercheurs admettent que pour comprendre le langage gestuel, il est indispensable de recueillir non seulement les gestes des mains, mais aussi les gestes du visage. Par exemple, le visage est essentiel pour les prières de la région. Et ils soulignent que, pour le moment, le nouveau système a été basé sur les gestes des mains. Mais ils disent que les résultats sont très bons.

Des tentatives antérieures ont été faites, mais la plupart demandaient des méthodes intrusives, comme l'utilisation de gants électroniques par le locuteur. Le nouveau système n'en a pas besoin. L'étude a été publiée dans le magazine Plos One.