Se está desarrollando en la UPV/EHU un sistema automático de identificación del lenguaje gestual

2022/11/29 Agirre Ruiz de Arkaute, Aitziber - Elhuyar Zientzia Iturria: Elhuyar aldizkaria

• Teknologia
• Berdintasuna
• Adimen artifiziala

Un grupo informático de la UPV/EHU trabaja en una investigación que puede aportar mucho desde el punto de vista de la inclusión: se está desarrollando un sistema automático de identificación del lenguaje de signos utilizando los puntos de referencia de las manos extraídas de los vídeos. De hecho, 70 millones de personas en el mundo con discapacidad auditiva utilizan el lenguaje de signos para comunicarse, pero como el resto no conoce el lenguaje de signos, sufren problemas para comunicarse en el día a día.

En los últimos años se ha realizado un gran esfuerzo tecnológico en el campo del conocimiento automático de las lenguas orales, pero quedan excluidas las 300 lenguas que se encuentran en el mundo. En esta ocasión, el equipo de catedrático de Ciencia de la Computación e Inteligencia Artificial de la UPV/EHU Basilio Sierra está desarrollando un sistema de identificación de la lengua argentina.

Estructuras lingüísticas y características de las lenguas de origen

En el nuevo sistema, en cada fotograma de vídeo se recogen los puntos de referencia de la mano, se generan los grupos de árboles, se identifican y clasifican sus características mediante algoritmos matemáticos. Los investigadores han tenido que tener en cuenta las estructuras lingüísticas y las características propias de las lenguas minoritarias. Por ello, además de la posición y movimiento de la mano, deben detectar la orientación, ya que un gesto puede tener un significado diferente según la orientación.

Por otro lado, también han tenido que tener en cuenta la ortografía digital, ya que hay palabras que se delatan (si no se conoce el signo de la palabra, para indicar nombres propios, o para resaltar una palabra, entre otras). Según el origen de la lengua de signos, la ortografía digital puede tomar una gran importancia: en el lenguaje gestual americano, por ejemplo, puede ocupar entre un 12 y un 35% de la conversación, pero en el italiano sólo se utiliza para expresar palabras extranjeras.

Los investigadores admiten que para comprender el lenguaje gestual es imprescindible recoger no sólo los gestos de las manos sino también los gestos de la cara. Por ejemplo, el rostro es fundamental a la hora de oraciones de la zona. Y señalan que, de momento, el nuevo sistema se ha basado en los gestos de las manos. Pero dicen que los resultados son muy buenos.

Se han hecho algunos intentos previos, pero la mayoría pedían métodos intrusivos, como el uso de guantes electrónicos por parte del hablante. El nuevo sistema no lo necesita. El estudio ha sido publicado en la revista Plos One.