Está a desenvolverse na UPV/EHU un sistema automático de identificación da linguaxe xestual

2022/11/29 Agirre Ruiz de Arkaute, Aitziber - Elhuyar Zientzia Iturria: Elhuyar aldizkaria

• Teknologia
• Berdintasuna
• Adimen artifiziala

Un grupo informático da UPV/EHU traballa nunha investigación que pode achegar moito desde o punto de vista da inclusión: está a desenvolverse un sistema automático de identificación da linguaxe de signos utilizando os puntos de referencia das mans extraídas dos vídeos. De feito, 70 millóns de persoas no mundo con discapacidade auditiva utilizan a linguaxe de signos para comunicarse, pero como o resto non coñece a linguaxe de signos, sofren problemas para comunicarse no día a día.

Nos últimos anos realizouse un gran esforzo tecnolóxico no campo do coñecemento automático das linguas orais, pero quedan excluídas as 300 linguas que se atopan no mundo. Nesta ocasión, o equipo de catedrático de Ciencia da Computación e Intelixencia Artificial da UPV/EHU Basilio Sierra está a desenvolver un sistema de identificación da lingua arxentina.

Estruturas lingüísticas e características das linguas de orixe

No novo sistema, en cada fotograma de vídeo recóllense os puntos de referencia da man, xéranse os grupos de árbores, identifícanse e clasifican as súas características mediante algoritmos matemáticos. Os investigadores tiveron que ter en conta as estruturas lingüísticas e as características propias das linguas minoritarias. Por iso, ademais da posición e movemento da man, deben detectar a orientación, xa que un xesto pode ter un significado diferente segundo a orientación.

Doutra banda, tamén tiveron que ter en conta a ortografía dixital, xa que hai palabras que se delatan (si non se coñece o signo da palabra, para indicar nomes propios, ou para resaltar unha palabra, entre outras). Segundo a orixe da lingua de signos, a ortografía dixital pode tomar unha gran importancia: na linguaxe xestual americano, por exemplo, pode ocupar entre un 12 e un 35% da conversación, pero no italiano só se utiliza para expresar palabras estranxeiras.

Os investigadores admiten que para comprender a linguaxe xestual é imprescindible recoller non só os xestos das mans senón tamén os xestos da cara. Por exemplo, o rostro é fundamental á hora de oracións da zona. E sinalan que, de momento, o novo sistema baseouse nos xestos das mans. Pero din que os resultados son moi bos.

Fixéronse algúns intentos previos, pero a maioría pedían métodos intrusivos, como o uso de luvas electrónicas por parte do falante. O novo sistema non o necesita. O estudo foi publicado na revista Plos One.