Keinuen hizkuntza identifikatzeko sistema automatiko bat garatzen ari dira EHUn

EHUko informatikari-talde batek inklusibitatearen ikuspegitik ekarpen handia egin dezakeen ikerketa bat du esku-artean: zeinuen hizkuntza identifikatzeko sistema automatiko bat garatzen ari dira, bideoetatik ateratako eskuen erreferentzia-puntuak erabilita. Izan ere, munduan, entzumen urria duten 70 milioi pertsonak zeinuen hizkuntza erabiltzen du komunikatzeko, baina gainerakoek ez dutenez ezagutzen zeinu-hizkuntza, egunerokoan komunikatzeko arazoak izaten dituzte.

Azken urteotan, ahalegin teknologiko handia egin da ahozko hizkuntzen ezagutza automatikoaren esparruan, baina kanpoan geratu dira munduan dauden 300 zeinu-hizkuntzak. Oraingoan, Basilio Sierra EHUko Konputazio Zientzia eta Adimen Artifizialeko katedradunaren taldea Argentinako zeinu-hizkuntza identifikatzeko sistema garatzen ari da.

Zeinu-hizkuntzen egitura linguistikoak eta ezaugarriak

Sistema berrian, bideoaren fotograma bakoitzean eskuaren erreferentzia-puntuak jasotzen dituzte, zeinu-multzoak sortu, eta algoritmo matematikoen bidez haien ezaugarriak identifikatu eta sailkatu egiten dituzte. Zeinu-hizkuntzek berezkoak dituzten egitura linguistikoak eta ezaugarriak kontuan hartu behar izan dituzte ikertzaileek. Hori dela eta, eskuaren posizioa eta mugimenduaz gain, orientazioa detektatu behar dute, keinu batek esanahi desberdina izan baitezake orientazioaren arabera.

Bestetik, hatz-ortografia ere aintzat hartu behar izan dute; izan ere, hitz batzuk letreiatu egiten dira (ez bada hitzaren zeinua ezagutzen, izen bereziak adierazteko, edo hitz bat nabarmentzeko, besteak beste). Keinu-hizkuntzaren jatorriaren arabera, garrantzia handia har dezake hatz-ortografiak: keinu-hizkuntza amerikarrean elkarrizketaren % 12-35 har dezake, esaterako, baina italiarrean hitz atzerritarrak adierazteko baino ez da erabiltzen.

Ikertzaileek onartu dute, keinu-hizkuntza ulertzeko, ezinbestekoa dela eskuen keinuez gain aurpegiko keinuak ere jasotzea. Adibidez, aurpegiera funtsezkoa da galde-perpausak egitean. Eta sistema berria, oraingoz, eskuen keinuetan oinarritu dela adierazi dute. Baina emaitzak oso onak direla adierazi dute.

Aurretik egin dira saiakera batzuk, baina gehienek metodo intrusiboak eskatzen zituzten, hala nola eskularru elektronikoak erabil zitzala hiztunak. Sistema berriak, ordea, ez du halakorik behar. Plos One aldizkarian argitaratu dute ikerketa.