HvA’ers ontwikkelen apparaat dat gebaren omzet in spraak
De twintigjarige Thomas heeft dystonie en kan daardoor niet praten. Vier HvA-studenten van de minor zorgtechnologie gingen voor hem aan de slag en ontwikkelden de We Talk – een apparaatje dat handbewegingen registreert en omzet in gesproken taal. ‘We hopen het apparaat nu verder te ontwikkelen zodat we er meer mensen mee kunnen helpen.’
‘We zijn via de minor zorgtechnologie in contact gekomen met de ouders van Thomas,’ begint Hadid Hotaki, die in samenwerking met Lysanne Mashande, Kamal Djoemal en Ricardo Damburg de We Talk ontwikkelde. ‘De eerste keer dat ik Thomas ontmoette was dat voor mij best even wennen. Ik doe een technische studie en kom dus niet vaak in contact met mensen met een beperking.’ Ricardo is medisch geschoold. ‘Het was geen koek en ei, maar de communicatie met Thomas ging relatief goed - zolang je gesloten vragen stelde waren zijn antwoorden makkelijk te begrijpen.’
Vliegende pannenkoek
‘Sommige gebaren die Thomas gebruikt betekenen hetzelfde. Hond en pannenkoek bijvoorbeeld‚’ vertelt Ricardo. ‘Dat kan een beetje verwarrend zijn: je moet naar de context kijken om hem te begrijpen. Bij vleermuis maakt hij de gebaren “vliegen” en ‘hond’ – maar dus ook “vliegende pannenkoek”. Voor een mens is het duidelijk wat hij bedoelt, maar voor een machine is het een stuk moeilijker om dat te interpreteren. Over dat soort dingen moesten we even nadenken.’
Zo werd de functie van de We Talk duidelijk afgebakend: ‘de We Talk is er vooral voor het eerste contact,’ vertelt Ricardo. ‘Thomas heeft een iPad waarmee hij kan communiceren, maar het duurt even voordat hij heeft ingegeven wat hij wilt zeggen.’ Hadid vult aan: ‘Thomas gaat vaak vogelen en wil de mensen die hij tegenkomt graag aanspreken. Maar voordat hij de juiste knoppen heeft ingedrukt waren de mensen die hij wilde aanspreken alweer doorgelopen. Eerst dachten we dus aan een knopje op zijn stoel, dat hij in kan drukken als hij iemand tegenkomt, maar dat vereist een fijnere motoriek. Toen hebben we gekeken naar een soort van handschoen, maar die zou erg warm kunnen worden en misschien gaan irriteren. Uiteindelijk moesten we dus een beetje out of the box gaan denken.’
Hallo, ik ben Thomas. Stel alsjeblieft gesloten vragen
‘De We Talk werkt door middel van een kleine stabiliserende gyroscoop op de schouder en een sensor op de hand,’ zegt hij. ‘Gebaren worden zo geregistreerd en vertaald. Als Thomas bijvoorbeeld naar zichzelf wijst hoor je “Hallo, ik ben Thomas. Stel alsjeblieft gesloten vragen.” Als hij op de leuning tikt hoor je “ja”, als hij achter zijn hoofd tikt hoor je “nee”. Momenteel hebben we nog maar drie zinnen geprogrammeerd, maar dat kunnen er veel meer worden – dat is niet zo moeilijk. De uitdaging is nu vooral om het apparaat niet te zwaar te maken, anders wordt het snel vermoeiend om het te gebruiken.’
De vier studenten hebben Thomas in de loop van het project ook beter leren kennen. ‘Hij was vanaf het begin heel enthousiast en had veel vertrouwen in ons,’ vertelt Ricardo. ‘We hebben vrij veel tijd met hem gespendeerd: we weten waar hij werkt, wat zijn interesses zijn en hoe zijn vriendin heet. Hij werd op een gegeven moment gehospitaliseerd vanwege een ziekte, maar ook toen hebben we contact gehouden. We weten dus wat hij aan de We Talk heeft en we hopen het nu door te ontwikkelen om nog meer mensen te kunnen helpen.’
De We Talk is ondertussen opgepikt door Enactus – het HvA-programma dat zich richt op sociaal ondernemen. ‘We hopen het apparaat nu kleiner te maken en er meer functies aan te koppelen,’ aldus Hadid. ‘Zo kunnen we het ook bruikbaar maken voor mensen met bijvoorbeeld multiple sclerose of vergevorderde Parkinson.’
