Een hightech handschoen zet handgebaren om in klanken en gesproken woorden. In eerste instantie handig om mensen een stem te geven, maar nu ook om samen mee te zingen.
Sydney Fels nam gebarentaal wel erg letterlijk toen hij een paar handschoenen ontwikkelde waarmee je een computerstem met handbewegingen kunt aansturen. In eerste instantie was deze technologie bedoeld om mensen die hun stem waren verloren te helpen met praten. Maar om de zelfexpressie naar het volgende niveau te tillen, heeft Fels samen met zijn collega’s van de University of British Columbia deze gesture-to-voice synthesizer voorzien van een flink portie zangtalent. Nu kunnen ook eenzame muzikanten met wat oefening gezellig een duetje zingen met de handschoenen.
Klinkers draaien en letters knijpen
Bij het gebruik van de handschoenen praat je letterlijk met je handen: via een breed scala aan bewegingen produceer je verschillende klanken die uiteindelijk woorden, zinnen en nu ook songteksten vormen. Beide handschoenen zijn hiervoor uitgerust met sensors die de positie van je handen doorgeven aan de computer, die op basis hiervan begint te praten.
Met je rechterhand vorm je klinkers en medeklinkers door je vingers te openen of te sluiten. Welke klanken je precies ten gehore brengt, hangt af van de positie van je hand. Alsof je door het menu van een gigantische iPod scrolt, draai je hiervoor naar de gewenste klinker of medeklinker. Speciale stopklanken waarbij lucht normaal gesproken met enige kracht aan je lippen ontsnapt – denk aan de ‘b’ en de ‘p’ – creëer je door met de vingers van je linkerhand te knijpen. De toonhoogte kun je aanpassen door je handen omhoog of omlaag te brengen; handig voor als je in een muzikale bui bent.
Hoewel het een kwestie is van handschoenen aantrekken en praten maar, vergt het nog heel wat oefening om het besturingssysteem van de gesture-to-voice synthesizer in de vingers te krijgen; zo’n honderd uur aan oefening welteverstaan. Daarbij helpt het als je een beetje handig bent.
New Scientist heeft een filmpje met uitleg van meewerkend student en amateurpianist Johnty Wang.
Bronnen: University of British Columbia, AAAS, New Scientist
Beeld: Gesture, Language, and Performance: Aspects of Embodiment/AAAS