Wetenschappers hebben software ontwikkeld die lichaamshoudingen, gezichtsuitdrukkingen en gebaren van meerdere mensen tegelijk real time in beeld brengt.

Stel je voor dat je alleen maar naar je tablet hoeft te zwaaien om hem aan te zetten. Met een hoofdknik opent je webbrowser en met een brede lach surf je naar je favoriete site. Software ontwikkeld door de Carnegie Mellon University (VS) maakt dat in de toekomst mogelijk.

Al eerder was de software in staat om lichaamshoudingen en -bewegingen van grote groepen mensen in kaart te brengen (zie eerste filmpje). De nieuwste toevoeging is dat het nu ook mogelijk is om gezichtsuitdrukkingen en hand- en vingerbewegingen tot in detail zichtbaar te maken (zie tweede filmpje).

Videobeelden vanuit alle hoeken

Het was nog best een uitdaging om die bewegingen gedetailleerd zichtbaar te krijgen, vooral in sociale situaties zoals een feest. Mensen staan dan dicht op elkaar en houden vaak voorwerpen, zoals een glas bier, vast. Daardoor kan een camera niet altijd goed gezichten en vingers onderscheiden.

Om dit toch voor elkaar te krijgen maakte het onderzoeksteam gebruik van de Panoptic Studio van de universiteit. In dit gebouw van twee verdiepen zijn 500 camera’s geïnstalleerd. Die camera’s maakten videobeelden vanuit alle hoeken van lopende, rennende, dansende en gewoonweg pratende mensen, waarbij ze soms ook voorwerpen vasthielden.

Door steeds lichaamsdelen (rechterknie, kaak, wijsvinger et cetera) te labelen in de beelden, leerde de computer ze te herkennen. Uiteindelijk was de computer in staat om uit real time beelden van één camera met lijntjes en kleuren de gedetailleerde bewegingen en uitdrukkingen van meerdere personen in kaart te brengen.

Sportanalyse

Volgens de onderzoekers biedt de softwarecode – die ze overigens openbaar hebben gemaakt – nieuwe manieren voor interactie tussen mens en computer. We noemden al even het aansturen van je tablet met behulp van handgebaren en gezichtsuitdrukkingen. Maar denk ook aan een zelfrijdende auto die een plotseling overstekende voetganger vliegensvlug detecteert en snel remt.

Ook sportanalytici en trainers zullen blij zijn met de bewegingsdetector. De bewegingen van elk lichaamsdeel van een scorende voetballer kunnen gedetailleerd worden geanalyseerd. Verder denken ook medici wel raad te weten met de software; het geeft nieuwe benaderingen tot gedragsanalyse en behandeling van mensen met autisme, dyslexie en depressie.

Naar 3D

Het volgende doel van het Carnegie Mellon-team is nu om van 2D-bewegingsdetectie naar 3D te gaan. Maar voor nu presenteren ze hun recentste ontwikkeling op het Computer Vision and Pattern Recognition Conference eind deze maand.

Bronnen: Carnegie Mellon University, Daily Mail

Beeld: Carnegie Mellon University

Lees ook: Paard en mens hebben zelfde gezichtsuitdrukkingen