Kun je een rode appel uit een schaal met groene appels pakken, zonder te kijken? Het klinkt onmogelijk. Maar door de appels te vertalen naar geluiden kan het.
Wetenschappers hebben zeven blinde mensen geleerd om te zien met behulp van geluiden. De onderzoekers vertaalden plaatjes in zogenaamde ‘soundscapes’. De proefpersonen leerden om op deze manier afbeeldingen te herkennen. Daarvoor gebruiken ze grotendeels dezelfde hersengebieden die normaal gesproken worden gebruikt om plaatjes te zien.
Luisteren naar lijnen
De blinde proefpersonen begonnen met het herkennen van simpele afbeeldingen. Ze luisterden bijvoorbeeld naar een aantal punten of lijnen. Vervolgens kregen ze steeds ingewikkeldere plaatjes voorgeschoteld en leerden ze uiteindelijk mensen en houdingen te herkennen.
Nadat de proefpersonen dit ongeveer zeventig uur hadden getraind, werden er MRI-scans van hun brein gemaakt. De hersengebieden die blinde proefpersonen gebruikten om de vorm van een menselijk lichaam te herkennen, bleken grotendeels overeen te komen met de hersengebieden die normaal gesproken worden gebruikt wanneer iemand een mens ziet.
Donkere appels klinken zachter
De afbeeldingen worden vertaald naar geluid met behulp van een paar simpele regels. Ten eerste hoor je de geluiden van links naar rechts. Vertaal je een afbeelding van een aantal appels, dan hoor je dus eerst de meest linkse appel en als laatste de rechterappel.
Daarnaast is de hoogte van een object gerelateerd aan de toonhoogte van het geluid. Hoor je een hoge noot dan staat de appel hoog in beeld, bij een lage noot staat de appel juist laag. Tenslotte wordt de helderheid van de vorm vertaald naar het volume van het geluid. Een donkere appel klinkt zachter dan een lichte.
Kleuren-app
Kleuren herkennen was tijdens het onderzoek nog niet mogelijk. Maar inmiddels zijn de wetenschappers een stapje verder gegaan. Ze hebben een app gemaakt die EyeMusic heet en die ook informatie over kleuren kan overbrengen door verschillende instrumenten te gebruiken. Zelf proberen? EyeMusic is gratis te downloaden voor je iPad of iPhone in de appstore.
Bronnen: Current Biology, Cell Press via EurekAlert!
Tekst: Helena Vis