Machine-learning-systeem Timecraft schetst de meest waarschijnlijke manieren waarop grootmeesters hun schilderkunstwerken maakten.

Als je omringt door kunst in het museum naar een van de werken van grootheden als Cézanne, Monet, Picasso of Van Gogh staat te turen, wat denk je dan? Een van de vragen die bij mij, na het initiële ‘wow-moment’, door mijn hoofd spoken is: ‘hoe heeft hij dat nou voor elkaar gekregen?’

Wellicht betrapten MIT-onderzoekers zichzelf op het stellen van dezelfde vraag. Ze ontwikkelden namelijk een machine-learning-systeem dat illustreert in welke volgorde de grootmeesters de kleuren en vormen op het doek vastlegden.

Lees ook: AI-schilderij levert flink bedrag op

Stappenplan

Het team trainde het systeem, dat ze ‘Timecraft’ doopten, met meer dan 200 time-lapse-filmpjes van schilderijen in de maak. Deze filmpjes plaatsten mensen van hun eigen schilderproces – zowel traditioneel als digitaal – op het internet. Zo leerde Timecraft de fijne kneepjes van het vak, oftewel welke stappen de gemiddelde kunstenaar bij het maken van een schilderij zet.

Om de kunde van het systeem te testen, hielden de onderzoekers het schilderijen voor waar ook time-lapse-filmpjes van beschikbaar waren. En ja hoor, Timecraft deed het zacht gezegd prima: in bijna de helft van deze tests kwamen de AI-gemaakte filmpjes zo overeen met de echte, dat de onderzoekers ze niet van elkaar konden onderscheiden – tot ze naar de bestandsnaam keken natuurlijk.

Creatief proces

De filmpjes lieten zien hoe kunstenaars meestal van grof naar fijn werken: ze beginnen met een ruwe opzet, waarna ze de details invullen. Ook bleek dat de meesten telkens aan een deel van een scene, en slechts met een kleur of twee werken voor ze naar een volgend deel van de tekening gaan.

Als klap op de vuurpijl,  lieten de onderzoekers Timecraft los op werken van grootmeesters. Zo haalden ze onder meer Still Life with Pomegranate and Pears van Paul Cézanne, en een zelfportret en Korenveld met cipressen van Van Gogh door het systeem. Of de grootmeesters hun kunstwerken écht zo op het doek zetten, is natuurlijk niet zeker. Wellicht hielden ze er wel heel uitzonderlijke technieken op na.

Het machine-learning-systeem werd gepresenteerd tijdens de conferentie voor Computer Vision and Pattern Recognition (CVPR). Een paper over het onderzoek is beschikbaar op de pre-printserver arXiv.org.

Bronnen: CSAIL/MIT, Arxiv.org, IFLScience

Beeld: Wikipedia CC; Zhao et al., 2020/MIT