Ben je geïnteresseerd in de wereld van wetenschap & technologie en wil je hier graag meer over lezen? Word dan lid van KIJK!
Een geautomatiseerde wiskundige kan zelfstandig universitaire wiskundetentamens in elkaar zetten én oplossen. Goed nieuws voor overwerkte docenten?
Natuurkunde studeren vond ik fantastisch, maar de wiskunde die erbij kwam kijken? Afzien. Computerprogramma’s hebben daar geen last van, blijkt uit een nieuwe publicatie in het wetenschapsblad PNAS. Computerwetenschapper Iddo Drori (MIT) en collega’s presenteren daarin OpenAI Codex, een kunstmatig intelligent systeem dat wiskundetentamenvragen op universitair niveau kan lezen en oplossen, en zelfs nieuwe vragen kan bedenken.
Lees ook
Zelfstandig programmeren
Zoals zo veel AI draait de kunstmatige wiskundestudent van Drodi op patroonherkenning. Zo gaven de onderzoekers OpenAI Codex bergen vraagstukken uit wiskundevakken bij MIT te lezen. Ook kreeg het programma de opdrachten in de programmeertaal Python te zien waarmee je vergelijkbare vragen oplost. Zo leert het welke tekst er bij een vraag hoort.
OpenAI Codex herkent niet alleen wat er gevraagd wordt in een tentamenvraag, in 81 procent van de gevallen kan het programma daarna ook zonder hulp de computercode schrijven om de vraag ook echt op te lossen. Het programma levert zelfs een keurige stap-voor-stap uitleg van zijn oplossing. Dat kan helpen de uitkomst te controleren, én laat studenten zien hoe ze een probleem zelf aan kunnen pakken.
De soorten wiskundeproblemen die OpenAI Codex op kan lossen, van getallen doorrekenen tot grafieken tekenen. © Drori et al. / PNAS
Souffleren
Kunstmatige intelligentie-expert Aleksa Gordić van Google Deepmind vindt het niet enorm bijzonder dat OpenAI Codex zelf computerprogramma’s schrijft om wiskundevragen te beantwoorden. De onderliggende taalherkenner GPT-3 kan namelijk al realistische antwoorden geven op vragen, of teksten aanvullen in dezelfde stijl.
“Uiteindelijk zijn programmeerinstructies gewoon taal. Je ziet hier wel hoe goed de computer die taal in de vingers heeft. Deze AI bouwt niet alleen computercode, die werkt en geeft ook antwoorden die echt kloppen.” Knap werk, want in computercode telt elk detail – en wie weleens een chatbot tegenover zich heeft, weet dat die dingen weleens fouten maken.
Helemaal perfect is OpenAI Codex nog niet. In de overgebleven 19 procent van de gevallen moeten de begeleiders de computer namelijk nog iets helpen. Bijvoorbeeld als er verwijzingen naar films of wereldnieuws in een vraag staan die de computer niet snapt. Serieuzere hulp is ook nodig, bijvoorbeeld door te souffleren welke rekenmiddelen nodig zijn, of door te helpen een grafiek te tekenen in een ander programma.
Automatische tentamenmaker
OpenAI Codex lost niet alleen tentamenvragen op, het programma kan ze ook zelf in elkaar zetten. Door het een aantal vragen te voeren en die aan te laten vullen, rollen er vanzelf nieuwe vraagstukken uit de computer.
Die computergegenereerde vragen passen volgens een panel studenten inhoudelijk en qua moeilijkheidsgraad goed bij het desbetreffende wiskundevak. Ook konden ze de kunstmatige tentamenvragen maar lastig onderscheiden van vraagstukken die hun eigen docenten hadden opgesteld. Of OpenAI Codex zijn uitwerkingen al zo kan schrijven, dat docenten denken dat die van echte studenten komen, is niet onderzocht.