Kan een computer leren wat de beste jazzmuzikanten zo bijzonder maakt?

Wie een paar maten van Thelonious Monk of Bill Evans hoort, kan soms al raden wie er achter de piano zit. Blijkbaar heeft kunstmatige intelligentie tegenwoordig ook verstand van muziek, want die kan dat ook. Tegelijkertijd maken de AI-modellen zichtbaar welke muzikale eigenschappen een pianist herkenbaar maken.

Muzikanten zijn vaak herkenbaar aan bepaalde patronen in hun werk: een soort muzikale vingerafdruk. Die kan bijvoorbeeld bestaan uit bepaalde akkoordenschema’s, ritmische structuren of melodische motieven. Jazz leent zich bijzonder goed voor onderzoek naar zulke vingerafdrukken. In het genre komen compositie, improvisatie en uitvoering samen, waardoor een optreden vaak sterk verbonden is met de individuele muzikant.

Voor computers is het analyseren daarvan alleen lastig. Het grootste deel van jazzmuziek bestaat immers als audio-opname. Modellen die rechtstreeks op zulke opnames worden getraind, zijn voor mensen moeilijk te doorgronden. Bovendien kunnen zaken als de opnameomgeving en gebruikte apparatuur invloed hebben op wat het model oppikt.

Schrijf je in voor de nieuwsbrief! Ook elke dag vers het laatste wetenschapsnieuws in je inbox? Of elke week? Schrijf je hier in voor de nieuwsbrief!

84 uur jazz

Huw Cheston en collega’s pakten het daarom anders aan. Ze verzamelden 84 uur aan opnames, afkomstig van 1629 uitvoeringen van twintig beroemde jazzpianisten. Onder hen bevonden zich grote namen als Bill Evans, Oscar Peterson, Thelonious Monk, Chick Corea, Keith Jarrett, McCoy Tyner en Ahmad Jamal.

Vervolgens werden de opnamen omgezet naar zogeheten MIDI-‘pianorollen’. Dit zijn digitale weergaven waarin te zien is wanneer een noot wordt gespeeld en welke toonhoogte die noot heeft. Daarmee verdwijnt een deel van de informatie uit de oorspronkelijke opname, maar ontstaat wel materiaal dat veel eenvoudiger te analyseren is. Op basis daarvan werden verschillende modellen getraind om te achterhalen welke pianist bij een uitvoering hoorde.

Leestip: Songteksten onder de loep: popmuziek werd in 50 jaar veel egocentrischer

Verrassend hoge score

En dat lukte opvallend goed. Het best presterende model wist in 94,4 procent van de gevallen de juiste pianist te identificeren. Een tweede model was zo ontworpen dat beter te achterhalen viel waarop het zijn voorspelling baseerde. Daarbij werden vier muzikale aspecten afzonderlijk bekeken: melodie, harmonie, ritme en dynamiek. Ondanks die opzet behaalde het model nog altijd een nauwkeurigheid van 91,3 procent.

Niet alle muzikale kenmerken bleken daarbij even veel prijs te geven over de identiteit van de pianist. Harmonie leverde de nauwkeurigste voorspellingen op, gevolgd door ritme en melodie. Dynamiek bleek het minst geschikt om pianisten van elkaar te onderscheiden.

Wat maakt Monk tot Monk?

Daarmee kan de techniek meer doen dan een naam aan een opname koppelen. De aanpak kan helpen om de muzikale patronen bloot te leggen die individuele uitvoerders onderscheiden. Een deel van die kenmerken sluit aan bij patronen die al in de wetenschappelijke literatuur zijn beschreven, maar andere kenmerken kwamen nog niet eerder aan bod. De gebruikte modellen zijn bovendien als open source beschikbaar gesteld. Ook is er een webapplicatie uitgebracht waarmee de resultaten kunnen worden verkend.

Er zijn wel grenzen aan wat de methode kan laten zien. Muzikale dimensies als melodie en harmonie kunnen elkaar overlappen en een MIDI-pianorol vangt lang niet alles wat een jazzuitvoering bijzonder maakt. Tonale eigenschappen en klankkleur gaan bijvoorbeeld deels verloren. Denk daarbij aan kenmerken als vibrato en het buigen van toonhoogtes.

Toch hoeft het niet bij deze twintig jazzpianisten te blijven. De methode kan in toekomstig onderzoek worden uitgebreid naar andere muziekgenres en instrumenten, maar ook naar verschillende historische periodes. Daarnaast kan dezelfde aanpak worden toegepast op minder bekende muzikanten en artiesten die historisch gezien ondervertegenwoordigd zijn.

Wil je niets van Scientias missen? Voeg Scientias toe als voorkeursbron op Google dan zie je al onze verhalen!

Uitgelezen? Luister ook eens naar de Scientias Podcast: