Dankzij meer dan 125.000 metadata kun je zoeken in de Nederlandse liederenbank, een database van alle Nederlandse liederen die vanaf de Middeleeuwen bekend zijn. Maar zelf de muziek doorzoeken is nog niet mogelijk. Het Meertens Instituut en de Universiteit Utrecht ontwikkelen daartoe samen een zoekmachine voor melodieën, die ook verschillende versies van of gelijkenissen tussen melodieën kan herkennen.

[Door: Frans Wiering]

Er was eens, lang geleden, een herberg buiten de poort van een handelsstad. ’s Avonds verzamelen kooplieden zich er om te eten, te drinken en zich te vermaken met het aanwezige vrouwelijk schoon. De enige die zich aan de liederlijkheden onttrekt, is de godsvruchtige dienstmeid. En laat zij nou op een ochtend in haar bed een dood kindje vinden! De conclusie is gauw getrokken. Ze heeft een geheime minnaar, is zwanger geworden en heeft de baby vermoord. Aan de galg ermee! Maar als ze daar hangt, gebeurt een wonder: engelen houden haar in leven. Dat is een teken van haar onschuld. Bij nader onderzoek blijkt dat de dochter van de herbergier de moeder – en moordenares – van de baby was, en de schuld op de dienstmeid heeft willen schuiven. Zij wordt met haar medeplichtige moeder opgehangen.

Deze geschiedenis leefde voort in een ballade, een verhalend lied. Tot in de jaren dertig van de vorige eeuw werden zulke liederen veel gezongen, vooral tijdens het werk op het land. Zingen ondersteunde de coördinatie van gezamenlijke handelingen, voorkwam dat er gepraat werd en verlichtte de eentonigheid van het werk. De liederen leerde je door luisteren en meedoen: zelden werden ze op papier gezet. Kwam je in een andere omgeving, dan konden anderen het lied weer van je leren. In dit proces van mondelinge overlevering veranderen teksten en melodieën voortdurend.

Door radio en mechanisering van de arbeid is de context voor het zingen van dergelijke liederen verdwenen. Dat we ze (voor een deel) nog kennen, is met name te danken aan een collectie van zo’n zevenduizend veldwerkopnamen van Will Scheepers en Ate Doornbosch, die bekendstaat als Onder de groene linde (OGL). De collectie is genoemd naar het radioprogramma, uitgezonden tussen 1957 en 1994, waarvoor Doornbosch zijn opnamen verzamelde. Het was een vroeg voorbeeld van interactieve radio: luisteraars konden reageren en als ze een interessante versie van een lied kenden, nam Doornbosch het op en zond hij het uit. Zo ontstond een unieke verzameling die – naast een verdwenen Nederlands cultuurgoed – de variatie documenteert die ontstaat door het proces van mondelinge overlevering.

Om deze variatie te illustreren geef ik hier een aantal beginregels van versies van de boven besproken ballade:

'In Frankrijk daar staat er een herberg/een herberg voor groten en klein

In Veendam daar staat er een herberg/een herberg o zo fijn

En al buiten de stad van Wenen/en daar woont er een herbergier

En daar over die Groenlandse heide/en daar staat er een herberg alleen.'

De melodieën van het lied verschillen ook nogal van elkaar. Men kan vijf hoofdgroepen onderscheiden, maar ook binnen deze groepen vinden we variatie in maatsoort, aantal regels, toonsoort en in details van het melodische verloop. Maar de melodie is ook bekend van liederen met als titels ‘Wat baart de liefde veel smarten’ en ‘Er waren twee koningskind’ren’.

Nederlandse Liederenbank

Onder de groene linde berust tegenwoordig bij het Meertens Instituut, een onderzoeksinstituut voor documentatie en studie van Nederlandse populaire cultuur. Een groep onder leiding van professor Louis Grijp onderzoekt hier het Nederlandstalige lied. Een belangrijk hulpmiddel hiervoor is de Nederlandse liederenbank. Dit is een database van (in principe) alle Nederlandstalige liederen die vanaf de Middeleeuwen bekend zijn. Op het moment zijn de metadata ingevoerd van meer dan 125.000 melodieën, waaronder die uit OGL.

Met behulp van dergelijke metadata is er al een aanzienlijke toegang bereikt tot de liederen, onder andere via trefwoorden, beginregel en strofevorm. Maar het is nog niet mogelijk de muziek zelf te doorzoeken, en zo’n ingang op de Liederenbank wordt zeer gemist. Voor het brede publiek kan deze helpen bij het identificeren van melodieën die in het hoofd zitten. Onderzoekers kunnen zo’n zoekmethode gebruiken om varianten van melodieën op te sporen en te ordenen, wanneer de tekst geen aanknopingspunten biedt.

WITCHCRAFT

Het ontwikkelen van zoekmethoden voor muziek is het terrein van de Music Information Retrieval. Dit onderzoeksgebied is, geholpen door de stormachtige ontwikkelingen rondom muziek op internet, de laatste tien jaar sterk in opkomst. Drie belangrijke samenhangende vragen zijn hierbij:

• In welke vorm moet muzikale informatie gebracht worden om doorzocht te kunnen worden?
• Wat zijn geschikte maten voor het meten van de muzikale gelijkenis?
• Welke gebruikersinterface is geschikt om muzikale zoekvragen te formuleren en zoekresultaten te presenteren?

Het CATCH-project WITCHCRAFT – het acroniem staat voor What Is Topical in Cultural Heritage: Content-based Retrieval Among Folksong Tunes – heeft als doel deze wetenschappelijke vragen te beantwoorden voor het volksliedrepertoire. De partners in dit project zijn het Meertens Instituut en het Departement Informatica van de Universiteit Utrecht. Naast het wetenschappelijke doel heeft dit project ook een praktisch doel: het bouwen van een melodieënzoekmachine die in de Liederenbank geïntegreerd is. Een demoversie van de zoekmachine is al beschikbaar. Ik zal het project beschrijven aan de hand van de drie onderzoeksvragen die hierboven gesteld zijn.

Corpus-opbouw

Muziek is in de eerste plaats geluid, dus ligt het voor de hand dat een muziekzoekmachine met digitale audio werkt. Helaas ligt dat in de praktijk nog anders. Luisteraars onttrekken moeiteloos informatie als maat, tempo, toonhoogte, melodie, akkoorden en instrumenten uit een continue geluidsstroom, maar computationele methoden hiervoor zijn nog betrekkelijk primitief. In het geval van OGL is de opnamekwaliteit vaak al problematisch, maar het echte probleem zijn de zangers zelf: hun versleten, ongeschoolde stemmen zijn zelden toon- en ritmevast. Ook hebben de zangers soms merkbaar moeite de melodie uit hun herinnering op te diepen. Het is specialistenwerk om vast te stellen wat ze nu eigenlijk bedoelden te zingen. Er is echter goed nieuws: in het verleden hebben experts van ongeveer 5000 liederen transcripties op papier gemaakt. Deze transcripties worden nu met behulp van de in het project ontwikkelde Witchcraft Editor in de computer ingevoerd.* Elke melodie komt zo in drie vormen beschikbaar: als MIDI-file, als doorzoekbare code en als muzieknotatie. Inmiddels zijn al bijna 3000 melodieën ingevoerd.

Gelijkenismaten

Wanneer lijken twee melodieën op elkaar? Uiteindelijk is dit een subjectief oordeel, maar in dit oordeel zijn wel bepaalde constante factoren aanwijsbaar. Belangrijk zijn met name ritme, toonhoogteverloop en melodische frasering. Een goede gelijkenismaat houdt daarnaast rekening met ‘lokale’ veranderingen als toevoeging, weglating of verandering van enkele noten, en met tempoverschillen en transposities.

Uit eerder onderzoek is gebleken dat de Earth Mover’s Distance (EMD) een redelijke maat voor melodische gelijkenis biedt. Hiervoor wordt elke melodie weergegeven als een patroon van punten in een tweedimensionale ruimte. De dimensies zijn tijd en toonhoogte. Elk punt krijgt een gewicht, dat staat voor de duur van de toon. Gegeven twee van zulke patronen berekent de EMD de minimale energie die nodig is om het ene in het andere om te zetten door het verschuiven van gewichten. Informeel omschreven vindt de EMD melodieën met een verwante contour. Op basis van dat eerdere onderzoek is de EMD gebruikt in de demo-zoekmachine, maar deze  geeft resultaten van nogal uiteenlopende kwaliteit.

Alternatief

Een mogelijk alternatief is gebaseerd op Inner Metric Analysis. Hierbij wordt de bijdrage gemeten die elke noot levert aan het vormen van patronen van benadrukte en onbenadrukte noten. Door de correlatie tussen de patronen in twee melodieën te berekenen, ontstaat een gelijkenismaat die – ondanks dat deze maar op één muzikale dimensie gebaseerd is – ongeveer even goed werkt als de EMD.

Dergelijke intuïtieve oordelen kunnen onderbouwd worden door een systematische vergelijking tussen de uitkomsten van een gelijkenismaat en menselijke oordelen. In het geval van OGL maken we hiervoor gebruik van de melodienorm die aan de gecodeerde melodieën wordt toegekend. Een melodienorm is de naam van een groep melodieën die volgens experts op een gemeenschappelijke bron teruggaat. Bij ontbreken van historisch bronnenmateriaal baseren de experts zich op de muzikale gelijkenis van de melodieën. Voor enkele melodienormen is daarom nagegaan hoe experts tot hun oordeel gekomen zijn. Ze blijken zich te baseren op family resemblance: de verwantschap berust op het voorkomen van een aantal kenmerken die overwegend, maar niet consequent, van toepassing zijn op de leden van de groep. Daarom is het van belang dat een zoekmachine over een aantal complementaire gelijkenismaten beschikt.

Interface

Er zijn verschillende standaardoplossingen voor het formuleren van een muzikale zoekvraag. De meest bekende is Query-By-Humming. Hierbij zingt, fluit of neuriet de gebruiker een melodietje in de microfoon. Het succes is mede afhankelijkheid van de muzikale vaardigheid. Dat geldt ook voor het zogenaamde softwareklavier. Op het beeldscherm wordt een pianoklavier afgebeeld, waarvan de toetsen met de muis worden aangeklikt. Deze beide methodes zijn in de demo beschikbaar en kunnen worden gebruikt om melodieën waarover geen informatie beschikbaar is te identificeren.

Query-By-Example is een andere benadering. Hierbij kiest de gebruiker een melodie uit de database en gebruikt deze als zoekvraag. Deze methode is met name geschikt voor onderzoekers die varianten willen opsporen. In het WITCHCRAFT-project wordt aan een nieuwe variant op deze methode gewerkt: Group Query. Hierbij wordt niet één maar een aantal verwante melodieën tegelijk als query gebruikt. Deze methode gebruikt de kennis die er al is over melodische variatie om nieuwe varianten op te sporen. Zo kan zoeken een iteratief proces worden: je begint met één melodie als query, je voegt de goede zoekresultaten aan je query toe en herhaalt het proces totdat je tevreden bent.

De gebruikelijke presentatie van zoekresultaten is als een geordende lijst. Voor de gewone gebruiker bestaat deze lijst uit records met liederenbankinformatie. De expert-interface geeft allerlei extra informatie.

Werk in uitvoering

Er moet nog veel werk verzet worden om de ambities van het WITCHCRAFT-project te realiseren. In de huidige implementatie zijn er twee duidelijke verbeterpunten. Ten eerste moet er een intuïtievere verbinding gemaakt worden tussen de genoteerde versie en de audio. Voor de gewone gebruiker zou de notatie zo goed als onzichtbaar kunnen blijven. Ten tweede is de EMD niet de optimale gelijkenismaat. Een evaluatieprogramma zal moeten uitwijzen wat een betere maat (of mix van maten) is, en deze zal als standaardoptie aangeboden worden. Daarnaast zullen experts zelf een keuze kunnen maken uit een aantal beschikbare maten.

Alle CATCH-projecten dienen een balans te vinden tussen de specifieke problemen van de erfgoedinstelling en de generaliseerbaarheid van de onderzoeksresultaten. Hoe kunnen de resultaten van het WITCHCRAFT-project gegeneraliseerd worden? Hier wil ik drie aspecten noemen:

• Internationaal is er een aantal collecties waarin traditionele vocale en instrumentale muziek uit onder meer Denemarken, Duitsland en Finland gecodeerd is. Onze zoektechnologie kan een bijdrage leveren aan de ontsluiting van deze collecties.
• Methoden voor het opsporen van melodische varianten zijn niet alleen van belang voor de studie van orale muziekculturen, maar kunnen ook een belangrijke rol spelen bij het opsporen van cover songs, variaties over standaardmelodieën uit de barok of thematische transformaties in klassieke muziek.
• Melodie, de focus van het WITCHCRAFT-project, is van de ‘basiscomponenten’ van de muziek de moeilijkste om vat op te krijgen. De modellen die wij ontwikkelen kunnen een bijdrage leveren aan een beter begrip van melodie.

Aangezien melodie nauw aan emotie gerelateerd is, kan ons werk een stap zetten op weg naar het ultieme doel van het Music Information Retrieval-onderzoek: het ontwikkelen van computationele methoden voor de ontsluiting van muziek die aansluiten op de emotionele betekenis die mensen aan muziek toekennen.

* Het invoerwerk wordt ondersteund door een SenterNovem-subsidie voor het project Dutch Songs as Musical Content.

Frans Wiering is werkzaam als universitair docent aan de Universiteit van Utrecht, bij het departement Informatica van de faculteit Bètawetenschappen. Tevens is hij projectleider van WITCHCRAFT.