Nogmaals de Nationale Krakercompetitie

De afgelopen week is vrijwel geheel naar de Nationale Krakercompetitie gegaan, en waar het hart vol van is, daar loopt de mond van over. Vandaar dat ik het niet kan laten u nogmaals een kijkje in de keuken van de Nationale Krakercompetitie te geven.
Momenteel zitten mijn collega-redactieleden, betatesters en ik midden in de fase van het opstellen, uittesten en controleren van de vragen. Hoe gaat dat? Ik voor mij begin al met het verzamelen van materiaal voor vragen in de aanloop tot de krakercompetitie van het voorafgaande jaar. Dat is namelijk een tijd waarin je veel websites tegenkomt die je anders nooit zult zien, en bovendien ben je er extra op gespitst in die websites de elementen voor een mogelijke vraag te onderkennen. Maar niet alleen het Web zelf inspireert tot vragen, want ook beelden die je op de tv ziet, berichten in kranten of passages in boeken kunnen een aanleiding vormen eens na te gaan of er geen aardige vraag in zit. Om maar een voorbeeld te noemen dat het niet tot een vraag gehaald heeft, tijdens een bezoek aan Londen onlangs kocht ik in het Sir John Soane's Museum een boekje over dat museum, waarin wordt vermeld dat de bekende Engelse 'K2' telefooncellen uit de jaren 1920 uiteindelijk geïnspireerd zijn door de Tempel van Vesta in Tivoli (zie: http://www.caad.ed.ac.uk/courses/history/handouts/AH1_handout30.html).
Een belangrijk criterium bij de beoordeling of een onderwerp geschikt is voor een vraag is naast de interessante aard en/of de curiositeit van het onderwerp de vraag hoe gemakkelijk een vraag op te lossen zou zijn. Onze ervaringen bij vorige afleveringen van de Nationale Krakercompetitie hebben ons geleerd dat er in een wereld van fulltext oneindig veel wegen naar Rome zijn. Met andere woorden, deelnemers aan de competitie vinden de antwoorden op onze vragen met zoektermen die we zelf niet hadden kunnen bedenken. Dit verschijnsel -- en dan speciaal het feit dat zoekmachines zoals Google de sites die die antwoorden geven op de een of andere manier toch hoog in de resultatenlijst vertonen -- vervult mij steeds weer van een zeker ontzag voor de "intelligentie" die de makers van de fulltext-zoeksoftware aan hun producten weten mee te geven.
Een van de manieren om dit probleem te vermijden is om uit te wijken naar het Invisible Web. Zelfs dat is er de laatste jaren niet eenvoudiger op geworden, want zoekmachines als die van Google en Yahoo! dringen steeds verder in databases door. Niettemin zijn er, mede dank zij allerlei digitaliseringsprojecten van overheden en wetenschappelijke instellingen, nog altijd heel wat sites die maar beperkt door de grote zoekmachines ontsloten worden. Een van de redenen daarvan kan zijn dat daar geen HTML- of PDF-bestanden worden getoond, maar plaatjes van tekst. Met zulke tekst kan een zoekmachine (nog) niets. Dit onzichtbare Web is vanaf het begin een domein waar een deel van de antwoorden op de vragen van de Nationale Krakercompetitie gezocht moet worden. Als ik in dit verband Het Geheugen van Nederland noem, verklap ik geen geheim.
Een van de grootste problemen die deelnemers bij het oplossen van vragen tegenkomen, is dat ze niet weten of het antwoord op een vraag op het zichtbare -- door de grote zoekmachines geïndexeerde -- Web te vinden is, dan wel op het onzichtbare Web moet worden gezocht. Meestal zal de neiging bestaan om op het zichtbare Web te beginnen; en meestal is dat ook een goede keus, omdat het zichtbare Web vrijwel altijd een toegang tot het onzichtbare Web ontsluit. Een probleem daarbij is natuurlijk wel dat de 'voordeur' tot een bestand doorgaans met veel algemenere zoektermen moet worden gevonden dan wat achter die voordeur schuilgaat. Toch kan het feit dat bij een zoekactie met meer specifieke zoektermen in Google of Yahoo! records uit een bepaalde database beginnen op te duiken, deelnemers naar het bestand leiden waar het antwoord te vinden is, ook al is dat met Google of Yahoo! zelf niet te vinden.
Als het antwoord op een vraag met Google of Yahoo! (etc.) niet te vinden is en men is tot de slotsom gekomen dat op het onzichtbare Web zal moeten worden gezocht, waar op het onzichtbare Web moet men dan beginnen? Het aantal databases, archieven, beeldbanken en wat niet al is onoverzienbaar, en hoewel de meeste deelnemers de bekendste wel kennen, zijn voor de redactie in de minder bekende nog tal van leuke vragen te vinden. Maar ook hier voelen wij ons wel aan grenzen gebonden. Een volstrekt onbekende database, waarnaar, in een verband met de vraag, door vrijwel niemand op het Web gelinkt wordt, wordt door ons niet voor vragen gebruikt. Anders gezegd, databases op het onzichtbare Web die wij voor vragen gebruiken, moeten wel op een aanvaardbare manier op het zichtbare Web te vinden zijn -- via een grote zoekmachine, een directory, een startpagina of, in laatste instantie, intuïtief. Met dat laatste bedoel ik dat van een goede zoeker mag worden verwacht dat hij informatie zoekt bij instellingen waarvan te verwachten valt dat ze die informatie verschaffen.
Om een voorbeeld te noemen: een van de vragen van vorig jaar ging over een archieffoto van een Australische schilderes, Margaret Coen, die in de Australische pendant van Het Geheugen van Nederland te vinden was. Dan mag je verwachten dat een goede zoeker die database ook bij de Australische nationale bibliotheek of bij het nationaal archief gaat zoeken. Overigens bleek tot mijn verrassing en -- ik beken het maar -- teleurstelling dat de googelaars ook daarheen weer een weg gevonden hadden.
Vragen die in de Nationale Krakercompetitie worden gesteld zijn meestal geen echte vragen. Dat is niet alleen zo omdat de makers de antwoorden al weten, maar ook omdat een groot aantal van de vragen vanuit het antwoord terug geredeneerd is: de redactieleden hebben een aardig onderwerp gevonden, dat zich voor een vraag leent (bijvoorbeeld doordat persoonsnamen op verschillende manieren gespeld kunnen worden), en proberen dan een begaanbare route te construeren die van vraag naar antwoord leidt. Die route wordt vervolgens verpakt in de vraagstelling, waarin bij voorkeur ook een flink aantal dwaalwegen zijn ingebouwd. Toch zijn er ook wel vragen die door de redactieleden zelf eerst tot een oplossing zijn gebracht alvorens ze in de Krakercompetitie terechtkomen. Bij de analyse van dat soort vragen blijkt trouwens meestal ook dat door de redactieleden heel wat dwaalwegen bewandeld zijn voordat men zelf het antwoord vond. In dat opzicht zijn alle krakervragen dus wel tot op zekere hoogte realistisch. Onrealistisch, maar wel prettig voor de deelnemers is daarentegen het multiple-choicekarakter van de Krakercompetitie. Bij de eerste aflevering werden de drie of vier antwoorden nog voluit geschreven, waardoor de diverse opties mede als zoekterm konden worden gebruikt. Tegenwoordig werken we in veel gevallen met eerste letters e.d. van antwoorden. Dat lost het probleem van multiple choice voor een deel op, maar biedt geen soelaas tegen gokkers, die immers een uit vier mogelijkheden kunnen kiezen.
De Nationale Krakercompetitie kost de deelnemers heel veel tijd -- als het u om de prijzen gaat, kunt u beter aan een tv-spelletje mee gaan doen. Dat toch nog duizenden mensen meedoen, heeft naar mijn indruk voor een deel te maken met de ambitie de beste zoeker te willen zijn. Daarnaast speelt natuurlijk ook het jagersinstinct -- niet voor niets is een van de termen voor het fenomeen "internet hunt" -- een rol. Niettemin probeert de redactie hier nog een educatief element aan toe te voegen. Voor sommige redactieleden bestaat dat, zoals gezegd, in rondleidingen langs interessante sites, over interessante onderwerpen, wat mijzelf aangaat, ik probeer in de vragen ook iets educatiefs over het gebruik van zoekmachines onder te brengen. In veel gevallen blijkt dat overigens verspilde moeite. De deelnemers vinden het antwoord langs andere wegen.
Om u alvast een beetje in de stemming te brengen, hier een vraagje: hoeveel letters telt het langste Duitse woord dat met een e begint en met een g eindigt?
A. 28
B. 37
C. 42
D. 33
E. een ander aantal

Scoop?

Helemaal zeker weten of dit een primeur is doe ik niet, maar hopelijk is het in elk geval geen oud nieuws: net als bij Google kunt u nu ook bij Yahoo! de asterisk als wildcard gebruiken om nul of één woord te representeren. Kijk maar:

"computer * instruction"
"computer * * instruction"

Ik heb de indruk dat de * ook voor 0 tekens kan staan, zie de cache van de pagina Guidelines for Computer-Assisted Reading Instruction en die van de pagina Successful Uses of Computer Technology for Reading Instruction.

Nationale Krakercompetitie

In HP/De Tijd las ik een artikel onder de titel Ik.NL, dat aan bloggen gewijd is. De nadruk ligt daarin op het zelfexpressieve, autobiografische soort blogs, enfin het soort dat ik tracht te mijden. Ik kan me nog herinneren -- u ziet, daar gaan we al -- dat ik zeven jaar geleden met dezelfde gefascineerde afschuw als majorettes bij mij opwekken, las dat 60.000 Nederlanders aan een roman bezig zijn.
Maar in deze aflevering van mijn blog zult u eraan moeten geloven. Op 2 november gaat namelijk de Nationale Krakercompetitie weer van start, en dat is niet alleen voor de deelnemers, maar ook voor de redactie, waartoe ik de eer heb te mogen behoren, een spannende en emotionele tijd.
Voor de redactie begint dat al ruim voor de startdatum. Een paar weken vóór die datum moeten de vragen al gemaakt zijn, zodat we de tijd hebben om, om het maar kort door de bocht te zeggen, elkaars vragen en antwoorden af te schieten. Voor zover ik weet -- want ik doe niet helemaal vanaf het begin mee -- dateert die procedure van de tweede editie van de competitie, nadat er in de eerste één vraag door de deelnemers was afgeschoten en een paar andere (terecht) een hoop discussie opleverden.
Eigenlijk ben je het hele jaar met zo'n competitie bezig. Voor mij persoonlijk begint dat eigenlijk al in de roes die ik aan de lopende competitie overhoudt, want er is een tijd waarin je geen krant of boek kunt lezen zonder je af te vragen of er een leuke vraag in zit. Een van de doeleinden van de competitie, en niet het minste, is namelijk de deelnemers in contact te brengen met kwalitatief verantwoorde internetbronnen. En dat betekent dat we niet alleen uitkijken naar interessante databases, maar ook naar een verscheidenheid van mooie verhalen en interessante sites. Die verscheidenheid hopen we te bereiken door de uiteenlopende belangstellingen van de redactieleden. Het zoeken naar interessante databases is zo langzamerhand een onontkoombare noodzaak geworden, omdat er ieder jaar wel enige honderden deelnemers zijn die over een griezelig vermogen blijken te beschikken om met Google of Yahoo! het antwoord op vragen te vinden die via een zoekmachine kunnen worden opgelost. Trouwens, het is de redactie überhaupt nog nooit gelukt een vraag te stellen waarop niet door enige tientallen deelnemers het juiste antwoord werd gegeven. Vorig jaar hadden naar ik meen zo'n 70 deelnemers het maximale aantal punten, en mijn persoonlijke ambitie is ooit nog eens één vraag te stellen die door niemand wordt opgelost.
Dat laatste is moeilijker dan het lijkt, omdat we aan de vragen en antwoorden wel de eis stellen dat er een logische weg tussen vraag en antwoord moet zijn. Het zou simpel genoeg zijn een vraag te stellen die alleen vanuit de een of andere obscure database te beantwoorden is, maar de formulering van de vraag dient zo te zijn dat die bepaalde database ergens in het denkproces opduikt als men tot de conclusie is gekomen dat het antwoord niet op het 'visible' Web te vinden is.
Met het formuleren van een vraag ben je al gauw een halve dag bezig. Dat komt enerzijds door de eis die ik hierboven noemde: in de vraag moeten voldoende aanknopingspunten zitten om hem op te lossen, anderzijds proberen we ook zelf al enigszins te controleren of andere routes die tot het juiste antwoord leiden niet al te snel begaanbaar zijn. Het is frustrerend te zien dat een vraag waar je een hele avond op geploeterd hebt, binnen twee minuten door een ander redactielid, een bètatester of, in het allerergste geval, een deelnemer wordt opgelost.
Ik laat hier de term bètatester vallen. Bètatesters zijn in onze ploeg de mensen die, naast de redactieleden, de vragen bekijken en ze proberen op te lossen. We zouden niet zonder ze kunnen: als je bezig bent met je eigen vragen te maken of ze naar aanleiding van opmerkingen aan te passen, is het lastig goed naar de vragen van andere redactieleden te kijken.
Bij het stellen van vragen geldt nog een belangrijke beperking, die ikzelf als nogal knellend ervaar: vragen die alleen met kennis van een andere taal dan het Nederlands of het Engels kunnen worden opgelost, vallen af. Het is duidelijk waarom, maar veel moois op het Web blijft er wel door verborgen.
Alle voorbereidingen leiden ertoe dat er aan het hele pakket vragen nog flink gesleuteld wordt. Sommige vragen worden afgekeurd of verdwijnen naar de reservebank, andere worden anders geformuleerd of op een andere manier gesteld. Dit jaar zijn er in totaal 28 vragen, verdeeld over vier rondes van steeds een week.
Zo tegen de tijd dat de eerste ronde van de competitie van start gaat, zijn de meeste vragen wel klaar of in elk geval in een vergevorderd stadium. Dan breekt voor de redactie en de bètatesters een spannende tijd aan. Hoe zullen de ongeveer vierduizend deelnemers het ervan af brengen? En ook: hoe vergaat het de vragen? Eén meetmoment is het moment waarop de eerste antwoorden binnen beginnen te komen. Er zijn vorig jaar wel rondes geweest dat dat al op zaterdagochtend gebeurde, nadat de vragen vrijdag aan het eind van de middag waren gepubliceerd. Sommige deelnemers zijn dus razendsnel, veel sneller dan ikzelf zou zijn (als ik de vragen al allemaal zou kunnen oplossen, wat niet zo is). Mijn indruk is dat deelnemers die ervaring hebben met het oplossen van cryptogrammen, hier in het voordeel zijn. Net zoals ze als het ware de gedachtenkronkels van de cryptogrammenmaker kunnen lezen in de omschrijving die hij geeft, kunnen ze dat ook bij die van ons in de formulering van de vraag. Mijn indruk is ook dat kennis van de zoekmogelijkheden die zoekmachines en databases bieden, geen absoluut vereiste is om tot een goed resultaat te komen.
Troost kunnen redactie en testers dan weer putten uit het forum dat bij de Krakercompetitie hoort en waarop de deelnemers stoom kunnen afblazen. Ik beschouw mezelf niet als een sadistisch mens, maar ik kan niet ontkennen dat de wanhoopskreten die om half drie 's nachts uit dat forum opstijgen over een vraag die ik gesteld heb, mij veel genoegen doen. Ik heb er hard voor moeten werken. Dat doen de deelnemers trouwens ook: voor de winnaars zijn er weliswaar prijzen, per ronde en voor de hele competitie, maar voor de meeste deelnemers lijken die maar bijzaak te zijn. Een hoge score is belangrijker.
Minder prettig, ja zelfs ergerlijk, vind ik de ontdekking dat er deelnemers zijn die sam-sam doen: als jij mij het antwoord op vraag a geeft, krijg jij van mij dat op vraag b. Dat is natuurlijk niet de bedoeling, en in de spelregels staat ook iets over individuele deelname, maar er zijn deelnemers die van sportiviteit kennelijk weinig kaas hebben gegeten. Het is zelfs nog irritanter: in andere fora dan dat van de Krakercompetitie wisselt men bij voorkeur niet de antwoorden uit, maar 'hints' die je bij het antwoord brengen en die je dan de illusie laten het antwoord toch zelf gevonden te hebben. Ik kan me herinneren dat er vorig jaar iemand was die vijf minuten voor sluitingstijd van een ronde nog wanhopig om hints voor de oplossing van een vraag smeekte -- en dat terwijl de oplossing een kwartier later op de website van de competitie zou komen te staan. Ons vermogen tot zelfbedrog kent geen grenzen.
Om dit gesjoemel tegen te gaan wordt dit jaar voor het eerst de mogelijkheid van groepsdeelname geopend. Je doet of individueel mee, of als lid van een groepje van 2-4 personen. Dat geeft mensen met weinig tijd en/of ervaring de gelegenheid toch volgens de spelregels mee te doen. Of het afdoende is? Ik heb er een hard hoofd in.
Aan het eind van de rit blijken zowel redactie als deelnemers verslaafd te zijn en afkickverschijnselen te vertonen. Wie eens wil weten hoe dat voelt, kan zich tot 9 november op de site van de Nationale Krakercompetitie inschrijven voor de eerste ronde of de hele competitie, en ook daarna nog voor individuele rondes.
Partners in de Nationale Krakercompetitie zijn bibliotheek.nl, Google Nederland, NRC Handelsblad en overheid.nl.