Zoals beloofd kom ik nog even terug op de
onderzoeksstudie van Dogpile inzake de overlap tussen de zoekresultaten van de vier grote zoekmachines Google, Yahoo!, MSN Search en Ask Jeeves bij 12.570 "random user-defined" vragen. Dogpile is een metazoekmachine die (inmiddels) alle vier deze grote zoekmachines gebruikt. Doel van het onderzoek was de hierboven genoemde overlap en de verschillen tussen de resultaten van de vier zoekmachines vast te stellen en te meten in hoeverre een metazoekmachine zoals Dogpile betere resultaten levert dan elk van de grote zoekmachines afzonderlijk.
Gekeken werd hoofdzakelijk naar de eerste resultatenpagina's, met -- naar ik aanneem -- maximaal 10 algoritmische en een onbekend aantal gesponsorde treffers, maar in sommige gevallen zijn ook de eerste, de eerste drie en de eerste vijf algoritmische treffers met elkaar vergeleken.
Het totale aantal (ontdubbelde) resultaten voor alle zoekmachines dat gevonden werd bedroeg 485.460. Per vraag werden gemiddeld 9 algoritmische treffers gevonden, en 2,6 gesponsorde resultaten. Dat het gemiddelde aantal algoritmische treffers minder is dan 10 is te verklaren uit de voor de hand liggende veronderstelling dat een aantal vragen minder dan 10 van zulke treffers heeft opgeleverd. Niet duidelijk is of de oorzaak daarvan zou kunnen zijn dat een aantal vragen wegens spelfouten een nulresultaat opleverde.
Wat de overlap tussen de resultaten betreft, de cijfers die Dogpile over het tweede onderzoek (van juli 2005) verschaft, verschillen iets van de cijfers die het over het eerste onderzoek (van april 2005, waarin MSN Search nog niet was opgenomen) verstrekte. Die cijfers zijn nu (p. 13):
- 1,1% van de 485.460 ontdubbelde treffers zat in het zoekresultaat van alle vier de zoekmachines
- 2,6% zat in het zoekresultaat van drie van de vier zoekmachines
- 11,4% werd gedeeld door twee zoekmachines
- 84,9% was uniek voor een van de vier zoekmachines
Overigens worden deze cijfers in Appendix A (p. 23-24) van de studie enigszins gerelativeerd door een verwijzing naar een controle-analyse op het eerste onderzoek, waarbij voor de berekening van de overlap alleen de root domain (dus zonder prefixen als www, www1, en suffixen als .com/news, .com/sports) werd meegeteld. Voor het eerste onderzoek bracht dit het percentage treffers dat 2, dan wel 3 zoekmachines gemeen hadden van 15% op 20%.
Het zou te ver voeren hier alle getallen en percentages te noemen die de studie bevat. Daarvoor kunt u beter het onderzoeksrapport zelf raadplegen. Een paar interessante getallen wil ik u echter niet onthouden:
- het absolute en gemiddelde aantal algoritmische treffers voor Yahoo! (114.607, resp. 9,1 per eerste resultatenpagina) en Ask Jeeves (114.497, resp. 9,1 per eerste resultatenpagina) is groter dan voor Google (111.779, resp. 8,9 per eerste resultatenpagina). Wat Ask Jeeves betreft kan de verklaring liggen in het feit dat Ask Jeeves phrases en de impliciete EN-relatie tussen zoektermen laat vallen als die geen resultaat opleveren, maar bij Yahoo! zou ik het omgekeerde verwacht hebben.
- het absolute en gemiddelde aantal algoritmische treffers voor MSN Search (111.398 of 8,9 per eerste resultatenpagina) is vrijwel gelijk aan die van Google. Ook dat is verrassend, gegeven het feit dat Google voor de meeste vragen een groter aantal treffers zal hebben dan MSN, plus het feit dat MSN voor veel vragen die mede gesponsorde resultaten opleveren op de eerste resultatenpagina geen tien maar slechts negen algoritmische treffers toont (zie bijvoorbeeld: Florida holiday).
Zoals ik al in mijn eerste stukje over het eerste Dogpile-rapport opmerkte, vind ik het op één hoop gooien van algoritmische en gesponsorde treffers ongelukkig, ook al is uit onderzoek gebleken dat veel gebruikers dat onderscheid ook niet weten te maken. Dat bezwaar geldt ook voor een berekening die het nieuwe rapport op p. 14 maakt, waar wordt gekeken naar het aantal en het percentage van mogelijke topresultaten die een zoeker zou hebben gemist als hij/zij maar één zoekmachine zou hebben gebruikt. Voor Google bijvoorbeeld is dat aantal, resp. percentage 343.700, resp. 70,8%. Dat lijkt heel veel, tot je beseft dat de gemiddeld 9,1 treffers die Google geeft hier worden vergeleken met de gemiddeld 36 treffers van alle zoekmachines gezamenlijk. Interessanter zou zijn geweest als men de algoritmische treffers op Googles eerste vier resultatenpagina's had vergeleken met de treffers op de eerste resultatenpagina's van alle vier de zoekmachines gezamenlijk. Wat hier ook niet vermeld wordt is dat Dogpile zelf voor dit probleem ook geen oplossing biedt, omdat het op zijn eigen resultatenpagina's nooit meer dan 20 treffers toont, en dan nog algoritmische en gesponsorde door elkaar.
De afwijkende manier waarop Dogpile als metazoekmachine met zijn resultaten omgaat, geeft ook een scheef beeld van de relatieve relevantie van zijn zoekresultaten. Relevantie wordt in het onderzoek gemeten aan de hand van het percentage zoekacties dat in een klik (aangeklikte link) resulteerde (de zogeheten "Success Rate"), en het aantal links per eerste resultatenpagina dat dan werd aangeklikt (Clicks per Successful Search). Uit eigen ervaring lijkt mij dit nogal een dubieuze manier om relevantie te meten, maar alla. Nog dubieuzer vind ik dat op blz. 18 van het rapport de Success Rate, resp. de Clicks per Successful Search van Dogpile (62,9%, resp. 2,08) worden vergeleken met die van de afzonderlijke zoekmachines (bijvoorbeeld Google 55,6%, resp. 1,95) zonder dat daarbij uitdrukkelijk melding wordt gemaakt van het feit dat de doorsnee eerste resultatenpagina van Dogpile 18,4 treffers bevat, en die van Google 11,3. Dat gegeven staat wel in het rapport, op blz. 13, maar wordt niet bij de berekening op blz. 18 uitdrukkelijk vermeld. We zullen dus niet weten of de resultaten van Google en de andere afzonderlijke zoekmachines op het punt van de zo gemeten relevantie niet beter zouden zijn dan die van Dogpile als het aantal treffers per pagina voor de afzonderlijke zoekmachines eenvoudig op 20 was ingesteld.
Wat ook niet wordt vermeld is dat de verhouding tussen algoritmische en gesponsorde resultaten bij Dogpile heel anders kan zijn dan bij de achterliggende zoekmachines. Een zoekactie naar
Hawaii vacation bijvoorbeeld levert 17 gesponsorde treffers (dus advertenties) op, naast slechts 3 algoritmische resultaten. Van de 17 gesponsorde treffers zijn er overigens 2 van Looksmart, dus niet van een van de vier groten.
Er is nog een algemene veronderstelling waarvan metazoekmachines uitgaan waar ik mijn twijfels bij heb. Dat is dat een treffer die bij zoekmachine a op plaats 9 in de ranking staat per definitie "beter" is dan die welke bij zoekmachine b op plaats 11 staat. Bovendien wordt verondersteld dat treffer 1 van zoekmachine a altijd beter is dan treffer 10 van dezelfde zoekmachine. In werkelijkheid is het heel goed mogelijk dat alle eerste tien treffers een goed antwoord op de vraag bevatten. Last but not least is de veronderstelling dat een vraag die bij zoekmachine a niet tot een klik leidt (en "dus" niet succesvol is -- op zichzelf ook al een twijfelachtige aanname), dat bij zoekmachine b wel zou doen, ook nogal gewaagd: in veel gevallen zal de vraagstelling gewoon verkeerd zijn geweest. Dat zou misschien ook wel kunnen worden opgemaakt uit het hoge percentage (37,1%) zoekacties dat zelfs bij Dogpile niet tot een klik op de eerste resultatenpagina leidde.
Het rapport bevat nog een paar interessante getallen: zo gebruiken zoekers gemiddeld 2,8 zoekmachines per maand, en meldt de studie op blz. 7 dat het web 45 miljard openbaar toegankelijke statische webpagina's telt. Het laatste getal komt naar het schijnt bij
About.com vandaan, maar wordt daar onvoldoende toegelicht.
Misschien ben ik te negatief over dit onderzoek. Voor een heel wat positiever geluid, zie Chris Shermans bespreking in
SearchEngineWatch van 2 augustus.
