Addenda

Ik heb nog een paar toevoegingen bij mijn laatste post over Citatie-indexen voor de geesteswetenschappen.
In de eerste plaats was Janus Linmans zo vriendelijk mij erop te attenderen dat de naam van de European Citation Index in the Humanities inmiddels is veranderd in European Reference Index for the Humanities (ERIH). Onder die naam blijkt het project een minder sluimerend bestaan te leiden dan ik vermoedde, want Google geeft er diverse treffers op. De interessantste daarvan zijn een korte beschrijving en planning van het project op de site van NWO en, vooral, een site van de Vrije Universiteit Brussel met een overzicht van tijdschriften in diverse geesteswetenschappen die door de Vlaamse Interuniversitaire Raad bij de ESF zijn voorgedragen voor opname in ERIH.
Verder heb ik gezien dat er ook plannen bestaan voor een Open Access Citation Index (Word document).
Ten slotte vond ik nog een preprint van artikel, getiteld Google Scholar: The New Generation of Citation Indexes (Libri 55(2005), 4, 170-180), waarin Alireza Noruzi aan de hand van een voorbeeld op het terrein van "webometrics" de citatieresultaten ("Cited by ...") van Google Scholar met die van het Web of Science vergelijkt. Zonder de tekortkomingen van Google Scholar te bagatelliseren oordeelt de auteur toch positiever over deze database als citatie-index dan Péter Jacsó.

Citaties in de geesteswetenschappen

Inleiding
De aanleiding tot deze post vormt het afscheid van Janus Linmans als adjunct-bibliothecaris van de UB Leiden. De ingewijden onder u zullen meteen begrijpen wat deze aanleiding met de titel van deze post te maken heeft, maar voor wie dat niet al duidelijk is: dit afscheid is niet een overgang naar een gepensioneerd of geprepensioneerd bestaan, maar naar een nieuwe baan, en wel bij het CWTS, het prestigieuze Centre for Science and Technology Studies van de Leidse universiteit. En zoals bekend wordt daar onderzoek verricht naar moeilijke maar hoogst interessante zaken als citatie-analyse en bibliographic mapping. Naar ik begrijp zal Janus hier onderzoek gaan doen naar -- heel algemeen gezegd -- de bruikbaarheid van kwantitatieve methoden bij de evaluatie van onderzoek in de geesteswetenschappen, en mij dunkt dat dit onderzoek in hem een onderzoeker heeft gevonden van wie we mogen verwachten dat hij hier zowel vanuit zijn eigen vakgebied -- zijn promotieonderzoek over de tekst van de synoptische evangeliën was een van de vroege voorbeelden van computerondersteunde tekstanalyse -- als vanuit zijn decennia lange ervaring in een grote wetenschappelijke bibliotheek een zeer waardevolle inbreng zal kunnen leveren.
Janus' overstap naar het CWTS en het onderzoek dat hij daar gaat doen hebben mij ertoe gebracht mij eens wat verder in het verschijnsel citatie-indexen, en speciaal citaties in de humaniora te verdiepen. Hieronder volgen wat notities over dat onderwerp.

Citatie-indexen
Citatie-indexen zijn in de eerste plaats bedoeld om literatuur op te sporen. Maar anders dan bij bibliografieën en bibliografische databases is het daarvoor niet nodig alle bestaande literatuur te ontsluiten, maar kan worden volstaan met de literatuurverwijzingen in de literatuur zelf te volgen door een geautomatiseerde variant op het bekende sneeuwbalsysteem. Terwijl dit systeem alleen terug wijst, wijzen de verbanden die de computer tussen citerende en geciteerde literatuur legt, ook vooruit: via geciteerde literatuur vind je in een citatie-index ook citerende literatuur.
Omdat citerende literatuur altijd minstens één verwijzing naar oudere literatuur bevat, is de hoeveelheid geciteerde literatuur in citatie-indexen aanzienlijk omvangrijker dan de hoeveelheid citerende literatuur. De mate waarin dat het geval is verschilt per vakgebied: volgens de laatste opgave van Thomson Scientifics Web of Science [Word-document] worden aan het Sciences-gedeelte van deze database wekelijks 22.200 nieuwe artikelen toegevoegd, met tezamen 420.600 nieuwe referenties, aan het Social Sciences-gedeelte 3000 nieuwe artikelen, met tezamen 70.600 nieuwe referenties, en aan het Arts and Humanities-deel 1800 nieuwe artikelen met tezamen 15.500 nieuwe referenties. Deze referenties betreffen niet alleen tijdschriftartikelen, maar alle publicatievormen waarnaar verwezen kan worden: boeken, bijdragen in bundels, rapporten etc. Citatie-indexen bestaan dus voor een heel groot deel uit geciteerde literatuur en voor een veel kleiner deel uit citerende literatuur (zij het dat die literatuur zelf behalve dat ze citeert ook geciteerd kan zijn).
Een eigenaardigheid van Thomson Scientifics citatie-indexen (verder te noemen: Web of Science) is dat de zoekfunctie van de database alleen de verwijzende artikelen vindt, niet de geciteerde publicaties. Die vind je wel, maar alleen als de belangrijkste gegevens daarvan bekend zijn, bijvoorbeeld auteursnaam en/of titel van de source (tijdschrift, boek, bundel, congresbundel enz.) en/of jaar van uitgave. Titels van geciteerde artikelen of bijdragen zijn niet opgenomen, zulke publicaties dienen alleen voor cited reference searches, dus om tijdschriftartikelen te vinden waarin die publicaties geciteerd worden.
Het gedeelte citerende literatuur is zo klein omdat het voor elk van de vakgebieden die het Web of Science bestrijkt uit een heel select aantal tijdschriften komt. Op die selectie van die tijdschriften is een wet toegepast die bekend staat als "Garfield's Law of Concentration" -- zo genoemd naar Eugene Garfield, de grondlegger van Thomson Scientifics voorloper ISI en diens citation indexes -- en die via "Bradford's law of scattering" teruggaat op het principe van Pareto, ook bekend als de 80/20-regel: 80 procent van de rijkdom van Italië aan het eind van de 19e eeuw was in het bezit van 20 procent van de mensen. In het geval van de citation indexes -- of van bibliotheekcollecties -- betekent dit dat ca. 20 procent (het exacte getal kan verschillen, de ongelijke verdeling kan ook 90:10 zijn) van de tijdschriften op een bepaald vakgebied 80 procent van de significante literatuur op dat vakgebied dekt. Garfield's Law of Concentration veralgemeniseert deze wet door haar van toepassing te verklaren op de literatuur van de sciences (Garfield bedoelt hier de natuurwetenschappen) in het algemeen: het is mogelijk een beperkte collectie tijdschriften (de "core collection") samen te stellen die de significante literatuur op elk vakgebied -- tot een bepaald percentage -- dekt, zowel in termen van citerende als in die van geciteerde artikelen. Volgens Garfield in 1971 zou dat doel al met een collectie van 1000 tijdschriften kunnen worden bereikt. 35 jaar later zijn het er, wat de science citation index van Thomson Scientific betreft, bijna zes maal zoveel.
Wil Garfield's Law of Concentration werken, dan is de samenstelling van de "core collection" van essentieel belang. De geselecteerde publicaties dienen toonaangevend en representatief te zijn voor het vakgebied waarvoor ze in de collectie worden opgenomen, en een belangrijk criterium daarbij is het aantal citaties dat ze trekken. In de praktijk blijkt een hoog aantal verwijzingen vanuit die tijdschriften overigens samen te gaan met een hoog aantal verwijzingen naar artikelen in die tijdschriften. De rijken vlooien elkaar.
De oplettende lezer zal hebben opgemerkt dat er een aanzienlijk verschil bestaat tussen enerzijds de verhouding tussen de wekelijks toegevoegde nieuwe artikelen en nieuwe citaties in de Sciences (1:20) en de Social Sciences (1:23), en anderzijds die in de Arts & Humanities (1:9). Kennelijk wordt in het laatste vakgebied in tijdschriftartikelen veel minder geciteerd dan op beide andere wetenschapsterreinen. Wat dat voor consequenties heeft voor de gewenste absolute omvang van de core collection in de Arts & Humanities kan ik niet overzien, maar mij dunkt dat het wel betekent dat de wetten van Bradford en Garfield op dit terrein met andere percentages (bijvoorbeeld 40:60) van toepassing zijn dan in de Sciences (20:80).
Een andere opmerking die ik op dit punt wil maken is dat het mij zeer onwaarschijnlijk lijkt dat Garfields Law of Concentration ook voor de humaniora geldt (als ze dat al voor de sciences doet). Ik kan mij bijvoorbeeld niet voorstellen dat de core collections tijdschriften van de vakgroepsbibliotheken van Geschiedenis, Nederlandse Taal- en Letterkunde en Archeologie op dezelfde manier uitwisselbaar zouden zijn als tijdschriftencollecties voor diergeneeskunde, electrotechniek en toxicologie dat volgens Garfield zijn.

Gebruik van citatie-indexen
Zoals bekend kan citatie-analyse voor een aantal doeleinden worden gebruikt, waarvan de belangrijkste zijn:

• het vinden van nieuwere (citerende) literatuur over een onderwerp, uitgaande van al bekende (geciteerde) literatuur
• het vinden van andere literatuur over een onderwerp op basis van het feit dat twee of meer publicaties (liefst zoveel mogelijk) citaties gemeenschappelijk hebben (bibliografische koppeling) of het feit dat twee of meer publicaties tezamen in een derde publicatie worden geciteerd (co-citatie)
• het meten en raten van de wetenschappelijke productie per land, vakgebied, onderzoeksinstelling, onderzoeksgroep en individuele onderzoeker op basis van aantallen publicaties
  
• het ranken van tijdschriften, onderzoek, onderzoekers en onderzoeksgroepen op basis van aantallen en "belang" van citaties. Met "belang" wordt hier bedoeld dat citaties hoger scoren naarmate de citerende bron zelf ook meer citaties trekt. Verdergaande doeleinden waarvoor zulke rankings kunnen worden gebruikt zijn onder meer de selectie van aan of af te schaffen tijdschriften door bibliotheken en de financiering van onderzoek en onderzoekers door de overheid of daartoe aangewezen organen
• een functie die je zelden expliciet genoemd vindt maar die mijns inziens wel van groot belang zou kunnen zijn, zeker in vakgebieden met een multidisciplinair karakter en een tamelijk "losse" verwijzingspraktijk zoals de humaniora, is dat citatie-indexen de communicatie en de discussie tussen wetenschappers kunnen bevorderen doordat zij op een simpele manier kennis kunnen nemen van wat anderen over hun publicaties of daarin geuite gedachten geschreven hebben.
  

Het is verstandig deze doeleinden te onderscheiden, omdat citatie-indexen in elk daarvan in verschillende mate succesvol zijn. Dat komt doordat aan elk van die doeleinden een veronderstelling ten grondslag ligt die min of meer wordt waargemaakt. Bij de eerste twee doeleinden is dat dat een verwijzing van de ene publicatie naar de andere deze beide publicaties qua onderwerp met elkaar verbindt, en dat twee publicaties die naar een zelfde derde publicatie verwijzen of waarnaar in een zelfde derde publicatie verwezen wordt, eveneens qua onderwerp met elkaar verbonden zijn (en des te meer zo naarmate ze meer verwijzingen met elkaar gemeen hebben); bij het derde doel is het, kortweg gezegd, dat kwantiteit iets over kwaliteit zegt. U zult mij niet horen beweren dat die veronderstellingen onjuist zijn; enkel dat ze, omdat het verschillende veronderstellingen zijn, in verschillende mate juist/onjuist zijn.
Behalve voor de hierboven genoemde doeleinden wordt citatie-analyse ook gebruikt voor het opsporen van wetenschappelijke trends en afbakeningen en relaties tussen onderzoeksgebieden.

Diverse citatie-indexen
De bekendste citatie-indexen zijn natuurlijk die van Thomson Scientific, het vroegere ISI, de Science Citation Index (SCI, 1900- ), de Social Sciences Citation Index (SSCI, 1956- ) en de Arts & Humanities Citation Index (AHCI, 1975- ). Tezamen dekken ze in het Web of Science ongeveer 8700 tijdschriften, waarvan ca. 5900 in de exacte, de natuur- en de biomedische wetenschappen, 1700 in de sociale wetenschappen en bijna 1150 in de humaniora. Deze databases bestrijken dus zeer brede terreinen, reden waarom ze vaak als multidisciplinair worden aangeprezen, en dat karakter wordt nog versterkt doordat ze niet alleen maar het eigen tijdschriftenbestand dekken, maar ook afzonderlijke artikelen, voor zover toepasselijk, uit de tijdschriftenbestanden van de andere databases. Zo dekt de AHCI artikelen uit ca. 7000 tijdschriften in de bestanden van SCI en SSCI, en dekt de SSCI naast de 1700 eigen tijdschriften nog individuele artikelen uit het SCI-bestand. Samen vormen deze drie bestanden tegenwoordig het Web of Science. Daarnaast ranken de Journal Citation Reports (JCR) de voor de citation indexes gebruikte brontijdschriften volgens diverse criteria (total cites, impact factor, immediacy index en cited halflife). Zulke Journal Citation Reports bestaan voor de sciences en de social sciences, maar niet voor de arts and humanities. Zoals we zullen zien zou dat ook niet veel zin hebben.
ISI, het Institute for Scientific Information, het geesteskind van Eugene Garfield, was niet het eerste en ook niet het laatste instituut dat citatie-analyse voor de hierboven vermelde doeleinden gebruikte. Garfield zelf noemt als voorbeeld een juridisch systeem, Shepard's Citations, en al in 1927 verscheen in het tijdschrift Science een artikel van P.L.K. Gross & E. M. Gross, waarin zij citatietellingen in tijdschriften aanbevalen als middel om abonnementen voor een kleine scheikundige bibliotheek te selecteren (een primitieve voorloper van de JCR). Op het Web is PageRank, de naar Larry Page genoemde formule volgens welke de zoekmachine Google in zijn zoekresultaten pagina's rangschikt die ook anderszins -- met name in de overeenkomst tussen zoektermen en documenttermen -- hoog scoren, het bekendste voorbeeld van een toepassing van citatie-analyse; bij de grote internationale zoekmachines biedt het prefix link: daarnaast nog eens de mogelijkheid pagina's op te sporen die naar een al bekende pagina verwijzen. Een andere toepassing heeft citatie-analyse in de wereld van de weblogs gevonden, waar doorgaans zowel kan worden getraceerd door welke posts van andere blogs een post geciteerd wordt, als de links kunnen worden geteld die een blog en/of de afzonderlijke posts getrokken hebben; op basis daarvan kunnen kunnen blogs op een soortgelijke manier worden gerankt als dat met tijdschriften in de JCR gebeurt. Een blogzoekmachine als BlogPulse kan zelfs worden gebruikt om trends op te sporen, zij het dat dit op basis van woordfrequenties en niet op basis van citatietellingen gebeurt.
Zoals gezegd worden citaties naar artikelen of naar tijdschriften onder meer gebruikt om tijdschriften, onderzoek en onderzoekers te ranken. Het World Wide Web, met zijn op het TCP/IP-protocol gebaseerde verbindingen tussen clients en servers, biedt in dit opzicht nog andere mogelijkheden. Naast "link popularity" wordt ook "hit popularity" (hoe vaak worden webpagina's of -sites bezocht) door sommige zoekmachines als rankingcriterium gehanteerd; en een boekhandel als Amazon rankt de boeken die hij verkoopt op basis van de aantallen verkochte exemplaren. Een creatieve pendant van het tweede doel van citatie-analyse dat ik hierboven noemde is Amazons "Customers who bought this book also bought...", waarbij de "bibliografische" koppeling niet door gemeenschappelijke citaten maar door gemeenschappelijke kopers wordt gelegd. Waar blijft de cartalogussoftware die mij meldt: "Lezers die dit boek hebben aangevraagd, hebben ook aangevraagd..."
Helemaal vergelijkbaar met citaties in tijdschriften zijn deze voorbeelden van citaties (links) op het Web natuurlijk niet: artikelen zijn statisch, webpagina's dynamisch. Daardoor kunnen pagina's die men vindt door de links vanuit een al bekende pagina te volgen op het moment dat ze bezocht worden nieuwer zijn dan de verwijzende pagina; en omgekeerd worden met het prefix link: niet altijd citerende pagina's opgespoord die recentere informatie bevatten dan de pagina waarnaar ze linken.
Ook voor publicaties -- met name tijdschriftartikelen -- die vroeger normaal in druk verschenen, heeft de digitalisering van teksten citatie-analyse op een veel groter schaal mogelijk gemaakt dan een halve eeuw geleden, toen Garfield zijn idee opperde, voor mogelijk zal zijn gehouden. Sommige uitgevers en distributeurs van tijdschriften, zoals PubMed Central, Highwire Press en Ebsco, bieden de mogelijkheid publicaties te vinden die een artikel in een door hen gepubliceerd of gedistribueerd tijdschrift citeren, als service aan hun online gebruikers, zij het dat die tot de citaties in hun eigen assortiment tijdschriften beperkt blijft. Sinds november 2004 is als algemene mogelijkheid om citaties op te sporen daar ook nog Google Scholar bijgekomen, terwijl als grote concurrent voor het Web of Science sinds kort ook Elseviers Scopus met zijn Citation Tracker aan de weg timmert. Voor twee uitgebreide (maar incomplete) overzichten van diensten die het zoeken naar citaties mogelijk maken, zie: Dana L. Roth, The emergence of competitors to the Science Citation Index and the Web of Science in Current Science Online van november 2005, en Finding Cited Authors in the Humanities & Social Sciences.

Web of Science
In hoeverre zijn citatie-indexen in de humaniora succesvol in het bereiken van hun doeleinden? Ik bepaal me hier voorlopig even tot het Web of Science, omdat de citatie-indexen daarvan het bekendst en het meest gebruikt zijn. Zelf heb ik ze nooit veel gebruikt, ik geef de voorkeur aan de traditionele, met trefwoorden, classificatiecodes en dergelijke verrijkte bibliografische databases, maar dat komt misschien doordat ik meestal in de humaniora of de sociale wetenschappen zoek. Een goede reden om naast bibliografische databases toch ook een citatie-index te gebruiken is dat die doorgaans meer multidisciplinair is en nog wel eens extra onverwachte resultaten kan opleveren. Maar verder...? Mijn -- beperkte -- ervaring is dat bibliografische koppeling en co-citatie doorgaans veel ruis opleveren, zodat je veel tijd kwijt bent aan het vinden van betrekkelijk weinig op het oog relevante documenten. Met de ranking van onderzoekers, onderzoek en tijdschriften heb ik nooit iets te maken gehad, maar het gebruik van de AHCI voor dat doel lijkt me om diverse redenen ongewenst en onverstandig.

Nationale en regionale accenten in onderzoek in de humaniora
In de eerste plaats lijkt het aantal van 1148 citerende tijdschriften in de humaniora dat de AHCI analyseert, nogal gering, ook al was dat op basis van Garfield's Law of Concentration te verwachten. De AHCI dekt tijdschriften op het terrein van taal- en letterkunde, klassieke oudheid, kunst, architectuur, archeologie, muziek, religie, filosofie, geschiedenis, dans, folklore, film, toneel, radio en TV. Op zichzelf hoeft dit grote aantal terreinen geen probleem te zijn, maar het wordt dat wel als we bedenken dat de humaniora in het algemeen, uitzonderingen daargelaten, een sterk nationaal of regionaal karakter hebben (enigszins vergelijkbaar met de rechtswetenschappen). Dat betekent dat de meeste van de hierboven genoemde terreinen met een factor van tot 191 zouden moeten vermenigvuldigd om voor alle lidstaten van de VN aan dat karakter recht te doen. Terwijl er niet zoiets bestaat als Nederlandse chemie of Zweedse astronomie, hebben Nederlandse onderzoekers op het terrein van de Nederlandse taal, Zweedse onderzoekers op het terrein van de Zweedse geschiedenis of Chinese onderzoekers op het terrein van de Chinese archeologie voor alle doeleinden waarvoor de AHCI bedoeld is, weinig aan de algemene voorwaarden die ISI voor opname van tijdschriften in de AHCI stelt. De criteria die ISI daarvoor hanteerde (en die Thomson Scientific naar ik aanneem nog altijd hanteert), verschillen niet van die voor de sciences en de social sciences. In de praktijk leidt dit ertoe dat voor de Nederlandse taalkunde alleen het Tijdschrift voor Nederlandse Taal- en Letterkunde in de tijdschriftenlijst van de AHCI vertegenwoordigd is, en niet bijvoorbeeld Nederlandse Taalkunde, Taal en Tongval, neerlandistiek.nl, Leuvense Bijdragen en Linguistics in the Netherlands. Van de 362 merendeels in Nederland uitgegeven tijdschriften en jaarboeken die het Repertorium betreffende de Geschiedenis van Nederland dekt, zijn in de AHCI alleen het Tijdschrift voor geschiedenis en Oud Holland vertegenwoordigd.

Enkele praktijkvoorbeelden
Nu hoeft een gering aantal "core journals", en dus een betrekkelijk aantal artikelen uit die tijdschriften, dat een onderwerp bestrijkt op zichzelf niet te betekenen dat een onderwerp niet behoorlijk wordt gedekt, immers, naast citerende artikelen bevatten de citation indexes een veel groter aantal geciteerde artikelen. Maar een paar voorbeelden uit andere kleine landen mogen duidelijk maken dat hier toch wel een probleem ligt.
In de tijdschriftenlijst van de AHCI is Zwitserland met 11 tijdschriften (ter vergelijking: USA: 500, Groot-Brittannië: 189) vertegenwoordigd, waarvan 4 op het terrein van de geschiedenis. In de zestiende eeuw schreven de Bazelse drukker en pedagoog Thomas Platter en diens beide zoons, de artsen Felix en Thomas Platter, memoires en reisdagboeken waaraan de bekende Franse historicus Emanuel le Roy Ladurie vanaf 1995 enkele geleerde boeken gewijd heeft. Een Zwitsers onderwerp dus, waarvoor ook internationale belangstelling bestaat.
In dit geval kunnen we de resultaten van de AHCI bij een zoekactie naar Platter vergelijken met die van de Bibliographie der Schweizergeschichte (BSG), waarvan de jaargangen vanaf 1999 vrij toegankelijk en doorzoekbaar op het Web staan. Een zoekactie in deze bibliografie, die ook buitenlandse literatuur over Zwitserse onderwerpen dekt, levert 17 treffers op: 6 artikelen in tijdschriften, vijf boeken (waaronder een van Le Roy Ladurie), 2 bijdragen in bundels, 2 artikelen in jaarboeken, één bijdrage in een congresbundel en één artikel in een biografisch woordenboek. Dezelfde zoekactie in de AHCI + de SSCI over de periode 1999-2006 levert 27 treffers op, waarvan 7 over de familie Platter of een of meer van de leden daarvan gaan; 2 treffers zijn tijdschriftartikelen, 5 zijn boekbesprekingen. Hoewel de naam Platter in de beide artikelen voorkomt -- in een van de twee zelfs in de titel -- zijn ze maar in beperkte mate relevant. Geen van de met de BSG gevonden publicaties komt op dit moment als geciteerde publicatie in de AHCI voor, al lijkt het waarschijnlijk dat dat met sommige in de naaste of verre toekomst nog wel eens zal gebeuren als daarnaar in een artikel in een van de door de AHCI gedekte tijdschriften zal worden verwezen.
Een tweede voorbeeld betreft de joodse geschiedschrijver Philo van Alexandrië (ca. 20 v.Chr. - na 40 na Chr.), die onder meer een werk schreef getiteld De vita contemplativa. Literatuur over deze auteur is te vinden in RAMBI -- The Index of Articles on Jewish Studies, waar de zoekactie [keywords in title:] Philo AND contemplativ* 7 titels (1986-2004) oplevert. Dezelfde zoekactie in de AHCI, eveneens op titelwoorden, levert 3 titels (1982-2004) op, 2 artikelen uit de Harvard Theological Review, en een boekbespreking uit Theological Studies. Van de 7 artikelen en bijdragen in bundels die RAMBI vindt, vindt AHCI er 6 niet, maar 2 daarvan zijn wel via de cited references te vinden. Het zijn bijdragen in jaarboeken, en de verwijzingen in de AHCI komen uit boekbesprekingen. Van de vier die de AHCI helemaal niet vindt, staat er één in een tijdschrift, 2 staan in feestbundels en één in een gewone bundel.
Een derde voorbeeld betreft een vergelijking met de Bibliography of the Swedish History of Literature. Johan Henric Kellgren was een Zweedse dichter en criticus, tijdgenoot van Mozart. In deze database vind je op de zoekterm Kellgren als titelwoord 25 treffers, waarvan 20 artikelen/bijdragen/hoofdstukken, over de jaren 1980-2005. Dezelfde zoekactie in de AHCI levert 7 artikelen op, over dezelfde periode. De AHCI-treffers komen uit 3 tijdschriften, Scandinavica, Scandinavian Studies en Svensk Litteraturtidskrift, waarvan de Bibliography of the Swedish History of Literature het laatste tijdschrift niet heeft; in totaal heeft de AHCI 5 treffers die niet in de bibliografie voorkomen. De 23 treffers uit de Bibliography of the Swedish History of Literature die de AHCI niet heeft komen uit onder meer uit het Historisk tidskrift för Finland, het Tijdschrift voor skandinavistiek, Samlaren en Nysvenska studier. Van die 23 treffers blijken er 4 (3 boeken en 1 artikel) wel via de Cited Reference search in de AHCI te vinden te zijn; maar tezamen leveren die maar 1 mogelijk relevant nieuw artikel op dat niet al via de General Search was gevonden.
Als laatste voorbeeld een uit eigen land. Wie in de BNTL naar de term Bargoens als titelwoord zoekt, vindt over de periode 1975-2005 20 treffers (waarvan 12 tijdschriftartikelen), in BL Online 3 treffers (1 artikel), en in de AHCI niets. BNTL en BL Online hebben twee treffers gemeen; van de in totaal 21 treffers die in deze beide bestanden worden gevonden, komen er 3 ook als cited reference ook in de AHCI voor, die worden geciteerd in 5 potentieel interessante artikelen die niet met de BNTL of de BL Online waren gevonden.
De AHCI bevat dus veel relevante literatuur niet die via de gewone bibliografische databases wel kan worden gevonden. De oorzaak daarvan is niet dat de auteurs van die literatuur van minder allooi zijn dan de auteurs van literatuur die hetzij direct hetzij via cited references wel in de AHCI worden gevonden: uitzonderingen daargelaten komen de auteurs van de in de bibliografieën gevonden literatuur ook in de AHCI voor, maar dan als auteur van andere publicaties. Ook de publicaties (journals of cited works) waarin die in de AHCI niet gevonden literatuur is gepubliceerd, zijn niet (zichtbaar) van minder allooi: je vindt ze wel in de cited work index of de list van journal abbreviations, soms zelfs in combinatie met de betreffende auteur, maar niet voor het gezochte artikel.
In de hierboven gegeven voorbeelden heb ik steeds de aantallen treffers vermeld die met de zoeksleutel titelwoorden werden gevonden. Dat leek me de meest zuivere vergelijking, omdat de AHCI maar in beperkte mate abstracts bevat en niet verrijkt is met trefwoorden. Het spreekt vanzelf dat bij gebruik van alle zoekmogelijkheden die de genoemde bibliografieën bieden de vergelijking nog verder in het nadeel van de AHCI zou uitvallen. Daaraan moet echter meteen worden toegevoegd dat er ook zoekacties zijn waarop de AHCI goed scoort, dat het multidisciplinaire karakter van de database soms verrassende resultaten oplevert en dat hetzelfde geldt voor de cited reference search.

Geen gemeenschappelijke voertaal
Met het hierboven vermelde probleem van het nationale of regionale karakter van veel onderzoek en publicaties in de humaniora hangt samen dat die publicaties veelal ook in de eigen taal zijn. Anders gezegd: anders dan de biomedische, de natuur- en de exacte wetenschappen, beschikken de humaniora niet (meer) over één gemeenschappelijke voertaal. Wie over de syntaxis van het moderne Nederlands schrijft, zal dat veelal nog in het Nederlands doen, net zoals wie over de "nouvelle vague" schrijft dat in een niet onaanzienlijk aantal gevallen nog in het Frans zal doen. Uit citatie-onderzoek in monografieën waarover John Cullars in de jaren 1980 en 1990 in The Library Quarterly en in College & Research Libraries heeft gepubliceerd, blijkt verder dat auteurs in de humaniora die in een andere taal dan het Engels publiceren, ook overwegend publicaties in diezelfde taal citeren (J. Cullars, "Citation Characteristics of French and German Fine Arts Monographs," Library Quarterly 66 (1996): 138-60, 152); en zelfs als Engelstalige auteurs monografieën publiceerden over buitenlandse literaire studies, citeerden ze daarin overwegend Engelstalige publicaties (J. Cullars, "Characteristics of the Monographic Scholarship of Foreign Literary Studies by Native Speakers of English," College & Research Libraries 49 (1988): 157-70).
Twee van de eisen die Thomson Scientific voor opname in zijn citation indexes aan tijdschriften stelt zijn de aanwezigheid van "English Language Bibliographic Information (including English article titles, keywords, author abstracts, and cited references)" en "the International Diversity of it authors and editors". Voor de SCI en -- in mindere mate -- voor de SSCI zijn dat, gegeven het bestaan van een lingua franca, redelijke voorwaarden, maar aan de waarde van de AHCI voor alle doeleinden waarvoor een citation index gebruikt wordt doen die eisen mijns inziens ernstig afbreuk.
Land- en taalvoorkeuren in de humaniora zijn vermoedelijk een van de redenen waarom de door Garfield in 1983 aangekondigde Journal Citation Reports voor de Arts & Humanities nooit gerealiseerd zijn. Je kunt de impact factor van het Journal of American History wel vergelijken met die van het Tijdschrift voor Geschiedenis, maar het is evident dat zo'n vergelijking andere zaken meet dan de bedoeling is. Andere redenen zijn waarschijnlijk dat ca. 70% van het materiaal waaruit tijdschriften in de humaniora bestaan (bijvoorbeeld boekbesprekingen, redactionele artikelen, correcties, ingezonden brieven etc.) door Thomson als "non-citable" wordt beschouwd (dus ook niet als cited references in de AHCI zijn opgenomen) en dat, zoals al eerder opgemerkt, oudere en soms heel oude literatuur in sommige van de geesteswetenschappen een zeer groot deel van de verwijzingen uitmaakt. (Zie: Umut Al, Mustafa Şahiner & Yaşar Tonta, Arts and Humanities Literature: Bibliometric Characteristics of Contributions by Turkish Authors, Journal of the American Society for Information Science & Technology 57 (6), april 2006, p. 23v., en het daar aangehaalde artikel van Péter Jacsó uit 2001.)
Meer over land- en taalvoorkeuren in de sociale wetenschappen en de humaniora vindt u in Éric Archambault en Étienne Vignola Gagné, Science-Metrix Final Report: The Use of Bibliometrics in the Social Sciences and Humanities, p. 16-23.

Andere publicatiekanalen
Een nog groter probleem is dat in de humaniora naast tijdschriften monografieën, feestbundels, congresbundels etc. een veel gebruikt publicatiemedium zijn; Garfield zelf wijst daar ook op in zijn opstel Is information retrieval in the arts and humanities inherently different from that in science? Voorbeelden bieden de Nederlandse taalwetenschap (vgl.) en de geschiedenis van Nederland. In citatie-indexen zoals de AHCI wordt weliswaar wel naar boeken verwezen, maar er worden geen monografieën in geïndexeerd. Dat betekent dat voor die vakken een omvangrijk en belangrijk deel van de wetenschappelijke productie buiten beeld blijft, en dat heeft zo zijn consequenties voor alle doeleinden waarvoor citatie-indexen gebruikt worden: bij het zoeken naar nieuwere publicaties over een onderwerp waarover een oudere publicatie -- een artikel of een boek -- bekend is, worden geen monografieën gevonden, bibliografische koppeling en co-citatie werken ook maar gebrekkig, en ranking van onderzoek en onderzoekers op basis van alleen maar artikelen zou die auteurs die voornamelijk of grotendeels in boekvorm publiceren ernstig tekortdoen. Vergelijkend onderzoek naar citaties in de sociologie in monografieën en tijdschriften bevestigt deze voor de hand liggende veronderstelling: de onderzoekers verzamelden ruim 30.000 verwijzingen uit 90 monografieën op sociologisch terrein, gepubliceerd in de jaren 1985-1993, en vergeleken de 26 auteurs met de hoogste citatiescore in deze steekproef (lijst A) met de lijst van 26 meest geciteerde auteurs over dezelfde periode in 24 sociologische tijdschriften met een hoge impact factor in de SSCI (lijst B). Daarbij bleek de overlap betrekkelijk gering: slechts 9 auteurs kwamen in beide lijsten voor. Hoewel een aantal van de 17 auteurs in lijst A die niet in lijst B voorkwamen de klassieke namen waren die je eerder als verwijzing in een monografie dan in een tijdschriftartikel zou verwachten aan te treffen (Freud, Lenin), waren anderen (Alejandro Portes , Jürgen Habermas, Peter L. Berger, J. Burgoyne) in de periode waarover het onderzoek ging nog volop actief.
Hoe gering de rol is die tijdschriftartikelen in de alfa-wetenschappen spelen, blijkt uit onderzoek dat door het Canadese Observatoire des Sciences et des Technologies is gedaan (zie: V. Larivière et al., The Place of Serials in Referencing Practices: Comparing Natural Sciences and Engineering with Social Sciences and Humanities, preprint van een voor publicatie geaccepteerd artikel in the Journal of the American Society for Information Science and Technology (JASIST). De onderzoekers analyseerden de over de periode 1981-2000 in de citation indexes van ISI (de voorlopers van het Web of Science) geciteerde literatuur en verdeelden die voor acht vakgebieden in de sociale wetenschappen en de humaniora in tijdschriftartikelen en andere publicatievormen. Daarbij bleken tijdschriftartikelen in de letterkunde, de geschiedenis en de andere humaniora gezamenlijk over de hele periode nooit meer dan 31 procent van de geciteerde literatuur te hebben uitgemaakt, een percentage dat bovendien sinds 1986-87 een over de hele linie dalende tendens vertoont. Hoewel het hier om een telling van citaties, en niet van publicaties gaat, lijkt de conclusie gewettigd dat tijdschriftartikelen in de arts & humanities een ondergeschikte rol spelen. Voor een overzicht van de uitkomsten van ouder onderzoek op basis van citaties naar de afwijkende publicatiekanalen in de humaniora, zie Jennifer Wolfe-Thompson, The Death of the Scholarly Monograph in the Humanities? Citation Patterns in Literary Scholarship. Libri 52 (2002), p. 121-136, speciaal p. 124v.
Hierboven schreef ik dat het gebruik van de monografie als publicatievorm een probleem voor de AHCI vormt omdat daarin geen boeken geïndexeerd worden. Maar nog in een ander opzicht verdraagt het boek als publicatievorm zich moeilijk met de retrievalfunctie van de AHCI. Boeken worden daarin immers wel als cited references gevonden. Een van de redenen waarom ik citation indexes niet graag gebruik is dat zoekacties op basis van een geciteerde publicatie zoveel ruis opleveren: bij nadere inspectie van de verwijzende publicatie blijkt die over iets heel anders te gaan dan de verwijzing zou doen hopen; of de verwijzing is naar een noot die zelf weer verwijst naar een al eerder gevonden publicatie. Met andere woorden: tussen citerende en geciteerde publicatie bestaat maar een tamelijk losse onderwerpsrelatie. Maar als dat al bij tijdschriftartikelen onderling zo is, hoeveel meer is dat dan het geval als tijdschriftartikelen naar monografieën verwijzen.

Gevolgen voor citatiescores
Tot welke gevolgen de combinatie van deze drie problemen -- land- en taalgebondenheid en een afwijkend publicatiegedrag -- in vakgebieden als Nederlandse taalwetenschap en geschiedenis van Nederland leidt valt gemakkelijk met twee voorbeelden te illustreren: als we in de AHCI naar verwijzingen naar werk van de in ons land toch niet onbekende historicus A.Th. van Deursen zoeken, vinden we er 3 (1996-2006: 1), en geen daarvan is naar zijn twee grote studies Bavianen en Slijkgeuzen en Mensen van klein vermogen. De neerlandicus Frits van Oostrom heeft in de AHCI 14 (1996-2006: 9) citaties, waarvan er 8 uit het Tijdschrift voor Nederlandse Taal- en Letterkunde komen. Het is duidelijk dat deze aantallen zo klein zijn dat elke vorm van ranking op basis daarvan zinloos is. Daarbij komt dan ook nog eens dat de kennelijk heel andere citatiegewoonten in de humaniora dan die welke in de exacte wetenschappen gebruikelijk zijn -- men citeert veel oudere auteurs --, tot merkwaardige chronologische onevenwichtigheden leiden: tegenover de 3 citaties (1996-2006: 1) in de AHCI voor Van Deursen staan er 118 (1996-2006: 18) voor Romein (1893-1962) en 231 (1996-2006: 51) voor Geyl (1887-1966); en tegenover de 14 (1996-2006: 9) van Van Oostrom staan er nog steeds 104 (1996-2006: 35) van Eelco Verwijs (1830-1880), waarvan het merendeel naar diens Middelnederlandsch woordenboek (jazeker, dat doet ook mee!). In zijn Is information retrieval in the arts and humanities inherently different from that in science? besteedt Garfield wel aandacht aan deze afwijkende citatiegewoonten, maar gaat vervolgens meer in op de manier waarop in de AHCI een aantal daaruit voortvloeiende technische problemen wordt opgelost dan op de consequenties ervan.
Inmiddels heeft Thomson Scientific eind november vorig jaar een Web Citation Index aangekondigd, een "multidisciplinary citation index of scholarly content from institutional and subject-based repositories". In een persbericht van januari 2006 is sprake van samenwerking met ProQuest, dat wetenschappelijke instellingen met zijn Digital Commons-technologie een open access archiveringsoplossing aanbiedt. De Web Citation Index zou hier de citatie-index voor zijn rekening nemen. Uit het massieve p.r.-proza van beide persberichten is mij niet duidelijk geworden of de Web Citation Index inmiddels gerealiseerd of nog toekomstmuziek is. Behalve in de persberichten heb ik op de site van Thomson Scientific nog geen spoor van deze nieuwe index kunnen vinden.

Google Scholar: een alternatief voor de AHCI?
Het gebruik van de AHCI voor de diverse doeleinden waarvoor citatie-indexen worden gebruikt laat dus in tal van opzichten sterk te wensen over. Hierboven heb ik al vermeld dat op het Web diverse andere voorbeelden van citatie-analyse te vinden zijn. Is daar een alternatief voor de AHCI bij?
Als dat er is, zou het Google Scholar moeten zijn. De faciliteiten die uitgevers en distributeurs van tijdschriften op dit terrein bieden beperken zich immers tot het tijdschriftenpakket dat ze aanbieden, en Scopus, Elseviers alternatief voor het Web of Science, laat de humaniora geheel links liggen. Google Scholar biedt in zijn Advanced Search de mogelijkheid een zoekactie naar een auteur of publicatie tot de Social Sciences, Arts, and Humanities te beperken. En het geeft zowel bij tijdschriftartikelen als bij boeken het aantal en de lijst van de publicaties waarin een zo gevonden publicatie geciteerd is. Daardoor kan het in principe als alternatief voor de AHCI worden gebruikt.
Hoewel het Advanced Search-scherm van Google Scholar de indruk wekt dat alleen artikelen kunnen worden gevonden, zijn daarmee ook boeken te vinden. Een zoekactie met "Author Articles written by" "J Habermas" levert 742 treffers op, verdeeld over artikelen (en abstracts, preprints etc.), [BOOKs] en [CITATIONs]. Daarbij linken de artikelen etc. en de [BOOKs] naar publicaties van Habermas zelf (te vergelijken met het resultaat van een General of een Advanced Search in het Web of Science), terwijl [CITATIONs] linken naar literatuur -- artikelen, monografieën etc. -- waarin de in de resultatenlijst vermelde publicatie -- artikel, boek etc. -- van Habermas vermeld wordt (te vergelijken met het resultaat van een cited reference search in het Web of Science . Eén ding dat Google Scholar dus op de AHCI voor heeft, is dat GS niet alleen artikelen, maar ook boeken zoekt. Een ander voordeel van Google Scholar boven Web of Science is dat GS niet alleen de artikelen en boeken die het vindt sorteert in volgorde van het aantal keren dat ze geciteerd worden (het Web of Science heeft die optie in de Advanced Search ook), maar je bij de [CITATIONs] ook laat zien hoe de citerende publicaties ranken: als je bij een [CITATION] in de resultatenlijst van een zoekactie de link "Cited by #" aanklikt toont Google de publicaties waarin een referentie naar het gezochte boek of artikel gevonden is in volgorde van het aantal malen dat die publicaties zelf geciteerd worden.
Dat wil echter niet zeggen dat Google Scholar geschikt is om citatietellingen mee uit te voeren; daarvoor gaat er bij de geautomatiseerde parsing van de teksten die de bots van Google Scholar lezen nog veel te veel mis. Om slechts één voorbeeld te noemen: bij de zoekactie naar Habermas als auteur vindt Google Scholar 742 treffers, waaronder 55 artikelen etc., 64 [BOOKs] en 623 [CITATIONs]. Dit zou de indruk kunnen wekken dat Google Scholar voor het gezamenlijke werk van Habermas 623 [CITATIONs] vindt, maar in werkelijkheid zijn het er veel meer. Alleen al bij de eerste treffer, het [BOOK] Knowledge and human interests, toont Google Scholar zelf ca. 1000 citaties, en datzelfde boek vinden we in diverse uitgaven en vertalingen ook nog eens als [BOOK] of [CITATION] in de lijst terug, steeds met andere "Cited by" getallen en lijsten. Wat Google Scholar doet is in de hele ruimte die het indexeert unieke strings verzamelen die publicaties als artikel etc., [BOOK] of [CITATION] identificeren. [BOOKs] vindt het ofwel bij Google Books, ofwel in de catalogus van de Library of Congress, [CITATIONs] worden uit noten en literatuurlijsten gehaald. Maar heel kleine verschillen, bijvoorbeeld tussen titels die waarvan de naamwoorden wel of niet met hoofdletters worden geschreven, kunnen er al voor zorgen dat hetzelfde boek meermalen als [CITATION], met de bijbehorende "Cited by"-lijst, in de resultatenlijst opduikt; om van, zoals gezegd, diverse uitgaven en vertalingen nog maar niet te spreken. Het zijn deze unieke strings die Google Scholars resultatenlijst samenstellen, maar om het werkelijke aantal citaties voor een auteur of zijn werk in Google Scholar te vinden zou je de werkelijke getallen bij alle verschillende vermeldingen van een publicatie (drukken, vertalingen, variante titelvermeldingen) of van alle publicaties samen (citatiescore auteur) bij elkaar moeten optellen.
Hoewel alleen dit gegeven al Google Scholar tot een voor de humaniora praktisch onbruikbaar instrument voor citatietellingen maakt, confronteert het ons wel met een aantal speciale problemen die citatietellingen op basis van boeken met zich meebrengen. Op deze problemen heeft Garfield overigens al in 1982 gewezen in zijn opstel "Arts and Humanities Journals Differ from Natural and Social Sciences Joumals—But Their Similarities Are Surprising". Opgelost zijn ze in het Web of Science ook niet: ook daar is het praktisch ondoenlijk het totale aantal verwijzingen naar Habermas' Theory of communicative action (Theorie des kommunikativen Handelns, Théorie de l'agir communicationnel etc.) op te sporen.
Tegen Google Scholar als "citation-based"en "citation-enhanced" database zijn nog veel meer bezwaren in te brengen, die niet alleen het gebruik van deze zoekmachine voor de humaniora raken en ook niet alleen het aspect van de citatietellingen. Kortheidshalve verwijs ik daarvoor naar Péter Jacsó's artikel As we may search -- Comparison of major features of the Web of Science, Scopus, and Google Scholar citation-based and citation-enhanced databases in Current Science, vol. 89, no. 9, 10 november 2005, en Jacsó's andere besprekingen van Google Scholar.

Andere alternatieven?
Het lijkt erop alsof er voor de humaniora nog geen bruikbare citatie-index bestaat die, voor de verschillende doeleinden waarvoor citatie-indexen dienen, een oplossing voor de hierboven vermelde problemen bieden. Nu hoeven niet alle problemen in één keer te worden opgelost, en een van de onderwerpen die beslist de moeite van verder onderzoek waard zijn, is of voor citation indexing in de humaniora aansluiting kan worden gezocht bij, of kan worden geleerd van, een aantal bestaande publicaties of projecten die misschien de juiste richting wijzen.
In de eerste plaats moeten dan de plannen voor een European Citation Index in the Humanities worden genoemd, een initiatief van het Standing Committee for the Humanities (SCH) van de European Science Foundation (ESF). Hoewel dit project sinds 2000/2001 loopt, is over concrete resultaten weinig bekend of weinig te vinden. Daarbij is het aan kritiek onderhevig. Zie Alexander Botte, Achievement or performance: observation of productivity of educational research by bibliometric tools. A state-of-the-art-report. Paper presented at the European Conference on Educational Research, University of Crete, 22-25 September 2004.
Een belangrijke rol in iedere poging om een bibliometrisch instrument te ontwikkelen dat zich beter leent voor gebruik in de humaniora dan Thomson Scientifics AHCI zal waarschijnlijk de beweging naar openbaar toegankelijke archieven of digitale bibliotheken met de bijbehorende protocollen en software (EPrints, DSpace) kunnen spelen. Zowel wetenschappers zelf als hun werkgevers hebben daar belang bij, omdat citatiescores intussen mede afhankelijk blijken te zijn geworden van de mate van toegankelijkheid van publicaties op internet. "Recent studies have begun to show that open access increases impact." OAIster geeft al een indruk van de reusachtige hoeveelheid informatie die in zulke digitale bibliotheken beschikbaar is; wellicht dat Thomson Scientific en ProQuest met zijn Digital Commons aan de ontsluiting daarvan ook een bijdrage zullen leveren. Voor de taak de citaties in de publicaties (bijvoorbeeld de talrijke dissertaties) in die archieven te indexeren zijn al softwareprogramma's zoals ParaCite, Citeseer (door Thomson voor zijn Web Citation Index gebruikt; zie ook de bespreking van CiteSeer door Péter Jacsó in Gale Reference Reviews van november 2005) en CiteBase voorhanden.
Gegeven de belangrijke rol die de monografie nog altijd in de wetenschappelijke communicatie in de humaniora speelt zou een nieuwe (Europese?) citatie-index voor de humaniora ook boeken (en ander materiaal, met name dissertaties) als bronmateriaal moeten omvatten. Behalve in de digital libraries van wetenschappelijke instellingen zijn die in digitale vorm tegenwoordig ook beschikbaar bij een internetboekhandel als Amazon ( A9) en een zoekmachine als Google Book Search; in de naaste toekomst zal daar de Open Content Alliance nog bijkomen; en dan is er ook nog het Europese "i2010: Digital Libraries"-project als antwoord op Google Book Search. Hoewel het theoretisch mogelijk zou zijn ook dit materiaal voor een citatie-index te gebruiken, zou daarvoor de medewerking van commerciële uitgevers moeten worden verkregen, die en op grotere schaal dan tot dusver het geval is aan dit soort projecten zouden moeten deelnemen, en toegang tot de complete digitale versies van hun producten zouden moeten toestaan (momenteel zijn in de regel alleen geselecteerde pagina's, zelfs in de literatuurlijsten, toegankelijk).
Dat het project van een European Citation Index in the Humanities tot dusver zo weinig heeft opgeleverd is jammer, omdat zo'n project, op kleinere schaal, wel uitvoerbaar is gebleken. In Taiwan is in slechts enkele jaren tijd de Taiwan Humanities Citation Index op poten gezet, waarvan een beschrijving in Online Information Review 28 (2004), no. 6, pp. 410-419 is verschenen. Ook in Polen en China had of heeft men een eigen citatie-index, hier voor de sociale wetenschappen (in China inclusief de humaniora).

Tot slot
Een groot gedeelte van deze post is gewijd aan redenen waarom de bestaande citatie-indexen in de humaniora voor de doeleinden waarvoor ze dienen minder geschikt zijn dan in de natuur-, de exacte en de biomedische wetenschappen het geval is. Dat probleem wordt ook al lang onderkend, en van verschillende kanten zijn en worden pogingen gedaan om er iets aan te doen. Meestal hebben die pogingen betrekking op één van de doeleinden waarvoor citatie-indexen worden gebruikt, namelijk het meten en raten van de wetenschappelijke productie van landen, onderzoeksinstellingen, onderzoeksgroepen en individuele onderzoekers. Dat is jammer, want ook op het punt van het vinden van relevante literatuur via citatie-indexen zou wellicht nog wel het een en ander te verbeteren zijn. Zo zou ik in een citatie-index niet alleen naar publicaties willen kunnen zoeken die naar een andere publicatie verwijzen, maar naar publicaties die dat naar een bepaald hoofdstuk of een bepaalde (range van) bladzijde(n) in die andere publicatie doen. Zeker waar het verwijzingen naar boeken betreft, zou dat een aanzienlijke verbetering van de precisie van zoekacties opleveren. Maar vooral zou ik bij een General Search van de publicaties die alleen als cited reference in de database zitten niet alleen auteur, werk of tijdschrift en jaar willen zien, maar in geval van tijdschriftartikelen ook de titel van het artikel (dat kan nu alleen bij artikelen uit de geïndexeerde tijdschriften in de database); en bij een cited reference search zou ik op woorden in de titel van het artikel willen kunnen zoeken. In CiteSeer kan dat, in de citatie-indexen van Thomson niet. (Bovendien biedt CiteSeer, met zijn fulltext database van citerende publicaties, de mogelijkheid vanuit de geciteerde referentie direct de context te bekijken waarin door de citerende publicatie naar de geciteerde publicatie wordt verwezen.)
Het Web of Science maakt een strikt onderscheid tussen artikelen in de door Thomson geïndexeerde tijdschriften en artikelen in andere tijdschriften. De eerste groep is op titel- en soms ook op abstractwoorden doorzoekbaar, de tweede alleen als known items, dus als je auteur en tijdschrift/boek/etc. en/of jaar al kent. In de humaniora is dat een ongelukkig onderscheid, omdat wat nieuwer is (= citeert) lang niet altijd beter is dan wat ouder is ( = geciteerd wordt). Dat blijkt -- om de maatstaf van "citedness" maar eens te gebruiken -- alleen al uit het feit dat artikelen uit de door Thomson geïndexeerde tijdschriften soms jaren lang ongeciteerd blijven, terwijl de artikelen of boeken die ze citeren ook citaties van elders hebben getrokken. Met andere woorden, veel ongeciteerde artikelen zijn in de citatie-indexen van Thomson wel (op titel- en abstractwoorden) vindbaar, veel geciteerde publicaties (in zoverre als ze niet in door Thomson geïndexeerde tijdschriften zijn gepubliceerd) niet. Voor mij als zoeker betekent dat dat ik naast de AHCI altijd andere hulpmiddelen zal moeten blijven gebruiken om literatuur op te sporen. En tja, als ik dat doe, wat levert de AHCI dan extra op en hoeveel tijd kost het mij om dat extraatje te vinden?
En als ik als zoeker nog één wens aan het lijstje hierboven zou mogen toevoegen: hoewel ik het in het algemeen niet zo op zoekmachines begrepen heb die hun zoekresultaten visualiseren (type AquaBrowser), zou visualisering van zoekresultaten mij nu juist in citatie-indexen zeer welkom zijn, omdat daarin op een een heel beeldende en natuurlijke manier de aantallen verwijzingen van de ene naar de andere publicatie zichtbaar zouden kunnen worden gemaakt.
Wat het meten en raten van wetenschappelijke productie betreft bestaat al lange tijd het besef dat citatietellingen en JCR-wegingen alleen in de context van andere indicatoren dienen te worden gebruikt. Onlangs is daarop nog eens gewezen in het rapport Judging research on its merits van de Raad voor Geesteswetenschappen (RGW) en de Sociaal-Wetenschappelijke Raad (SWR) van de KNAW. Niettemin: citaties spelen ook in de in dit rapport aanbevolen zelfevaluatierapporten nog altijd een rol, en citatie-impactscores voor de onderzoeksgebieden Kunst, cultuur en muziek, Taalwetenschappen, Geschiedenis, filosofie en religie, en Literatuurwetenschappen hebben nog altijd een plaats gevonden in de Wetenschaps- en technologie-indicatoren 2005 van het Nederlands Observatorium van wetenschap en technologie (NOWT) van het Ministerie van OC&W (zie tabel 4.7 op blz. 76). Hoewel hierbij wel wordt opgemerkt dat "met name binnen de alfa-wetenschappen ... de publicatie-outputgegevens en citatie-impactscores gebrekkige indicatoren kunnen zijn van wetenschappelijke activiteit/capaciteit en wetenschappelijke invloed/kwaliteit" en dat "veel van het hoogwaardige onderzoek... als boek of boekhoofdstuk [wordt] gepubliceerd, of via publicaties in Nederlandstalige tijdschriften die geen onderdeel vormen van het Web of Science bestand", zijn voor zover ik kan nagaan de cijfers daarvoor niet gecorrigeerd. Als je dan ook nog eens in aanmerking neemt dat a. de eigen landstaal in de humaniora een belangrijke rol speelt, b. van de acht referentielanden waartegen de Nederlandse prestaties in Wetenschaps- en technologie-indicatoren 2005 worden afgezet er drie (Verenigd Koninkrijk, Canada en Australië) Engelstalig zijn en c. Engelstalige tijdschriften in de citatie-indexen van Thomson met 20-25% oververtegenwoordigd zijn (vergeleken met de verhoudingen in Bowker's ulrichsweb.com), dan kun je je afvragen wat zulke cijfers voor waarde hebben afgezien van dat er überhaupt iets gemeten wordt. (Zie: Éric Archambault et al., Welcome to the linguistic warp zone: Benchmarking scientific output in the social sciences and humanities.)
Het kan ook anders. Bibliometrische methodes hoeven niet altijd het gebruik van citatie-indexen in te houden. In Towards research performance in the humanities - bibliometrics in qualitative analysis of Flemish law literature - Statistical Data Included, Library Trends, winter 2002, beschrijft H. F. Moed (van het Leidse CWTS) een methode om de wetenschappelijke productie op juridisch terrein van vier Vlaamse universiteiten te meten en te evalueren. Daarbij spelen aantal en aard van de publicaties een rol, evenals de oordelen van betrokkenen en buitenstaanders over de kwaliteit van tijdschriften.
Blijft het feit dat citaties in elk geval in theorie ook in de humaniora een aantrekkelijk instrument vormen zowel voor het vinden van literatuur als voor bibliometrische doeleinden. Maar dan moeten we misschien toch eerder denken aan een "universal citation database" zoals Robert D. Cameron die in zijn artikel A Universal Citation Database as a Catalyst for Reform in Scholarly Communication, First Monday 2, no 4, 7 april 1997, heeft geschetst, dan aan Thomsons AHCI, waarop alle citatie-onderzoek tot dusver gebaseerd blijft.