De vraag komt wel eens op: doen we het eigenlijk goed? En hoe goed doen we het vergeleken met communicatie van andere universiteiten? Het blijkt lastig om de communicatiekracht van je eigen universiteit in kaart te brengen (en het is nog veel lastiger om vast te stellen wat de invloed daarop van wetenschapsvoorlichters is). Ik ken helaas niet veel andere wegen dan gewoon een slimme selectie van mediaresultaten optellen en hopen dat het gemiddelde een beeld geeft. Dat doe ik voor de TU Delft al, en er komt kwantitatief interessante informatie uit. Maar kwalitatief ben ik voorzichtig met conclusies.
De vraag is of je op die manier ook universiteiten onderling kunt vergelijken. Het bureau ScienceWorks heeft in 2011 een dappere poging gedaan voor alle universiteiten, met cijfers over 2009. Op een rustige namiddag ben ik daar eens ingedoken om te kijken wat je uit de cijfers mag concluderen en wat niet. Daar kreeg ik overigens alle hulp bij van ScienceWorks (waarvoor dank). De individuele ‘hits’ bleken niet bewaard of (door mij) te reproduceren, maar ik heb toegang tot knipseldatabase LexisNexis Acadamic. Daarmee kon ik het voor een kleine groep landelijke kranten nog wel terugfilmen. ScienceWorks was daarnaast zo vriendelijk me inzage in hun tellingen te geven.
Genoeg informatie om een antwoord te geven op de vraag: Wat mag je uit een telling van hits in de media concluderen? Het antwoord: je ziet hoe vaak een universiteit in ‘de media’ is geweest, maar de betekenis van die informatie is erg beperkt. En dat is jammer, want met paar verbeteringen zou een volgende poging heel interessante informatie kunnen gaan opleveren.
Valoriserende kracht
Het onderzoek van ScienceWorks (en Elsevier), maakt deel uit van een onderzoek naar de ‘valoriserende kracht’ van universiteiten, dus het vermogen of om kennis om te zetten in economische activiteit. Daarbij heeft ScienceWorks ook ‘communicatie’ meegenomen, omdat ‘deelnemen aan het maatschappelijke debat’ in sommige definities ook als valorisatie wordt gezien. De aanpak van ScienceWorks is recht-voor-zijn raap: het tellen van het aantal keren dat de meest voorkomende universiteitsnaam in landelijke kranten en op TV en radio voorkwam, en die aantallen dan delen door het aantal wetenschappelijke fte’s van een universiteit.
Dan krijg je dit grafiekje, dat alleen de top tien toont (de Universiteit van Maastricht, universiteit Twente en de TU Eindhoven staan op plaats 11-13). De sleutelvraag is natuurlijk: wat betekent deze grafiek precies?
Het lastige is dat dit onderzoek allerlei soorten appels en peren vergelijkt. Het onderzoek kijkt naar zeer uiteenlopend media met sterk verschillende impact, soms met een sterke bias voor bepaalde universiteiten. Naar mijn mening is het grootste manco dat in dit onderzoek alle soorten media-aandacht op een grote hoop terecht komen: expertise, onderzoek, personalia en incidenten&affaires. Daarmee gaat veel potentieel interessante informatie verloren, en dat is jammer. Ik zie vier punten waarmee de uitkomst een stuk interessanter kan worden:
1. Beperk je tot een selecte groep nationale nieuwsmedia
Ik zou het onderzoek niet doen op basis van ‘alle nieuwsmedia in de databases’, maar met een selecte groep media waarvan vaststaat dat ze een relevante impact hebben op het maatschappelijk debat. Dat zijn de nationale kranten, nieuwsradio, NOS en RTL Nieuws, actualiteitenprogramma’s en praatprogramma’s (en een selectie high-end online media zoals nu.nl en GeenStijl). Helemaal voorkomen dat je appels en peren optelt lukt nooit, maar je voorkomt daarmee wel dat je een voorpagina Volkskrant en een kadertje in het Agrarisch Dagblad allebei een waarde ‘1’ geeft. Media met een sterke ‘bias’ naar een bepaalde universiteit zou ik eruit gooien. In de huidige selectie van ScienceWorks zit bijvoorbeeld dat Agrarisch Dagblad. De impact daarvan is klein (oplage: 14.000), maar het blad levert ruim een kwart van alle krantenhits van de Universiteit Wageningen. Idem dito: het Parool. Dat is een Amsterdamse krant met een natuurlijke belangstelling voor VU en UVA. In LexisNexis Acadamic (waar ik bij kan) scoort de VU in 2009 200 Parool-hits (op 600 totaal). Voor een zinvolle vergelijking zou ik media met een te grote, verstorende bias er uithalen.
2. Tel de voorkomende universiteitsnamen bij elkaar op
Het ScienceWorks onderzoek gebruikt nu ‘de meest voorkomende universiteitsnaam’. Dat klinkt logisch, maar pakt wel erg oneerlijk uit voor sommige universiteiten. Het grootste slachtoffer is de TU/e, of TU Eindhoven. In LexisNexis Acadamic komen beide vermeldingen evenvaak voor, maar ScienceWorks gebruikt er maar één van. Daarmee gaat de helft van hun legitieme hits in de prullenbak. Ook interessant: de Rijksuniversiteit Groningen, ofwel RUG. Op RUG kun je helemaal niet zoeken, omdat rug een gewoon woord is. Erasmus is een andere lastige. Alle hits voor ‘Erasmus’ zonder ‘universiteit’ ernaast moeten in de prullenbak (anders tel je de Erasmus brug, ik noem maar wat), maar dan mis je er ook wel veel. De TU Delft heeft nog een ander, vermoedelijk uniek probleem: niet alleen komt de uitgeschreven versie regelmatig voor, maar ook in varianten als ‘Delftse Professor’. De stadsnaam is bijna synoniem met de universiteit. ‘Amsterdamse Professor’ of ‘Utrechtse Professor’ zie ik zelden.
Voor een zinnige vergelijking zul je al die vormen toch bij elkaar moeten optellen. Je krijgt geen vergelijkbaar beeld door alleen de meest voorkomende te nemen. Dat vereist slimme(re) zoekalgoritmes, maar dat is geen rocket-science.
3. Groepeer universiteiten
Het onderzoek telt de resultaten van een universiteit en het bijbehorende academische ziekenhuis bij elkaar op. De VU bijvoorbeeld telde ongeveer 2000 krantenhits voor VU en ruim 1200 voor VUMC. Of die laatste iets met wetenschap te maken hadden, of gewoon met ziekenhuisnieuws, is niet vast te stellen. Dat maakt een getalsmatige vergelijking tussen universiteiten met en zonder ziekenhuis weinig betekenisvol (want voor de conclusie dat een ziekenhuis extra media-aandacht oplevert lijkt me onderzoek niet nodig). De ziekenhuizen weglaten is ook geen optie, want ze vormen een wezenlijk stuk van de universiteit. Ergo, tussen universiteiten vergelijken lijkt me vooral zinvol als je soorten universiteiten groepeert, bijvoorbeeld binnen de groep ‘Algemeen met Academisch Ziekenhuis’ of ‘Technische Universiteiten.’
4. Onderscheid onderzoek, expertise, incidenten (en wis personalia)
De ambitie van het onderzoek is-als ik het goed begrijp- vooral vaststellen hoe goed een universiteit vanuit haar kennis deelneemt aan het maatschappelijke debat. Dat noem ik in mijn eigen monitoring ‘expertise’: het hebben van een mening of oordeel over een externe -maatschappelijke- gebeurtenis. Het maakt in de TU Delft-monitoring ongeveer de helft uit van al onze media-aandacht. Helaas zit in de ScienceWorks telling ook een onbekend aandeel onderzoekscommunicatie, personalia en incidenten/affaires. Ik durf te stellen dat de verdeling per universiteit heel erg verschillend is: sommigen creëren relatief veel onderzoekscommunicatie, anderen grotendeels ‘expertise’ – tussen faculteiten aan de TU Delft is die verhouding al heel verschillend.
Als je dit onderzoek echt betekenisvol wilt krijgen ontkom je er volgens mij niet aan om van onderzoekscommunicatie en incidenten aparte categorieën maken, en personalia eruit filteren. Ze dragen allemaal op een heel andere manier bij aan de reputatie van de universiteit:
a. ‘Personalia’ moet je er naar mijn mening gewoon uit gooien: het zijn hits als gevolg van bijvoorbeeld een krantenportret van Agnes Jongerius. Die heeft in Utrecht gestudeerd, dus dat staat in een kadertje. De communicatieve waarde daarvan lijkt me klein. Voor de TU Delft bijvoorbeeld is het mooi dat de befaamde MIT-professor Walter Lewin van de TU Delft komt, maar ja: dat de ontvoerder van Gerrit Jan Heijn een Vliegtuigbouwer was is weer minder mooie PR natuurlijk. Ergo, weg ermee, ook omdat het een bias geeft voor oude universiteiten met grote studentenaantallen.
b. Onderzoekscommunicatie is volgens mij de categorie die het meest zegt over de communicatiekracht van een universiteit, en ook het sterkst bijdraagt aan de reputatie. Het is bij de TU Delft gemiddeld een kwart van alle media-aandacht. Het gaat over een kernactiviteit van je instelling, dus zeer waardevol. Die verdient volgens mij een aparte categorie.
c. ‘Expertise‘ is de vorm van communicatie waar het onderzoek van ScienceWorks het meest in geïnteresseerd is: de deskundige die vanuit zijn kennis deelneemt aan het maatschappelijk debat. Het is niet vast te stellen, maar ik vermoed dat dit de grootste categorie is. De kanttekening hierbij is wel dat een telling meer zegt over de onderwerpen die het maatschappelijke debat domineren, dan over de communicatiekracht van de instelling. De laatste jaren is het dominerende onderwerp vooral de economie, dus een universiteit met veel economische experts haalt dan heel veel media-aandacht. Wij zien dat met onze deskundigen op de huizenmarkt: Peter Boelhouwer voerde in 2011 ongenaakbaar de informele ranglijst ‘meest gequote deskundigen aan’ en dat zal in 2012 -ik moet ‘m nog maken- niet anders zijn.
Of de categorie ‘expertise’ veel bijdraagt aan de reputatie van een universiteit is overigens wel de vraag: ik betwijfel of de universiteit van de hoogleraar vaak ‘geregistreerd’ wordt door de kijker? Volgens mij is dat sterker als de universiteit een scherp profiel heeft en als het onderwerp bij dat profiel past (een overstromingsdeskundige van de TU Delft). Meestal is de impact zwak: wie weet bij welke universiteit de beroemde Viroloog Ab Osterhaus hoort?
d. De telling van ScienceWorks bevat momenteel ook ‘incidenten en affaires‘. Dat is een lastige categorie, want ze hebben zeer grote (vaak negatieve) impact op reputatie. Over 2012 zouden incidenten ervoor zorgen dat de Tilburg en de VU de ranglijst fier gaan aanvoeren, maar of ze zich zouden tooien met de aanbeveling ‘best communicerende universiteit’ durf ik te betwijfelen. Over de cijfers van 2009 is het voor zover ik zag vooral Erasmus die ‘profiteert’: in dat jaar speelde de affaire Tariq Ramadan.
Kort samengevat: onderzoekscommunicatie bouwt het sterkst aan de reputatie van een universiteit, incidenten en affaires doen meestal het omgekeerde, personalia doen eigenlijk niks en expertise zegt vooral iets over de richting van het maatschappelijk debat. (Zelf onderscheid ik overigens ook nog de categorie onderwijs, studenten(projecten) en technostarters). Door die groepen eenvoudigweg bij elkaar op te tellen gaat helaas erg veel interessante informatie verloren.
4. Laat de weging achterwege
Het onderzoek weegt de resultaten trouwens door ze te delen door de fte’s wetenschappelijk personeel, herleid uit jaarverslagen. De gebruikte definities zijn helaas allemaal net even anders en ik durf niet te zeggen of ze echt vergelijkbaar zijn (ook hier speelt het al dan niet hebben van een Academisch Ziekenhuis een rol),. Eigenlijk vind ik dat het sowieso weinig toegevoegde waarde heeft, het maakt de resultaten minder inzichtelijk.
Vervolg
ScienceWorks wil een vervolg doen over 2011 en had zelf ook al geconstateerd dat de methodiek verbeterd kan worden. Ik zou ze adviseren de te monitoren media in te perken, de categorieën (expertise, onderzoek, incident, student&onderwijs) te splitsen, de universiteiten te groeperen en de weging achterwege te laten. Daarnaast zou ik aanraden de communicatieafdelingen van de universiteiten te betrekken. Vooral het splitsen van categorieën betekent dat het onderzoek fors meer werk wordt. Een simpele telling is zo gedaan, maar een uitsplitsing niet. Er is een goede kans dat communicatie-afdelingen een deel van die info al op de plank hebben liggen.
Ik kijk met belangstelling uit naar het resultaat.
Michel
