Het verdriet van de onderzoekers

Jonge onderzoekers aan de universiteiten hebben zich de afgelopen weken geroerd. Nee aan de publicatiedruk! Ja aan het zinvolle wetenschappelijk onderzoek! Het antwoord op die klacht liet niet lang op zich wachten: willen jullie dan terug naar de periode dat je docent werd door je kennissen in plaats van door je kennis? Naar een tijd waarin sommige hoogleraren na dertig jaar nog altijd hun doctoraal proefschrift doceerden, ook al was dat ondertussen hopeloos verouderd?

De kern van het probleem ligt bij de wet van Goodhart: zodra een indicator gebruikt wordt als norm, houdt de indicator op een goede norm te zijn. Snelheid van reageren op een klantenvraag is een goede indicator voor service. Je mag een klant niet laten wachten. Maar let op als je snelheid hanteert als superbelangrijke norm, die snelheid nauwkeurig meet en er de medewerkers op beoordeelt. Voordat je het weet gaan de medewerkers van de klantendienst er zich snel maar oppervlakkig van afmaken. Zeker als snelheid ‘objectief’ gemeten wordt en de grondigheid van de oplossing erg subjectief is. Laten we dit dan maar de afgeleide wet van Goodhart noemen: als iets onbelangrijks objectief gemeten kan worden en het belangrijke enkel subjectief, verdringt het onbelangrijke langzamerhand het belangrijke.

Iedereen kende het probleem uit het niet zo verre verleden: luie hoogleraars, gebrek aan nieuwe wetenschappelijke output, gedemotiveerde medewerkers. Dus moeten we ervoor zorgen dat die docenten productief zijn en blijven. Maar hoe doe je dat? De manier die in een naïeve managementbenadering altijd lijkt te werken is: meet het, en beloon het volgens de metingen. Niemand durft dat tegen te spreken, tot Goodhart toeslaat. De hoogleraren beginnen het ‘spel’ te spelen, schrijven veel dwaze Engelstalige artikels. En dus wordt het criterium verfijnd. Je moet veel goede artikels schrijven! Ze moeten gepubliceerd zijn in een welomschreven lijst van erkende, degelijke tijdschriften. Het moeten A1-publicaties zijn. Nu lijkt er niets meer aan de hand, maar er zijn nog heel wat ontsnappingsroutes. De hoogleraar eist van zijn brave assistent dat hij zijn naam telkens bij zijn publicatie voegt. Er doen hardnekkige geruchten de ronde over proffen die medeauteur zijn van artikels die ze nooit hebben gelezen.

Of de hoogleraar maakt een deal. We splitsen een artikel op in drie artikels, we zijn met z’n drieën en ieder staat om de beurt vermeld als eerste auteur. Weinigen hebben een volledig zicht op de doodernstige spelletjes die bewijzen dat Goodhart ook hier gelijk heeft. En zodra je op een conferentie met een volkomen onbekende het probleem aankaart, verschijnt er een glimlach op zijn lippen: iedereen lijkt wel de spelletjes te kennen. En dan verschijnen er allerlei ethische codes, en schrijven editors van tijdschriften voorwoorden om nog eens uit te leggen wat mag en niet mag.

In essentie is het dat wat die onderzoekers aanklagen. Het tellen van publicaties is misleidend, en de druk om die grote aantallen te schrijven veroorzaakt onaangename neveneffecten. Steeds meer duiken hallucinante verhalen op over vervalsingen en onderzoekers die werken op fictieve datasets. Insiders kennen ook de notie van gegevensfoltering: als je maar lang genoeg je databases foltert met geavanceerde statistische technieken, zullen ze wel tot bekentenissen overgaan.

De jonge onderzoekers hebben gelijk met hun klacht. De ervaren academische bestuurders wijzen er terecht op dat de meeste evaluatiesystemen proberen bij te sturen voor meer relevantie. Maar het grootste slachtoffer is de wetenschap zelf. Vooral in de sociale wetenschappen krijg je hopeloos veel fragmentarisch en inconsistent onderzoek. Als het maar ergens gepubliceerd geraakt, liefst uiteraard in die sacrosancte lijst van de A1’s. Mijn beste schatting van het aantal ‘wetenschappelijke’ tijdschriften over management (in de breedste zin) is ongeveer duizend. Die worden allemaal volgeschreven door onderzoekers onder tijdsdruk. De kwaliteit is dan ook bedroevend. Je krijgt het kaf bijna niet van het koren gescheiden, en je hebt er het raden naar wie vals speelt. Het probleem dat de jonge onderzoekers aankaarten, raakt het wetenschapsbedrijf in zijn hart.

De auteur is partner-hoogleraar aan de Vlerick Business School.

Er doen hardnekkige geruchten de ronde over proffen die medeauteur zijn van artikels die ze nooit hebben gelezen.