‘Ik liet zes AI-pakketten papers schrijven. Dit zijn de resultaten’

Ik deed het niet uit heimwee naar wat elke rechtgeaarde prof aan een businessschool verafschuwt: enkele tientallen MBA-papers beoordelen. Ik dacht gewoon: “Als ik nu eens zes AI-pakketten papers laat schrijven in mijn vakgebied, vervolgens die papers zo objectief mogelijk beoordeel, valt daar iets uit te leren?”

Ik gaf mijn opdrachten in het Engels, volgens de regels van het prompten. De artificieel slimme studenten wisten exact wie ze waren, en wat er van hen verwacht werd. Alleen de lengte liet ik onbepaald. Bij paper twee vroeg ik uitdrukkelijk naar tien concrete voorbeelden. Dit waren de drie opdrachten: ‘de onderbouw van hedendaagse competentiemodellen’, ‘het concept illusie van controle’ en ‘hoe kijkt de organisatietheorie naar een bedrijf?’

Geen enkele student haalde een onvoldoende op een van de papers. Soms was het nipt, maar echte fouten, blunders of ‘hallucinaties’ kwamen niet voor. Omdat de onderwerpen niet over de Oeigoeren gingen, kwam er een heel onverwachte winnaar uit de bus: het Chinese DeepSeek. Let op: het beoordelen van studentenpapers in mijn vakgebied is vrij subjectief. Terwijl ik bij DeepSeek ‘gecharmeerd’ was door de aard van de antwoorden, zou een collega misschien reageren met ‘te literair’. In mijn verbeterschema had ik nochtans duidelijk aangegeven (en zelfs geprompt voor paper 3) dat ze niet naast de kwestie mochten antwoorden. DeepSeek was technisch altijd correct, en concretiseerde zoals geen van zijn klasgenoten. En laat nu net ‘hoe concreter, hoe beter’ een mantra van mij zijn bij het lesgeven of bij het begeleiden van non-fictieschrijvers. Abstractie beluistert en leest uiterst moeizaam. Het gevolg was dat DeepSeek het minst als artificiële intelligentie las. Toch even waarschuwen: bij de derde en moeilijkste paper kon je veel punten verliezen voor ‘gebrek aan diepgang’ en DeepSeek verloor er geen. Met mooi praten alleen kom je er niet bij deze columnist-prof.

Lees verder onder tabel

Dit is de feedback aan mijn studenten:

1. Beste DeepSeek. U heeft waarlijk talent voor organisational behaviour. Uw antwoorden weerspiegelen een goed inzicht in de centrale concepten van het vak, en u illustreert die inzichten met originele, boeiende, concrete voorbeelden. Let wel even op niet langdradig te worden. In een cultuur van ‘one page memo’s’ haalt u het niet met uw stijl.

2. Beste ChatGPT. Proficiat, u haalt een hoge consistente score. In vergelijking met uw medestudenten graaft u meestal nog een laagje dieper. U bent helder, relevant en u geeft net voldoende concrete voorbeelden. Mocht u ooit een PhD willen schrijven in organisational behaviour, ik hou me aanbevolen als promotor.

3. Beste Gemini. Uw antwoorden liggen meestal op hoog niveau. De lage score op de tweede paper is toe te schrijven aan uw al te voorspelbare en te abstracte voorbeelden.

4. Beste Perplexity. Dit vakgebied ligt u wel, maar louter ad rem zijn (wat u zeker bent) garandeert hier geen hoge score, die u ongetwijfeld haalt in de meer technische vakken.

5. Beste You. Ik was onder de indruk van uw analyse van de competentiemodellen, daar kwam uw rationele, ad rem benadering zeker tot haar recht. De twee andere papers waren ‘net voldoende’. Kleine waarschuwing: als mensen aan u advies vragen en zij geven dat advies zomaar door, dan zal iedereen zeggen: AI.

6. Beste Copilot. Dit vakgebied is voor u geen thuiswedstrijd. Rationeel, kort, zakelijk en heel AI-achtig. U past perfect in een cultuur van one page memo’s.