Kwakzalverij

De U-Test of Oxford Capacity Analysis (OCA) is de blikopener waarmee het met Scientology gelieerde consultancybureau U-Man de deur van uw bedrijf probeert te openen. De test wordt gepresenteerd als een wondermiddel. Documenten en adviezen die we hier voor het eerst openbaar maken, leren u dat u best op uw hoede blijft.

De Church of Scientology gebruikt selectie- en trainingsbedrijven om het Belgische bedrijfsleven binnen te dringen. Een hele reeks Belgische Scientologen zijn actief als managementconsultant of -trainer. Vooraan de rij staat het selectiebedrijf U-Man Belgium. Zijn U-Test is de blikopener om de bedrijfsdeuren te openen voor de Scientologen-managementtrainers. Deze strategie en wat daar het gevaar van is, legden we uit in Trends van 27 maart. We beloofden u toen een vervolg. Hierin gaan we in op de waarde van die U-Test, het centrale instrument van Scientology en de daarmee gelieerde bedrijven.

De U-Test of Oxford Capacity Analysis (OCA) is een persoonlijkheidsvragenlijst met 200 vragen die pretenderen te peilen naar tien persoonlijkheidskenmerken. Hij zou bruikbaar zijn in een bedrijfscontext (werving en selectie, evaluatie van medewerkers) en als instrument voor de verbetering van uw eigen persoonlijkheid. Overigens wordt dezelfde vragenlijst intensief gebruikt door de Church of Scientology (CoS) voor de rekrutering van leden en cursisten. De test zou volgens de publiciteit van U-Man Belgium uitstekende en door geen enkel ander instrument geëvenaarde resultaten opleveren. Bovendien maakt U-Man het u gemakkelijk : u krijgt binnen de 24 uur een computerverslag op vier pagina’s, met grafiek en uitleg van een consultant. De prijs blijft redelijk en om u te overtuigen zijn er getuigenissen van tevreden klanten beschikbaar.

Het probleem met de U-Test is dat er nergens of door niemand zeker niet door U-Man, de Church of Scientology, het World Institute of Scientology Enterprises ( Wise), het Religious Technology Center of gelijk welk ander Scientology-instituut onderzoek gepubliceerd werd naar de drie belangrijke kwaliteiten waaraan een test moet voldoen :

Validiteit : de mate waarin de test meet wat hij beweert te meten en/of de voorspellende waarde ervan.

Betrouwbaarheid : de mate waarin de testresultaten onder gelijke omstandigheden stabiel blijven.

Normering : de statistische vergelijking met referentiegroepen. Nochtans wordt de publicatie van deze gegevens over de hele wereld als een elementaire vereiste beschouwd. Verkoopargumenten volstaan niet om de degelijkheid van een instrument te bewijzen.

Onderzoek naar U-Test is zwak

Dat had ook de Erkenningscommissie voor Outplacement-, Wervings- en Selectiekantoren (zie kader In nauwe schoentjes) in de gaten. De commissie vroeg in 1994 de basisstudies van deze test op en nodigde woordvoerders vanU-Man uit op een hoorzitting.

In een brief van 15 november 1994 schreef de algemeen directeur vanU-Man Belgium Roger Van Loocke : “Wat betreft de basisstudies die aan de grondslag van de test liggen, denken wij niet dat die echt relevant zijn zijn met betrekking tot de erkenningsvoorwaarden.” Toch stuurde Van Loocke na overleg met de licentiegever U-Man International twee documenten naar de commissie.

Het eerste is een tekst uit 1982 van de Parijse psychiater Serge Bornstein, een oude bekende van Scientology die eerder al adviezen verstrekte op vraag van de organisatie, onder meer in de discussies over het al dan niet religieus karakter ervan. Inzage van Bornsteins “Etude du test de personnalité OCA” zes velletjes met dubbele interlinie leert al snel dat deze zogenaamde studie waardeloos is. Bornstein schetst rudimentair en onvolledig de voorwaarden waaraan een goede test moet voldoen. Volgt dan een zeer oppervlakkige beschrijving van de test en het statement dat de “de betrouwbaarheid, te weten de graad van precisie van de meting” zeer hoog is. Bornstein vermeldt een gemiddelde coëfficiënt van.96, of in mensentaal : deze test is bijna onfeilbaar.

In zijn advies aan de erkenningscommissie maakt professor Karel De Witte van de KU Leuven, weinig woorden vuil aan Bornsteins “studie” : “Het betreft hier geen eigenlijke studie, doch een algemeen verslag.”

Interessanter en wel op beperkt onderzoek gebaseerd is een tweede doorU-Man doorgespeeld verslag, van de hand van dr. Richard Buchanan, een Amerikaanse psycholoog en zelfstandige consultant. Ook deze studie valt echter door de mand. Professor De Witte concludeert : “Uit de gegevens die aangereikt worden blijkt nergens dat de test voldoende betrouwbaar is voor selectiesituaties. Hij lijkt eerder minder geschikt voor selectie dan wel voor algemeen persoonlijkheidsonderzoek. (…) Ook wat betreft validiteit en normering wordt geen enkel bewijs aangedragen. (…) Wat zegt de brochure ? “Dank zij de U-Test kunt u voorspellingen doen die nog bevestigd worden ook. Het eerste wat u moet weten vooraleer u iemand aanneemt, of er verder in investeert, is hun potentiële produktiviteit. Met het U-Test systeem kunt u dat zeer nauwkeurig meten.” Niets van wat aangedragen werd laat toe om dit te stellen, integendeel. De betrouwbaarheid naar selectiesituaties valt onder de norm die normaal gehanteerd wordt.”

Andere experts die we Buchanans onderzoeksrapport voorlegden, spreken duidelijke taal. Zegt Lieven Cornelis, psycholoog en als zaakvoerder van Alert Management licentiehouder van een paar wel beproefde buitenlandse persoonlijkheidstests : “De betrouwbaarheid is zeer belangrijk voor een test. Je moet immers zeker zijn dat je telkens hetzelfde meet. Een coëfficiënt van.60 betekent een matige betrouwbaarheid. Voor een goede betrouwbaarheid heb je een coëfficiënt van.70 nodig. Tests of schalen die onder.50 scoren, mag je gewoon weggooien of hoogstens gebruiken als basis voor verder onderzoek.”

Wat blijkt uit het onderzoek van Buchanan ? De betrouwbaarheid (in essentie de stabiliteit van de testresultaten) van de U-Test werd getoetst bij een proefgroep van 40 personen (willekeurig gekozen niet-sollicitanten) en bij een andere groep van 67 personen ( sollicitanten voor een breed scala van functies). Op dit punt wordt al een eerste regel van de psychometrie overtreden. Dit soort betrouwbaarheidsonderzoek vereist volgens de door ons aangesproken experts proefgroepen van minstens 200 personen. Vanuit zuiver statistisch standpunt is het onderzoek van Buchanan niet relevant.

Maar gezien de Scientologen de studie blijkbaar wel ernstig nemen, volgen we hen nog even. De betrouwbaarheid van de test voor de groep niet-sollicitanten is volgens de criteria die door Lieven Cornelis geciteerd worden behoorlijk (gemiddelde coëfficiënt van.65), hoewel minstens één onderdeel van de test met een coëfficiënt van.32 helemaal niet voldoet.

De betrouwbaarheid voor de proefgroep van sollicitanten, dus voor gebruik in een professionele situatie het doelpubliek van de U-Test is echter ondermaats met een gemiddelde coëfficiënt van.52. Maar liefst vijf van de tien testonderdelen (schalen) die de persoonlijkheidstrekken zouden meten, halen niet eens een coëfficiënt van.50. Dit is heel andere koek dan de.96 van Bornstein.

Lieven Cornelis wijst op nog meer gaten : “Over normering ( nvdr de vergelijking met de referentiegroep) wordt er helemaal niets gezegd. Dat is echter van cruciaal belang. Er is echter nog een ander probleem. Zelfs indien een test betrouwbaar is, betekent dit nog niet dat hij ook valied is. Betrouwbaarheid is een noodzakelijke, maar niet voldoende voorwaarde voor validiteit. Hier is geen sprake van validiteitsonderzoek. Nochtans worden bij ernstige tests hierover steeds controleerbare gegevens gepubliceerd. Het idee dat deze gegevens niet kunnen gepubliceerd worden omwille van de concurrentie is ridicuul.”

Dr. Arne Evers, arbeids- en organisatiepsycholoog aan de Universiteit Amsterdam, ex-voorzitter en nu coördinator beoordelingen van de Commissie Testaangelegenheden Nederland ( Cotan) die binnen het Nederlands Instituut van Psychologen opereert, is nog strenger in zijn evaluatie : “Het argument dat men testen niet wil laten beoordelen omdat men de test dan te veel blootgeeft, is onzin. Er is geen enkele reden om geen onderzoek te doen of het niet te publiceren. Dat kan gerust zonder de items vrij te geven of zonder duidelijk te maken welke items in welke schaal zitten. Verder is er evenmin een reden om een test niet te laten beoordelen door bijvoorbeeld de Cotan, want die commissie publiceert alleen de beoordeling. Zij maakt de test niet openbaar ; daarover wordt telkens een overeenkomst van confidentialiteit gesloten.”

Enkele jaren geleden vroeg de Cotan de onderzoeksgegevens van de U-Test op, maar kreeg geen respons. Evers beperkt zijn commentaar dan maar tot het voorhanden materiaal : “De betrouwbaarheidscoëfficiënten die uit het onderzoek van Buchanan naar voor treden, zijn veel te laag voor gebruik bij personeelsselectie. De Cotan hanteert een vrij hoge coëfficiënt van.80 omdat in selectiesituaties zware beslissingen genomen worden. Dan moet de test echt betrouwbaar zijn. Geen enkele schaal van de U-Test haalt die limiet. Tests of schalen die minder dan.50 halen zijn zelfs niet geschikt voor gebruik in situaties die veel minder zwaarwichtig zijn. Als de Cotan op basis van deze gegevens de U-Test zou beoordelen, zou die op alle punten betrouwbaarheid, normen, validiteit, theoretische uitgangspunten en kwaliteit van testmateriaal een onvoldoende krijgen, voor de vier laatste punten omwille van de afwezigheid van materiaal. Dat de test zou uitgaan van Scientology, kan in dit geval buiten beschouwing worden gelaten.”

Waarde enquête U-Man beperkt

In de realiteit van de testpsychologie wijst niet publiceren op afwezigheid van degelijk onderzoek of op zwakke resultaten. U-Man verwijst echter systematisch naar “tevreden” klanten en pakt bij gelegenheid uit met testimonials. Dat argument maakt weinig indruk op Arne Evers : “Tevredenheidsonderzoek bij klanten zou enige waarde kunnen hebben als het systematisch gebeurde, bijvoorbeeld door alle werkgevers die het instrument gebruiken na een half jaar een gestandaardiseerde vragenlijst voor te leggen en daarover volledig en correct te rapporteren. Dan zou je ook minder tevreden werkgevers kunnen opnemen. Dat zou het begin kunnen zijn van een echt validatie-onderzoek, maar ook niets meer. Een argument tegen deze werkwijze is dat meestal de ontevredenen genegeerd worden. Een tweede verschijnsel is dat onder degenen die zeggen dat ze tevreden zijn, er een deel zitten die zich tevreden tonen omdat ze voor de test betaald hebben en cognitieve dissonantie willen vermijden. De waarde van zo’n enquête blijft dus zeer beperkt. Ze kan zelfs als ze systematisch uitgevoerd is nooit in de plaats komen van echt validiteitsonderzoek.”

Dat onafhankelijk en controleerbaar onderzoek in verband met de OCA niet belangrijk is voor de verkopers van de test en zelfs ontweken wordt, wordt begrijpelijk als men verscheidene instructies leest die de stichter van Scientology, Ron Hubbard, schreef over het gebruik van de test. Hubbards richtlijnen zijn samen te vatten als : “Wat ook het resultaat is, er moeten cursussen verkocht worden.”

JOS GAVEL GUIDO MUELENAER

U-MAN BELGIUM U-Test wordt met de grond gelijkgemaakt door testspecialisten.