Betrouwbare lessen uit een onbetrouwbare test

De speekseltest. Het nieuwe wapen om rijden onder de invloed van drugs aan te pakken. Maar er doen geruchten de ronde dat die test niet zo betrouwbaar zou zijn. Laten we eens kijken wat de gevolgen zijn van onbetrouwbaarheid. Voor onze berekening maken we een aantal veronderstellingen. We veronderstellen dat de test voor 90 procent betrouwbaar is (niet slecht zou ik zeggen). Dat wil natuurlijk zeggen dat 10 procent van de drugvrije chauffeurs toch positief blazen, sorry, ‘speekselen’. En uiteraard ook dat 10 procent van de druggebruikers door de mazen van het speekselnet glipt. Dat laatste is niet leuk, maar niet zo erg, nu glipt er 100 procent door de mazen van het net. Verder veronderstellen we dat er slechts 5 procent slikkers zijn. We zijn dus optimistisch, 95 procent van de bevolking rijdt min of meer clean.

Laten we nu een zeer eenvoudige tabel maken. Veronderstel dat er duizend chauffeurs toevallig worden gecontroleerd. De tabel toont ons netjes wat er gebeurt. Er zijn 50 ‘slikkers’ en 950 onschuldigen, maar van deze laatste groep zullen er niet minder dan 95 volkomen ten onrechte beschuldigd worden. Het zal je maar overkomen. En van de 50 gebruikers, zullen er 5 in hun vuistje en 45 ‘groen’ lachen.

U bent politieofficier, en de zoveelste weerspannige burger is net tot bij u gebracht. Hij roept en tiert dat hij tegen drugs is, nooit geslikt heeft, dat het een schande is, enzovoort. De man heeft ‘connecties’ en dreigt ze te gebruiken. Dat maakt natuurlijk op u weinig indruk. Maar wat wel indruk maakt, is het feit dat zo veel mensen zo boos zijn. Er vallen u in de tabel enkele vreemde dingen op. Er zijn maar 5 procent gebruikers, en toch 14 procent positieve tests. En u ziet nog iets verontrustenders. Op de 140 positieve tests zijn er 95 (dat is bijna 68 procent) onschuldigen. Plots heeft 90 procent betrouwbaarheid zich vertaald in 68 procent fouten bij een positieve test. Bij een negatieve test is het plaatje totaal anders, dan scoren we 99,4 procent correct of slechts 0,6 procent fouten.

Potvolkoffie, wat zou u dat graag omgekeerd hebben gezien. Dat er bij een negatieve test af en toe iemand door de mazen van het net glipt, tot daar toe, daar hoeft u echt geen 99,4 procent te scoren. Maar bij de positieve tests slechts 32 procent nauwkeurigheid, dat is huilen met de pet op. Dat worden parlementaire vragen, woedende burgers, opstootjes misschien, en tussenkomsten allerhande. U staart naar die tabel en u raadpleegt een statisticus. Maakt u een redeneerfout? Helemaal niet, zegt de geleerde man, hij sleurt er de bayesiaanse statistiek bij, tovert nog een formule uit de mouw en zegt heel simpel: bij zeldzame verschijnselen moet een test zeer, zeer betrouwbaar zijn (laten we zeggen liefst 99,5 procent). Anders loop je het risico op al te veel valse alarmen. “En is er een oplossing?”, vraagt u verontrust. “Natuurlijk,” zegt de statisticus, “maak een betrouwbare, dus duurdere speekseltest.”

“Er is echter nog een tweede mogelijkheid”, zegt de geleerde man. U spitst de oren. “U kunt ervoor zorgen dat het aantal ‘slikkers’ dramatisch toeneemt, dan zal uw speekseltest veel performanter worden.”

Bij de volgende grootschalige campagne om nog vroeger te laten screenen, of wat dan ook te testen, moet u dit even in het achterhoofd houden: tests voor zeldzame problemen moeten een zeer hoge betrouwbaarheid hebben of we worden verpletterd door de valse alarmen. Iets analoogs geldt voor beleggingsadviezen: als het onwaarschijnlijk is dat een riskante belegging echt veel zal opbrengen, koopt u dat product enkel als u een uiterst betrouwbare tip hebt gekregen. Maar uiterst betrouwbare tips over riskante beleggingen, dat is een contradictio in terminis. En de stresstest voor banken? Veel hangt er dus van af of de kans op een crash groot dan wel klein is.

Marc Buelens – Partner-hoogleraar management aan de Vlerick Leuven Gent Management School

90 procent betrouwbaarheid betekent dat 68 procent van de positieve tests verkeerd is.