Bedrog door gegevens

Simpsons paradox, McNamara fallacy en het Cobra-effect

Het aardige van het geven van voordrachten is dat niemand méér leert van jouw voordracht dan jijzelf. Zeer binnenkort vindt het symposium Critical Care Datathon plaats waaraan ik op verschillende manieren bijdraag; één ervan is een voordracht over het ‘wijs gebruik van data’. Een heel mooie aanleiding om je gedachten hierover opnieuw op een rijtje te zetten en ik wil dat hier graag met u delen.

Het gebruik van gegevens, data, is een belangrijke bron van kennis, maar kan ook tot verkeerde conclusies leiden en zelfs tot verkeerd gedrag. Helaas blijken veel mensen, waaronder bestuurders, politici en beleidsmakers, slecht op de hoogte van het wijs gebruik van data en vooral van de denkfouten bij het gebruik van data.

Laten we eens beginnen met het meten van kwaliteit in de gezondheidszorg. Heel erg lastig, zo heb ik al vaker betoogd. En toch komt het maar steeds terug en wordt erop gehamerd dat de patiënt zijn keuze moet kunnen maken o.b.v. kwaliteit van zorg. Dat klinkt mij overigens wel als redelijk in de oren.

Veel bestuurders, politici en beleidsmakers blijken slecht op hoogte van denkfouten bij het gebruik van data

Een eenvoudige kwaliteitsmeter lijkt mortaliteit te zijn en de discussie over kans op overleving en vooral die gestandaardiseerd naar ernst van de ziekte (SMR = standardized mortality rate) komt steeds weer terug. Bij het bepalen van de SMR vergelijk je de werkelijke sterfte met de sterfte die je mocht verwachten. Dus stel de gemeten sterfte is 10 procent en de verwachte sterfte is 20 procent, dan is de SMR 10/20 = 50 procent. Als je het beter doet dan de verwachtingen is de SMR dus kleiner dan 1 (= 100 procent) en wanneer je oversterfte hebt is deze groter dan 1. Je corrigeert voor ernst van de ziekte in de getallen van de verwachtte sterfte, dus het lijkt allemaal prima.

Nee dus. Daarom wou ik nu even praten over Simpsons paradox. Stel we hebben twee intensive cares – ICU-A en ICU-B – en ze zijn beiden precies even goed in het behandelen van hoogrisicopatiënten (HR-patiënten) en laagrisicopatiënten (LR-patiënten). Maar op ICU-A komen 50 procent HR-patiënten en op ICU-B komen 10 procent HR-patiënten. Wat denkt u dat de consequenties zijn voor de SMR? Nota bene: beide IC’s hebben precies dezelfde kwaliteit.

Welnu, ICU-B heeft een lagere (= betere) SMR dan ICU-A. In bijgaand plaatje uit mijn presentatie ziet u hoe dat komt. Dat had u vast niet verwacht. Mutatits mutandis kunt u in plaats van mortaliteit ook een ernstige complicatie invullen en in plaats van ICU ook ziekenhuis A en B, waarbij het gaat om doden door bijvoorbeeld kanker.

Om dit ‘bedrog door getallen’ snel te herkennen helpt het als je goed bent in wiskunde en het is daarom overigens enigszins beangstigend dat – ofschoon onze wereld steeds technischer wordt – we zo weinig bèta’s in de Tweede Kamer hebben.

Helaas zijn er naast veel kenmerken die je kunt meten, nog véél meer zaken die je niet kunt meten

Nu is de praktijk nog veel lastiger, want om een verwachting van mortaliteit te bepalen moet je allerlei kenmerken kunnen meten. Helaas zijn er naast veel kenmerken die je kunt meten, nog véél meer zaken die je niet kunt meten, waaronder heel erg belangrijke.

Het ontkennen en niet mee laten tellen van zaken die wél belangrijk zijn, maar niet eenvoudig in en getalletje zijn weer te geven, wordt ‘McNamara fallacy’ genoemd, vernoemd naar de Amerikaanse minister van defensie McNamara. Deze minister probeerde de Vietnamoorlog via een lijst van getallen wetenschappelijk te vervolgen. Wat niet gemeten kon worden, was waarschijnlijk niet belangrijk, zo meende hij.

En waar deze minister al helemaal geen rekening mee hield was het zogeheten Cobra-effect. Dat zijn de onbedoelde consequenties, vaak tegenovergesteld van wat je wilt bereiken, van bepaalde maatregelen om iets te meten of te registreren. Toen de Engelse kolonialisten het aantal dodelijke cobrabeetslachtoffers in India wilden reduceren, loofden ze geld uit voor iedere ingeleverde cobrahuid; een financiële stimulans om de jacht op cobra’s te bevorderen. Maar de Indiërs gingen juist cobra’s kweken om zo geld te verdienen. Toen de Engelse kolonialisten zich dat realiseerden werd de maatregel afgeschaft. De kwekers wisten zich geen raad met al die cobra’s en lieten die toen maar vrij, met alle gevolgen van dien. Als u weer wat leest over zorgverzekeraars die prikkels willen geven voor de kwaliteit van zorg, denk dan even aan het Cobra-effect. Mij bekruipt helaas regelmatig het gevoel dat weinig beleidsmakers in de gezondheidszorg en de wat ik noem ‘kwaliteitsindustrie’ deze ‘data fallacies’ (en er zijn er nog meer) scherp in het vizier (willen) hebben. Maar dat zou natuurlijk ook wel weer een bias en tekortkoming in mijn interpretatie van de data kunnen zijn… hoewel?

Delen