De Mission Impossible met beginnersfoutje van NIVEL

Op 2 september 2024 verscheen het langverwachte rapport van NIVEL ‘Oversterfte tijdens de Covid-19 periode‘ dankzij een prestigieuze subsidie van ZonMw. De belangrijkste vraag die NIVEL wilde beantwoorden is of er een verschil was in oversterfte tussen gevaccineerde en ongevaccineerde mensen. Aan zo’n vraagstelling hebben we alleen iets als vaccinatie dan ook een causale rol speelt en niet alleen een indicator is van bijvoorbeeld een bepaalde sociale klasse of automerk.

Onder oversterfte verstaat NIVEL het percentage dat de daadwerkelijke sterfte hoger is dan de verwachte sterfte. En de verwachte sterfte is de sterfte tijdens een referentieperiode, in dit geval 2015 – 2018. Het NIVEL-onderzoek naar oversterfte bij gevaccineerde en ongevaccineerde personen heeft inmiddels veel aandacht gekregen, maar helaas moeten we concluderen dat dit onderzoek niet de gewenste juiste antwoorden kán geven als we op zoek zijn naar causaliteit.

Er kwam wél een antwoord, want getallen zijn getallen. Maar het lijkt alsof de auteurs het cruciale verschil tussen associatie en causaliteit zijn vergeten. Iedereen die goed klinisch kan redeneren en kijk heeft op methodologie, zal wijzen op het verbazingwekkend onrealistische resultaat in de studie, wanneer causaliteit geëvoqueerd wordt.

Het onderzoek suggereert een oversterfte in alle volwassenen leeftijdscategorieën in de ongevaccineerde groep. De getallen lopen bijvoorbeeld uiteen van een oversterfte na 3 maanden van 101 procent bij 18-35-jarigen tot 285 procent bij 76-80-jarigen. Dit betekent dus dat er bijna 285 procent meer sterfte was dan verwacht op basis van eerdere referentiejaren (2015 – 2018). Dit getal is buitengewoon hoog en vanuit medisch epidemiologisch perspectief niet geloofwaardig gezien de bekende risicofactoren voor COVID-19 en de verwachte sterftecijfers onder de algemene bevolking.

De daar tegenoverstaande sterfte onder gevaccineerden is in het NIVEL-rapport lager dan verwacht, zelfs voor niet-COVID-gerelateerde oorzaken, met bijvoorbeeld een sterftereductie van 18 procent bij 76-80-jarigen en 45 procent bij 36-60-jarigen na 3 maanden. Ook dit is vanuit pathofysiologisch oogpunt niet goed te verklaren, behalve dat er ontegenzeggelijk minder verkeersongelukken zijn geweest.

‘In deze beginnersfout worden associatie en causaliteit verward’

Desalniettemin lieten enkele vooraanstaande wetenschappers en journalisten al snel weten dat de conclusies van de studie duidelijk zijn en “de waarheid” is die sommige “wappies” niet willen horen: vaccineren werkt heel goed. Een typisch geval van braafpraten en kritiekloos napraten van de auteurs die stellen (citaat): “Dit onderzoek bevestigt daarmee het belang van de COVID-19-vaccinatie voor het voorkomen van sterfte in de periode 2021 – 2022”. Een beginnersfout van de auteurs die associatie en causaliteit verwarren.

Kritiek van mensen met een goede staat van dienst op het gebied van onderzoek en epidemiologie, werd en passant makkelijk afgeserveerd.
Voor de duidelijkheid, ook ik ben van mening dat het wetenschappelijk bewijs voor een beschermend effect van vaccins op ernstige ziekte en overlijden bij hoog-risicogroepen, solide is op basis van de vele gepubliceerde studies, waaronder grote prospectieve studies.

Hoewel de onderzoekers duidelijk veel moeite hebben gedaan om de beschikbare data te verzamelen en analyseren, blijkt uit een nadere blik dat de studie niet in staat was om haar belangrijkste vraag te beantwoorden: namelijk of er een significante oversterfte was bij ongevaccineerde mensen in vergelijking met gevaccineerde mensen, in samenhang met de vaccinatie. En dat was voorafgaande de studie eigenlijk ook wel duidelijk.

De reden dat deze vraag namelijk niet beantwoord kan worden, ligt in de enorme hoeveelheid ontbrekende gegevens en de aanwezigheid van vele verstorende factoren, zogenaamde confounders, en uiteraard het retrospectieve karakter van de studie.

De opzet van het onderzoek had al vanaf het begin duidelijk moeten maken dat de beschikbare data simpelweg niet toereikend waren voor het beantwoorden van deze complexe vraag.

Welke problemen zijn er die dit onderzoek kenmerken? Ik zet een aantal voor u op een rijtje, zonder volledigheid te claimen.

Allereerst zijn er veel belangrijke ontbrekende data. Dat kunnen we de auteurs niet kwalijk nemen, maar dat wisten ze ook al wel van tevoren. De natuurlijke immuniteit bij ongevaccineerde personen, die al eerder COVID-19 hebben gehad, is niet meegenomen in de analyses. Deze mensen hebben vaak vergelijkbare of zelfs betere bescherming tegen het virus, maar worden in het onderzoek behandeld alsof ze volledig kwetsbaar zijn.

Eerdere COVID-19-infecties zijn niet systematisch gedocumenteerd, denk daarbij ook aan het vele zelftesten. Hierdoor kan het onderzoek niet goed onderscheid maken tussen mensen die nooit besmet zijn geweest en mensen die al immuun zijn door een eerdere infectie. Er zijn geen gegevens over antilichaam-spiegels in het bloed of andere immuniteitsmarkers, wat cruciale informatie zou zijn geweest om een nauwkeuriger beeld van de bescherming bij zowel gevaccineerde als ongevaccineerde groepen te krijgen.

‘Mensen die al vroeg in de pandemie overleden, worden ten onrechte in de ongevaccineerde groep geplaatst’

En ook was er een typisch Nederlands probleem, een significant aantal mensen wilde niet dat hun vaccinatie werd geregistreerd. Verder maakt het onderzoek gebruik van een simpele ja/nee-categorisering voor chronische ziekten. Dat houdt geen rekening met de ernst van deze ziekten. Dit is een ernstige tekortkoming, omdat de sterftekans aanzienlijk varieert afhankelijk van de ernst van de aandoening.

Daarnaast zijn er belangrijke verstorende factoren (confounders). Er is sprake van een zogenaamde frailty bias: ongevaccineerde personen zijn vaak kwetsbaarder of ernstig ziek, en kunnen daarom vaak worden uitgesloten van vaccinatie. Dit maakt de ongevaccineerde groep onevenredig kwetsbaar, wat een vertekend beeld geeft van hun sterftekans. Dit punt geven de auteurs overigens correct aan als ‘healthy vaccinee effect’.

Mensen die al vroeg in de pandemie overleden, voordat ze gevaccineerd konden worden, worden ten onrechte in de ongevaccineerde groep geplaatst. Dit verhoogt kunstmatig de sterftecijfers in deze groep en noemen we survivor bias. Een andere confounder is de toegang tot gezondheidszorg die sterk verschilt tussen gevaccineerde en ongevaccineerde personen. Ongevaccineerden zoeken mogelijk minder snel medische hulp, wat hun gezondheid negatief beïnvloedt. Dit sluit aan bij gedragsverschillen tussen gevaccineerde en ongevaccineerde mensen, zoals het naleven van gezondheidsrichtlijnen of het tijdig bezoeken van artsen, en zijn niet meegenomen in de analyse. Dit beïnvloedt hun gezondheid aanzienlijk.

Tenslotte noem ik de contextuele factoren die voor beide groepen geldt: het onderzoek houdt geen rekening met de overbelasting van het zorgsysteem tijdens de pandemie. In de referentiejaren 2015 – 2018 was de druk op de zorg veel lager dan tijdens de pandemie, wat de resultaten kan beïnvloeden. De stress en sociaaleconomische onzekerheid die de pandemie veroorzaakten, kunnen ook een rol hebben gespeeld, met name onder ongevaccineerde mensen.

De senior-auteurs, die ervaren onderzoekers zijn, hadden kunnen en moeten voorzien dat de beschikbare data nooit in staat zouden zijn om deze complexe vraag te beantwoorden. Bovendien door de onbegrijpelijke binnenbocht te nemen, de causale sprong, maken de auteurs zich zeer kwetsbaar voor emotionele tegenstanders van vaccinatie. Dit staat nog los van vragen over de data-integriteit.

We moeten vriendelijk blijven in onze kritiek, maar ook eerlijk: het onderzoek heeft voorspelbaar geen antwoorden gegeven op de vragen die men wilde beantwoorden, en derhalve is het min of meer ten dele een verkwisting van tijd en geld. En zoals ik ook al in het begin van de pandemie heb gesteld, we zullen ook moeten accepteren dat sommige vragen over de oorzaken van de oversterfte onbeantwoord zullen blijven. Onvolledige en inconsistente gegevens, complexe interacties tussen chronische ziekten en infecties, problematische vaststelling van indirecte effecten en langetermijneffecten en bias in de gegevensverzameling en analyse, zijn daar debet aan.

Met de binnenbocht naar causaliteit zaaien de auteurs van een gerenommeerd instituut eerder twijfel en achterdocht, dan vertrouwen in de wetenschap.