Het rekenmodel van de TU Delft dat een coronatoegangsbewijs en aanscherping naar ‘2G’ moest onderbouwen, bleek rekenfouten te bevatten. Het kabinet en het OMT bestelden bij het RIVM een nieuw model. Statistici maken ook daar gehakt van: ‘Dit is geen model, maar een belediging voor de wetenschap.’
Hugo de Jonge, demissionair minister van Volksgezondheid, Welzijn en Sport (VWS), tilde op 6 december een stemming in de Tweede Kamer naar het volgende jaar. ‘Ik zie dat de steun op dit moment nog onvoldoende is,’ zei hij over zijn wetsvoorstellen om het gebruik van het coronatoegangsbewijs uit te breiden naar de werkvloer en te koppelen aan een ‘2G-systeem’. Bij 2G zijn mensen alleen nog welkom met een bewijs van vaccinatie of van genezing van covid.
In het parlement neemt de twijfel toe over het nut van het coronatoegangsbewijs. Kamerlid Lisa Westerveld (GroenLinks) zegt tegen Follow the Money: ‘De onderbouwing rammelt aan alle kanten. We hebben kritische vragen gesteld over de toepassing van de modellen en de gebruikte aannames, maar daar is geen of gebrekkig antwoord op gekomen.’
Het kabinet en het OMT baseren zich sinds september op een rekenmodel van de TU Delft. Dat model zou laten zien dat 2G meer besmettingen en ziekenhuisopnames voorkomt dan 3G, waarbij mensen niet alleen naar binnen kunnen met een bewijs van vaccinatie of genezing maar ook met een bewijs van een recente, negatieve coronatest.
Afgelopen vrijdag publiceerde Follow the Money een artikel waarin wetenschappers het Delftse model fileerden. De modelleurs zelf zeiden daarin dat ‘het model geen onderbouwing geeft voor wel of geen coronapas’.
Om meer draagvlak te creëren voor het 2G-systeem bestelde De Jonge voor het 130e OMT-advies van 19 november een nieuwe modellering van de verschillende ‘G-modaliteiten’ (1G, 2G, 3G).
Het OMT zette het RIVM aan het rekenen en bestudeerde volgens de literatuurlijst – naast de Delftse analyse – een model van het Tony Blair Institute for Global Change. De door Follow the Money geraadpleegde wetenschappers noemden dat Blair-model vorige week ‘lobbywerk’ waarvan het wetenschappelijke gehalte als ‘lachwekkend’ mag worden beschouwd.
Het RIVM zegt dat zijn modellering eigen werk is, waar de ‘genoemde bronnen geen invloed op hadden’.
Op het moment van onze publicatie – vroeg in de ochtend van 3 december – was dat RIVM-model nog niet openbaar, maar in de loop van de dag verscheen een Kamerbrief waarin – naast antwoorden op Kamervragen over de reeds bekende aannames – het volledige model werd vrijgegeven. Follow the Money legde ook dit model en de toelichting erop voor aan deskundigen.
Een model zonder context
Rens van de Schoot, hoogleraar statistiek voor kleine datasets aan de Universiteit Utrecht, begint met een compliment: ‘In tegenstelling tot eerdere modellen is het RIVM nu transparant over de gebruikte formules en aannames. Dat maakt het mogelijk voor andere wetenschappers om het model te evalueren en verbeteringen aan te dragen.’
Van de Schoot haalt een beroemd aforisme uit zijn vakgebied aan: ‘Alle modellen zijn fout, maar sommige zijn bruikbaar’ en legt uit waarom we de uitkomsten van dit model met een flinke korrel zout moeten nemen.
‘Uit de antwoorden van de minister blijkt dat in het model geen onzekerheidsmarges zitten.’ En dat is een probleem: ‘Over de aannames in deze berekening is geen consensus. Er wordt stevig over gedebatteerd. Maar zo wordt het niet gepresenteerd. Er rolt één getal uit deze berekening die zegt dat 2G 50 procent veiliger is dan 3G. Als je daar geen kanttekeningen bij plaatst over onzekerheden en context gaat zo’n getal een eigen leven leiden en wordt het voor waar aangezien.’
Dat gebeurde. Op 22 november kopten zowel RTL Nieuws als de De Telegraaf: ‘OMT: 2G kan aantal besmettingen halveren ten opzichte van 3G.’
Van de Schoot: ‘Op basis van de aannames in dit model levert 2G bij elk evenement relatief minder besmettingen en ziekenhuisopnames op dan 3G. Maar het zegt niets over het voorkomen van absolute aantallen besmettingen en ziekenhuisopnames. Je kunt dus ook niets concluderen over de proportionaliteit van de maatregelen.’
In de Kamerbrief van 6 december kwamen meer tekortkomingen naar voren. ‘In de modellering zijn geen gedragseffecten meegenomen,’ schrijft De Jonge. En ‘er zijn geen aannames of conclusies over gedrag buiten deze evenementen en locaties.’
Met andere woorden: er is niets bekend over hoe veelzeggend de besmettingen op ‘QR-evenementen’ zijn voor het grotere geheel van de pandemie.
‘Dit is geen model maar een bierviltje-berekening,’ zegt hoogleraar waarschijnlijkheidsrekening Ronald Meester aan de Vrije Universiteit in Amsterdam. Hij bekeek op verzoek van Follow the Money eerder ook het Delftse model en het model van het Britse Tony Blair Institute. ‘De uitvoering van die modellen liet te wensen over, maar daarin werd ten minste wel een poging gedaan om een fysiek mechanisme te modelleren over hoe mensen elkaar besmetten.’
Het RIVM laat dat mechanisme in zijn geheel buiten beschouwing. Onbegrijpelijk vindt Meester: ‘Dit is een zeer complexe situatie waarin menselijk gedrag centraal staat, maar het RIVM negeert menselijk gedrag. Dan mis je de essentie van waarvoor je een model zou moeten inzetten.’
‘Modelleren begint bij het inschatten van de kans dat iets gebeurt, om vervolgens de gevolgen daarvan in kaart brengen.’ Dat laat het RIVM volledig achterwege, zegt Meester. ‘Ze maken simpelweg vijf lineaire vergelijkingen, zonder toe te lichten om welke situaties het gaat.’
Hij geeft een voorbeeld: ‘Besmettingen in een drukke discotheek vinden op een andere manier plaats dan op een terras of in een restaurant. En het maakt ook uit of er veel of weinig mensen het virus bij zich dragen. Niets van dat alles is gemodelleerd.’
Inconsistente aannames
Van de Schoot merkt op dat het model uitgaat van de meest gunstige situatie voor 2G: ‘Er is geen gedragscomponent gemodelleerd, de bescherming van de vaccins tegen overdracht wordt hoog ingeschat en de testgevoeligheid juist laag. Deze berekening houdt geen rekening met een weerbarstiger praktijk, waarin mensen zich niet altijd aan de regels houden en waarin de bescherming van vaccins afneemt.’
In hun Kamervragen wezen verschillende partijen erop dat de gegevens die in het model worden gestopt niet altijd aansluiten op de laatste wetenschappelijke inzichten, bijvoorbeeld over de beschermende werking van vaccins tegen transmissie van het virus. Een andere aanname die vragen oproept: de effectiviteit van de gebruikte antigeen-sneltesten bij Testen voor Toegang.
Het RIVM neemt aan dat die antigeentesten slechts 59 procent sensitief zijn. Dat wil zeggen: 41 procent van de besmettelijke personen wordt niet gedetecteerd.
Dat staat in sterk contrast met de ondergrens van 90 procent sensitiviteit die de Europese autoriteiten hanteren voor gebruik van antigeentesten in de Europese Unie.
Artsen wijzen er al langer op dat officiële betrouwbaarheidscijfers van sneltesten in de praktijk niet worden gehaald. Bij de introductie van de testsamenleving werden dat soort waarschuwingen in de wind geslagen. Het kabinet en het OMT rekenden toen met een sensitiviteit van minimaal 80 procent om het nut van Testen voor Toegang te onderbouwen.
Begin december, precies in de week dat minister De Jonge via Twitter en Rijksoverheid.nl mensen aanmoedigde om vooral zelftesten af te nemen omdat ze betrouwbaar zijn, modelleerde het RIVM ze dus met een sensitiviteit van 59 procent, ruim onder de Europese grenswaarde.
Dat heeft modelmatig een significant effect: in het RIVM-model komt 2G relatief gezien een stuk beter uit de bus dan 3G en 1G. Bij 2G spelen testen immers geen rol, terwijl de onderbouwing van 3G en 1G juist is gestoeld op een hoge sensitiviteit van de antigeentest.
Belediging voor de wetenschap
‘Spelen met de parameters en aannames is eigenlijk al te veel eer voor dit model,’ vindt hoogleraar waarschijnlijkheidsrekening Ronald Meester. ‘Het is echt bar en boos, een belediging voor de wetenschap. Dit lijkt op een zondagmiddag in elkaar gezet door een stagiair.’
Meester kan zich ‘haast niet voorstellen dat het RIVM verantwoordelijk is voor dit model. Dat zou enorm schadelijk zijn voor de reputatie van het instituut.’
In antwoorden op vragen van Follow the Money was het RIVM aanvankelijk onduidelijk over zijn rol. ‘Het RIVM heeft niet de opdracht gekregen dit model te bouwen,’ schreef de woordvoerder. ‘De beantwoording [..] is door een aantal OMT-leden voorbereid, met ondersteuning van het RIVM. [..] Behalve via de OMT-adviesbrief is dit niet apart gepresenteerd aan VWS. En er is geen andere, separate rapportage.’
Maar als Follow the Money doorvraagt naar de expliciete rolverdeling (wie gaf de opdracht, wie is verantwoordelijk voor het opstellen van het model en de aannames?), zegt de RIVM-woordvoerder: ‘VWS vroeg het OMT om een model, en het OMT heeft die vraag doorgezet naar het RIVM.’
De formules zijn door het RIVM opgesteld, evenals de aannames. Er was – ook na meermaals aandringen – geen RIVM-modelleur beschikbaar voor een inhoudelijke toelichting aan Follow the Money.
Volgens Meester is wat het kabinet, OMT en RIVM hier doen ‘losgeslagen van de werkelijkheid’. ‘Dit is gewoon een set aannames waarvan je van tevoren al weet dat 2G beter uit de bus komt dan 3G, een absurde abstractie van de complexe werkelijkheid.’
Dit is het model van het RIVM, gevisualiseerd door Allard Warrink. Het model is standaard ingevuld met de aannames van het RIVM. Hoewel hoogleraar Ronald Meester ‘dit al te veel eer’ vindt, kun je met de aannames spelen en het effect zien. Klik op de link achter Warrinks naam om de vijf lineaire formules te bekijken die bepalen hoe de ‘G-modaliteiten’ zich ten opzichte van elkaar verhouden.
FOLLOW THE MONEY
0 reacties :
Een reactie posten