Auteur: Kip Hansen

Elke keer dat iemand in onze groep, een wetenschapsscepticus of ‘klimaatrealist’, zich uitspreekt over onzekerheid en hoe deze van invloed is op peer-reviewed wetenschappelijke resultaten, wordt hij er onmiddellijk van beschuldigd wetenschapsontkenner te zijn of te proberen het hele veld van de wetenschap te ondermijnen.

Ik heb hier keer op keer geschreven over hoe de resultaten van de meeste studies in de klimaatwetenschap de onzekerheid van hun resultaten enorm onderschatten. Laat me dit zo duidelijk mogelijk stellen: elke bevinding die niet eerlijk een openhartige bespreking omvat van de onzekerheden die bij het onderzoek betrokken zijn, te beginnen met de onzekerheden van de onbewerkte gegevens en dan helemaal door de onzekerheden die door elke stap van de gegevensverwerking worden toegevoegd, is de digitale inkt die wordt gebruikt om het te publiceren niet waard.

Een nieuwe grote studie met meerdere onderzoeksgroepen, aanvaard en aangekondigd in de Proceedings of the National Academy of Sciences, zal de onderzoekswereld opschudden. Dit artikel is voor een keer niet geschreven door John P.A. Ioannidis, bekend van “Waarom de meeste gepubliceerde onderzoeksresultaten onjuist zijn“.

Het artikel is:  “Het observeren van veel onderzoekers die dezelfde gegevens en hypothese gebruiken, onthult een verborgen universum van eigenzinnige onzekerheid“.

Dit is goede wetenschap. Zo hoort wetenschap te zijn. En zo zou wetenschap gepubliceerd moeten worden.

Ten eerste, wie heeft dit artikel geschreven?

Nate Breznau et al. Breznau is verbonden aan de Universiteit van Bremen. Voor coauteurs is er een lijst van 165 coauteurs van 94 verschillende academische instellingen. De betekenis hiervan is dat dit niet het werk is van een enkele persoon of een enkele ontevreden onderzoeksgroep.

Wat deden ze?

De onderzoeksvraag is deze: “Zullen verschillende onderzoekers samenkomen in vergelijkbare bevindingen bij het analyseren van dezelfde gegevens?”

Dit deden ze:

“Drieenzeventig onafhankelijke onderzoeksteams gebruikten identieke onderzoeksgegevens uit verschillende landen om een ​​gevestigde sociaalwetenschappelijke hypothese te testen: dat meer immigratie de publieke steun voor het verstrekken van sociaal beleid door de overheid zal verminderen.”

Wat hebben ze gevonden?

“In plaats van convergentie, varieerden de numerieke resultaten van teams enorm, variërend van grote negatieve tot grote positieve effecten van immigratie op de publieke steun.”

Een andere manier om hiernaar te kijken, is door te kijken naar de werkelijke numerieke resultaten die door de verschillende groepen zijn geproduceerd, waarbij dezelfde vraag wordt gesteld, met behulp van identieke gegevens:

Het discussiegedeelte begint met het volgende:

“Discussie: resultaten van ons gecontroleerde onderzoeksontwerp in een grootschalige crowd sourced-onderzoeksinspanning waarbij 73 teams betrokken waren, tonen aan dat het analyseren van dezelfde hypothese met dezelfde gegevens kan leiden tot aanzienlijke verschillen in statistische schattingen en inhoudelijke conclusies. In feite kwamen geen twee teams tot dezelfde reeks numerieke resultaten of namen dezelfde belangrijke beslissingen tijdens de data-analyse.”

Wie meer wil weten

Als je echt wilt weten waarom onderzoekers die dezelfde vraag stellen met dezelfde gegevens tot totaal verschillende en tegenstrijdige antwoorden komen, moet je echt de studie lezen.

Hoe verhoudt dit zich tot de Veel-analistenbenadering?

Afgelopen juni schreef ik over een benadering van wetenschappelijke vragen genaamd The Many-Analysts Approach.

De Many-Analysts Approach werd aangeprezen als:

“We stellen dat de huidige manier van wetenschappelijke publicatie – die genoegen neemt met een enkele analyse – de ‘modelbijziendheid’ verankert, een beperkte beschouwing van statistische aannames. Dat leidt tot overmoed en slechte voorspellingen. …. Om de robuustheid van hun conclusies te meten, moeten onderzoekers de gegevens aan meerdere analyses onderwerpen; idealiter zouden deze worden uitgevoerd door een of meer onafhankelijke teams.“

Dit nieuwe artikel, dat vandaag wordt besproken, heeft het volgende te zeggen:

“Zelfs hoogopgeleide wetenschappers die gemotiveerd waren om tot nauwkeurige resultaten te komen, varieerden enorm in wat ze vonden wanneer ze dezelfde gegevens en hypothese kregen om te testen. De standaardpresentatie en interpretatie van wetenschappelijke resultaten onthulden niet het geheel van onderzoeksbeslissingen in het onderzoeksproces. Onze conclusie is dat we een verborgen universum van eigenzinnige onderzoekersvariabiliteit hebben aangeboord.”

En dat betekent voor u en mij dat noch de benadering met veel analisten noch de benadering met veel analyseteams het Real World probleem zal oplossen dat wordt gepresenteerd door de inherente onzekerheden van de moderne wetenschappelijk onderzoeksproces – “veel-analisten/teams” zullen licht verschillende benaderingen, verschillende statistische technieken en licht verschillende versies van de beschikbare gegevens gebruiken. De teams maken honderden minuscule veronderstellingen, waarbij ze ze meestal beschouwen als best practices. En vanwege deze kleine verschillen komt elk team tot perfect verdedigbare resultaten, die zeker door de peer-review zullen komen, maar elk team komt tot verschillende, zelfs tegenstrijdige, antwoorden op dezelfde vraag van dezelfde gegevens.

Dit is precies het probleem dat we elke dag zien in de klimaatwetenschap. We zien dit probleem in Covid-statistieken, voedingswetenschap, epidemiologie van alle soorten en vele andere gebieden. Dit is een ander probleem dan de verschillende vooroordelen die politiek en ideologisch gevoelige onderwerpen beïnvloeden, de druk in de academische wereld om resultaten te vinden die in overeenstemming zijn met de huidige consensus in iemands vakgebied en de sluipende ziekte van pal-review.

In  de klimaatwetenschap zien we de misplaatste overtuiging dat meer verwerking – middeling, anomalieën, krigging, smoothing, enz. – onzekerheid vermindert. Het tegenovergestelde is waar: meer verwerking vergroot de onzekerheden. De klimaatwetenschap erkent niet eens het eenvoudigste type onzekerheid – oorspronkelijke meetonzekerheid – en wenst het liever te negeren.

Een andere benadering die zeker zal worden gesuggereerd, is dat de resultaten van de uiteenlopende bevindingen nu moeten worden onderworpen aan het middelen of het vinden van het gemiddelde – een soort consensus – van de veelheid aan bevindingen. De afbeelding van de resultaten toont deze benadering als de cirkel met 57,7% van de gewogen verdeling. Dit idee is niet meer geldig dan het middelen van chaotische modelresultaten zoals in de klimaatwetenschap wordt gedaan – met andere woorden: waardeloos.

Pielke Jr. suggereert in een recente presentatie en follow-up Q&A met de National Association of Scholars dat het waarschijnlijk de beste aanpak is om de beste echte experts bij elkaar te krijgen in een kamer en deze controverses op te lossen. Pielke Jr. is een erkende fan van de aanpak van het IPCC – maar alleen zolang hun bevindingen onaangetast blijven door politici.

Desondanks ben ik het er meestal mee eens dat het krijgen van de beste en meest eerlijke wetenschappers in een vakgebied, samen met specialisten in statistiek en evaluatie van programmatische wiskunde, allemaal in één virtuele kamer met opdrachten om te beoordelen en hash uit de grootste verschillen in bevindingen zou kunnen leiden tot betere resultaten.

Vraag het niet aan mij

Ik ben geen actieve onderzoeker. Ik heb geen kant-en-klare oplossing voor de “Drie C’s” – het feit dat de wereld 1) ingewikkeld, 2) complex en 3) chaotisch is. Die drie vullen elkaar aan om de onzekerheid te creëren die inherent is aan elk probleem. Deze nieuwe studie voegt een andere laag toe: de onzekerheid die wordt veroorzaakt door de veelheid aan kleine beslissingen die onderzoekers nemen bij het analyseren van een onderzoeksvraag.

Het lijkt erop dat de hoop dat de benaderingen van veel-analisten/veel-analyseteams zouden helpen bij het oplossen van enkele van de lastige wetenschappelijke vragen van de dag, is vervlogen. Het lijkt er ook op dat wanneer onderzoeksteams die beweren onafhankelijk te zijn tot antwoorden komen die de schijn van te nauwe overeenstemming hebben, we achterdochtig moeten zijn, niet gerustgesteld.

***


Commentaar van de auteur

Als je geïnteresseerd bent in waarom wetenschappers het niet eens zijn, zelfs niet over simpele vragen, dan moet je dit artikel absoluut nu meteen lezen.

Als het je begrip van de moeilijkheden van het doen van goede, eerlijke wetenschap niet verandert, heb je waarschijnlijk een hersentransplantatie nodig. … Of op zijn minst een nieuwe cursus voor geavanceerde kritische denkvaardigheden.

Zoals altijd, geloof me hier niet op mijn woord. Lees de krant en ga misschien terug en lees mijn eerdere stuk over veel analisten.

Goede wetenschap is niet eenvoudig. En naarmate we steeds moeilijkere vragen stellen, wordt het er niet makkelijker op.

Het gemakkelijkste van de wereld is om nieuwe hypothesen te verzinnen die redelijk lijken of om voorspellingen te doen voor toekomsten ver na ons eigen leven. Het tijdschrift Popular Science maakte van dat soort zaken een businessplan. De “theoretische fysica” van vandaag lijkt er een spel van te maken – wie kan het gekste, maar toch geloofwaardige idee bedenken over “hoe de dingen werkelijk zijn”.

***

Bron hier.