Over het nut van audits

(of: Les 1 in wetenschapsfilosofie voor Martijn van Calmthout)

Martijn en ik kennen elkaar nog uit 1979 toen we tegelijkertijd natuurkundecolleges liepen aan de Universiteit van Utrecht. Blijkbaar heeft hij toen niet goed opgelet, want hij laat de laatste tijd nog al wat wetenschappelijke steken vallen.

Steve McIntyre ontmoette ik op het forum climatesceptics in 2003, waar hij met de vraag kwam of iemand al naar de klimaatreconstructie van Michael Mann had gekeken, niemand bleek dat gedaan te hebben. McIntyre legde verslag uit over de vreemde zaken die hij tegenkwam, zo bleek dat de data nog niet klaarstond en dat een assistent van Mann de opdracht had gekregen om het eens allemaal bij elkaar te zetten. McIntyre kreeg de datasets, maar was niet tevreden omdat hij uit de beschrijving van de methode in het artikel niet kon afleiden hoe Mann aan zijn eindresultaat was gekomen. McIntyre bleef Mann vragen stellen, Mann werd ongeduldig en zegde de medewerking op. Dit ging jaren door, de meeste vragen werden opgelost maar tot op heden is nog steeds niet bekend hoe de foutmarges in de hockeystick berekend zijn.

Mann’s publicatie was in wezen een klassiek wiskundig probleem: er was een set meetgegevens (nauwkeurig gedefinieerd) en er was een eindresultaat (nauwkeurig gedefinieerd). McIntyre wilde dit wiskundige probleem natrekken net zoals de stelling van Fermat werd nagetrokken. Fermat was dood die kon niet meer om opheldering worden gevraagd maar Mann leefde nog dus die had licht kunnen brengen in al deze onduidelijkheden die zijn artikel nog had, maar helaas Mann werkte niet mee, hij voelde zich aangevallen.

Dit is een schoolvoorbeeld geworden over hoe wetenschap niet hoort te werken. Als een wiskundig artikel wordt geschreven hoort dit te beschrijven wat de onderzoeker heeft gedaan, met name als er verstrekkende nieuwe claims worden geponeerd: (De middeleeuwse warme periode was niet warm) dan moet dit bewijs uit het artikel af te leiden zijn. Dit was bij Mann niet het geval, sterker nog latere onderzoeken hebben aangetoond dat de onzekerheid in de data die Mann gebruikte zo groot zijn dat over de temperatuur in de Middeleeuwen helemaal geen uitspraak valt te doen.
Mann lijkt zo op Fermat die in de kantlijn van een boek beweerde dat hij een bewijs had gevobden voor een wiskundig probleem, Dat probleem is inmiddels opgelost maar het was zeker niet zo eenvoudig als Fermat beweerde.

Hoe heeft wetenschapsjournalist Martijn van Calmthout dit opgepakt? Het begon veelbelovend met zijn artikel “Met een rode pen door de broeikas” waar hij netjes hoor en wederhoor pleegde. Maar later ging het mis bij een paginavullend artikel in de wetenschapsbijlage van de Volkskrant waar Mann kritiekloos werd neergezet als de arme belaagde wetenschapper. In het bedrijfsleven heb ik regelmatig audits afgenomen, het doel is altijd om bestaande procedures te onderzoeken en verbeteren. zo wordt een productielijn helemaal doorgelicht en alle relevante documenten moeten boven tafel komen. Alleen zo kan worden vastgesteld of de procedures volgens afspraken en (veiligheids)regels worden uitgevoerd.

Er worden vaak vraagtekens gesteld bij de beweegredenen van Steve McIntyre. Dit zijn zijn beweegredenen: de gebruikte wiskundige methoden boven water krijgen. Daarvoor zijn drie dingen nodig: de volledige data, de volledige methode, en de volledige resultaten. In klimaatwetenschap wordt zeer slordig met deze elementaire zaken omgesprongen, tot grote frustratie van Steve McIntyre. Recent wees klimaatwetenschapper Judith Curry ook nog een fijntjes op het onwetenschappelijke gedrag van haar klimaatcollega’s.

Martijn, het is hoog tijd dat je terugkeert naar je roots van de natuurwetenschap. Je zou je geloofwaardigheid als objectief journalist kunnen terugverdienen door een paginavullend interview met Judith Curry te plaatsen.

In naam van de wetenschap: aan het werk.