Over het nut van audits


(of: Les 1 in wetenschapsfilosofie voor Martijn van Calmthout)

Martijn en ik kennen elkaar nog uit 1979 toen we tegelijkertijd natuurkundecolleges liepen aan de Universiteit van Utrecht. Blijkbaar heeft hij toen niet goed opgelet, want hij laat de laatste tijd nog al wat wetenschappelijke steken vallen.

Steve McIntyre ontmoette ik op het forum climatesceptics in 2003, waar hij met de vraag kwam of iemand al naar de klimaatreconstructie van Michael Mann had gekeken, niemand bleek dat gedaan te hebben. McIntyre legde verslag uit over de vreemde zaken die hij tegenkwam, zo bleek dat de data nog niet klaarstond en dat een assistent van Mann de opdracht had gekregen om het eens allemaal bij elkaar te zetten. McIntyre kreeg de datasets, maar was niet tevreden omdat hij uit de beschrijving van de methode in het artikel niet kon afleiden hoe Mann aan zijn eindresultaat was gekomen. McIntyre bleef Mann vragen stellen, Mann werd ongeduldig en zegde de medewerking op. Dit ging jaren door, de meeste vragen werden opgelost maar tot op heden is nog steeds niet bekend hoe de foutmarges in de hockeystick berekend zijn.


Mann’s publicatie was in wezen een klassiek wiskundig probleem: er was een set meetgegevens (nauwkeurig gedefinieerd) en er was een eindresultaat (nauwkeurig gedefinieerd). McIntyre wilde dit wiskundige probleem natrekken net zoals de stelling van Fermat werd nagetrokken. Fermat was dood die kon niet meer om opheldering worden gevraagd maar Mann leefde nog dus die had licht kunnen brengen in al deze onduidelijkheden die zijn artikel nog had, maar helaas Mann werkte niet mee, hij voelde zich aangevallen.

Dit is een schoolvoorbeeld geworden over hoe wetenschap niet hoort te werken. Als een wiskundig artikel wordt geschreven hoort dit te beschrijven wat de onderzoeker heeft gedaan, met name als er verstrekkende nieuwe claims worden geponeerd: (De middeleeuwse warme periode was niet warm) dan moet dit bewijs uit het artikel af te leiden zijn. Dit was bij Mann niet het geval, sterker nog latere onderzoeken hebben aangetoond dat de onzekerheid in de data die Mann gebruikte zo groot zijn dat over de temperatuur in de Middeleeuwen helemaal geen uitspraak valt te doen.
Mann lijkt zo op Fermat die in de kantlijn van een boek beweerde dat hij een bewijs had gevobden voor een wiskundig probleem, Dat probleem is inmiddels opgelost maar het was zeker niet zo eenvoudig als Fermat beweerde.

Hoe heeft wetenschapsjournalist Martijn van Calmthout dit opgepakt? Het begon veelbelovend met zijn artikel “Met een rode pen door de broeikas” waar hij netjes hoor en wederhoor pleegde. Maar later ging het mis bij een paginavullend artikel in de wetenschapsbijlage van de Volkskrant waar Mann kritiekloos werd neergezet als de arme belaagde wetenschapper. In het bedrijfsleven heb ik regelmatig audits afgenomen, het doel is altijd om bestaande procedures te onderzoeken en verbeteren. zo wordt een productielijn helemaal doorgelicht en alle relevante documenten moeten boven tafel komen. Alleen zo kan worden vastgesteld of de procedures volgens afspraken en (veiligheids)regels worden uitgevoerd.

Er worden vaak vraagtekens gesteld bij de beweegredenen van Steve McIntyre. Dit zijn zijn beweegredenen: de gebruikte wiskundige methoden boven water krijgen. Daarvoor zijn drie dingen nodig: de volledige data, de volledige methode, en de volledige resultaten. In klimaatwetenschap wordt zeer slordig met deze elementaire zaken omgesprongen, tot grote frustratie van Steve McIntyre. Recent wees klimaatwetenschapper Judith Curry ook nog een fijntjes op het onwetenschappelijke gedrag van haar klimaatcollega’s.

Martijn, het is hoog tijd dat je terugkeert naar je roots van de natuurwetenschap. Je zou je geloofwaardigheid als objectief journalist kunnen terugverdienen door een paginavullend interview met Judith Curry te plaatsen.

In naam van de wetenschap: aan het werk.

Dit bericht werd geplaatst in Wetenschap en getagged met , , , , . Maak dit favoriet permalink.

18 reacties op Over het nut van audits

  1. Boels069 zegt:

    De wetenschapsbijdrage van de VK bevat voornamelijk summiere samenvattingen van artikelen in Science en Nature.

    Zo valt, zonder enig commentaar, in het ene stuk te lezen dat er duizenden nieuwe soorten zijn ontdekt en in het andere stuk dat de biodiversiteit onder druk staat.

    Ik heb geen IPCC- of AGW-kritische tekst aangetroffen.

  2. Hans Erren zegt:

    Beste groeniskoel

    Een linkdump naar een alarmistisch traktaat weerlegt natuurlijk niet de basale eis dat een wiskundige publicatie verifieerbaar moet zijn en dat een wetenschapper geen informatie mag achterhouden. Daar gaat het in audits om.
    Michael Mann heeft in de wetenschap grote schade aangericht.

    Over de fouten in scepticalscience schrijf ik nog wel eens een blog.

  3. Boels069 zegt:

    Uit de link van groeniskoel:
    "Om te beginnen is de opwarmingstrend dezelfde bij zogezegd 'goed' en 'slecht' geplaatste weerstations."

    1. de trend is anders in De Bilt en Twenthe
    2. er bestaan ook weerstations met een negatieve trend
    3. waar is de lijst met 'goed' en 'slecht' geplaatste weerstations?
    Is het in orde met Ukkel, De Bilt en Twenthe (om maar wat te noemen)?

    Verder is het op plaatsen beroerd vertaald (collega-professor) en de titels bij de referentie vertaal je niet.

  4. LeClimatique zegt:

    Tja, groen is de kool. Gelijk de eerste vier punten al gehuld in vaagheden. "De mens zorgt voor miljarden tonnen uitstoot". Hoeveel procent van het totaal is miljarden?. en: "40% meer uitstoot dan voor de industriele revolutie", dat klinkt behoorlijk ernstig 380ppm, driehonderdtachtig deeltjes!

    ofwel 0,028% naar 0,038%. Alleen al het aantal mensen is in die twee eeuwen een paar keer verdubbeld. Iemand had eens op een bierviltje (blogspot) uitgerekend dat we met 7 miljard mensen waarschijnlijk bijna net zoveel CO2 uitademen als we uitstoten met fossiele brandstoffen.

    Ook een juweeltje: "het toegenomen broeikaseffect is waargenomen door een waaier van metingen."

    Verder dan deze pagina 1 ben ik niet meer gekomen.
    De arrogantie dat we wel even het de temperatuur en klimaat regelen door aan de thermostaatknop van het CO2 te draaien. Moet er naar jouw mening dan ook maar een geboortebeperking vanwege CO2 worden ingevoerd?

  5. TINSTAAFL zegt:

    (Kwaliteits) Audits worden in vaak tweeledig tegemoet getreden.

    1) Positief:
    Door instanties die de audit (bv ISO9001:2008 quality management) o.a. als een tool gebruiken om het personeel kwaliteitsbewust te maken, de produktie te verbeteren en daardoor uiteindelijk tot een beter en goedkoper product te komen.

    2) Negatief:
    lastig, tijdrovend, en vaak om dubieuze kwaliteit te verdoezelen.

    Eigenlijk moet de klimaat wetenschap standaard aan een kwaliteits audit onderworpen worden, al is het maar vanwege de enorme poltieke en economische repercussies.

    En wat betreft Van Calmthout (en z'n maatje Persson) heb ik hier al vaker (negatief) moeten reageren. Vandaag weer zo'n tendentieus artikeltje over de financiering van d skeptici op de groene pagina in de VK. Alsof Al Bore en z'n gevolg het allemaal voor niets doet. AGW krijgen een veelvoud van wat de skeptici krijgen)

  6. Hans Erren zegt:

    @LeClimatique
    Jammer dat je met het verkeerde argument komt, lees nog eens
    Wat is er aan de hand met het klimaatonderzoek?
    Overigens ook voor groeniskoel heel lezenswaardig.

  7. Hans Erren zegt:

    @groeniskoel
    Jo Nova heeft zelf al een punt-voor-punt riposte op je link gegeven:
    http://joannenova.com.au/2010/07/the-unskeptical-

  8. JvdLaan zegt:

    @Erren
    Joanna Nova is niet bepaald een indrukwekkende referentie. Bovendien kom ik bij Nova's zg rebuttal weer in de referenties dezelfde usual suspects tegen, de Pielkes en de M&M's. En lees de comments eens, wat een niveau. Om over haar eigen stukjes maar te zwijgen, veel geschreeuw, veel gebruik van catroons, maar inhoud ho maar.
    Overigens, waarom heeft u trouwens nooit eens kritiek op Watts of heeft u net als McIntyre en Pielke jong en oud een niet-aanvalsverdrag gesloten met Watts?

  9. Hans Erren zegt:

    tja, Joanne Nova is de schrijfster van "The Skeptics Handbook" waar de link van groeniskoel een reactie op is. Medunkt dat Joanne Nova zelf de meest geeigende persoon is om hierop te reageren, en dat doet ze naar mijn inzicht heel goed. De benodigde hotspot boven de tropen is alleen met heel veel kunst en vliegwerk met windwaarnemingen te construeren, dat doet me heel erg aan pathologische wetenschap denken, u weet wel die van koude kernfusie.

    JvdLaan wanneer gaat u ook eens echte wetenschap verdedigen, zoals Judith Curry nu doet?

  10. JvdLaan zegt:

    Judith Curry, laat me niet…

    Is zij van de echte wetenschap?

    Neem eens een voorbeeld aan Bart Verheggen. Dat is een voorbeeld van een echte wetenschapper die ook nog eens de tijd neemt te bloggen. U kunt daar nooit aan tippen. Hij is ook nog eens iemand die toegeeft wanneer het hem boven de pet gaat.

    Heeft u die links van Joanna Nova gelezen en de comments op haar blog. En kent u de kritiek op haar werk van Skeptico, Deltoid en John Cook zelf? Bleef niet veel van heel.
    Als Joanna Nova iemand is die u als referentie beschouwt als een vertegenwoordiger van de echte wetenschap, dan wordt steeds gekker hier.

    Ik vraag het nogmaals: waarom heeft u trouwens nooit eens kritiek op Watts of heeft u net als McIntyre en Pielke jong en oud een niet-aanvalsverdrag gesloten met Watts?

  11. Hans Erren zegt:

    JvdLaan,
    groeniskoel kwam met de link van de kritiek op the skeptics handbook, ik verwees slechts terug naar de reactie van de auteur zelf, en ik ben het volledig eens met haar argumenten over de afwezigheid van de "hot spot"

    Ja Judith Curry was de hurricane expert van het IPCC die nu ook doorheeft dat gatekeeping funest is voor echte wetenschap.

    Fermatgedrag ("mijn bewijs past niet in de kantlijn") is geen wetenschap. Watts stelt dit onwetenschappelijk gedrag aan de kaak, als hij af en toe een steek laat vallen, soit, daar hebben we u of uw vriend deltoid toch voor om daar commentaar op te leveren?πŸ˜€

  12. JvdLaan zegt:

    Gaat u mijn vraag nog beantwoorden?

  13. Hans Erren zegt:

    Watts doet uitstekend werk, we mogen blij zijn met zo'n website.
    Over UHI is trouwens bij Steve McIntyre een leuke serie aan de gang: de speurtocht naar de station metadata van China.

    Wedervraag:
    Moeten we elk alarmistisch wetenschappelijk onderzoek voor zoete koek slikken als de onderliggende gegevens ook nog eens door de wetenschappers onder de pet worden gehouden zodat hun conclusies niet eens verifieerbaar zijn?

    JvdLaan vindt van wel.

  14. JvdLaan zegt:

    Ik zou wedervragen pas beantwoorden als mijn eerste vraag beantwoord zou zijn. Toch een poging. Als dat meer regel zou zijn mbt 'alarmistisch wetenschappelijk onderzoek' (uw woorden) dan uitzondering, ja dat zou ik nooit slikken. Maar voor zover het in dit specifieke geval van Mann et al 1998 het geval zou zijn? En dat zie ik juist niet zo.
    Maar er wordt maar steeds nadruk op gelegd. TCO op DeepClimate noemde het al de NeverEndingAudit.

    Ik stel nogmaals de vraag, waarom bekritiseert u Watts niet (of ziet u die uitglijers niet)??

  15. Ook Boos zegt:

    @Jvdlaan
    Het zou wel handig zijn als je zelf eens met concrete voorbeelden kwam t.a.v. kritiek op de door jou genoemde personen.
    Laten we je bericht van 5.11., 9.59u nemen, tel het aantal bijwoorden bij de nietszeggende zelfstandig naamwoorden.
    Is dat nu jouw kritiek Jvdlaan? Ik kan je zeggen, ik geloof niet in god, maar op zo'n moment denk ik, "mijn god, die vertegenwoordigers van de CAGW zijn wel echt de weg kwijt!"

  16. JvdLaan zegt:

    Ik heb op een ander draadje al een voorbeeld van zo'n uitglijer van Watts gegeven. Wb McIntyre, de Yamal-affaire. Wat betreft Pielke sr, het benadrukken van te korte termijn trends, Pielke jr, tja, vond Thierry Henri de beste voetballer aller tijdenπŸ˜‰; moet je niet tegen een Nederlander zeggen.

    Maar goed, als ik het goed begrijp zijn die uitglijers van Watts helemaal niet zo erg ('soit', zegt dhr Erren), en bij het uitblijven van een antwoord mag ik dus de conclusie trekken dat er een niet-aanvalsgedrag met Watt is tussen de skeptici en Watts.

  17. Hans Erren zegt:

    Ik constateer veelmeer een niet-aanvalsverdrag tussen de alarmistische wetenschappers, dat vind ik veel zorgelijker, en Judith Curry en Heleen de Coninck met mij.

    “Ik heb de academische gemeenschap zien veranderen van een kleine, zelfkritische groep wetenschappers in een veel grotere groep onderzoekers die elkaar voortdurend aan het feliciteren zijn.”
    by Heleen de Coninck de Volkskrant

    JvdLaan, you are shooting the messenger.

Reacties zijn gesloten.