HOE BETROUWBAAR IS WETENSCHAP?

Peer review - 2.

Abstract
Peer review bevordert de kwaliteit van wetenschappelijke kennis. Het heeft ook nadelen. Enkele aspecten passeren de revue en de vraag hoe voor- en nadelen tegen elkaar opwegen. De conclusie is, het kan ook zonder. Al geldt dat niet onverkort. Bij een heftige richtingenstrijd is het een rem op vooruitgang.
Verstandige onderzoekers hanteren het zelf los van tijdschriftredacties. Voor hen is de kwaliteitswaarborging van een tijdschrift geen serieuze verbetering en domineren de nadelen.

Inleiding

'Peer reviewed' is een soort certificaat voor een publicatie. Het betekent:

Velen, ook veel wetenschappers, menen dat nieuwe, betrouwbare kennis slechts uit zulk gecertificeerd materiaal blijkt.
Maar zelfs gelovigen zondigen wel eens. En vooral in specialismen die competitief onderzocht worden, azen de ingewijden op 'priv.coms', 'pre-prints' en type-schriften, die hen maanden zo niet langer te voren op de hoogte brengen van wat anderen al gevonden hebben. Daarmee gewapend en ze keurig citerend haasten ze zich de wetenschap nog meer vooruit te brengen.

Peer review is een modernisme voor het aloude 'canoniseren'. Alleen canonieke teksten golden als waar en onaantastbaar. Over de overige kon men speculeren, ze ronduit ontkennen, of negeren. Die uitvinding van de priesterkaste is nu in de hele wetenschap overgenomen en ingeburgerd, als canoniek credo. De predikers hebben het nog verder verfijnd tot "gepubliceerd in een 'gerefereed' tijdschrift". (Een verweer tegen charlatans die zelf een boek zouden schrijven en uitgeven.) En de gelovigen zingen trouw hosanna en blijven zondigen.
Minder bekend dan de zonde van de 'preprint' is het heel veel vaker voorkomend gebruik van uiterst betrouwbare kennis in de vorm van technieken en artefacten, waaraan geen tijdschrift redacteur te pas kwam (Ref. 1). Om maar niet te spreken van de talloze uitvindingen waarvan wetenschappers en gewone mensen ☻ zich bedienen, zelfs met risico van lijf en leden, zonder ooit om peer review te vragen.

De ideale peer review zou een goede poging zijn tot waarborg. Het is altijd verstandig om bevindingen met anderen te bespreken en hun kritiek ter harte te nemen voor je ze wereldkundig maakt. Let op de beide voorbehouden: ideale en poging tot.
Bij een ideale peer review rekent de reviewer alles na, verifieert de logica en de verwijzingen, herhaalt de proef, meet zelf en vergelijkt uitkomsten. De ideale peer review komt dus niet voor. Die is zelfs onmogelijk bij observatie van iets eenmaligs. Allerlei omstandigheden kunnen de oorzaak zijn van gebreken. Te veel om op te noemen. Het meest is het een kwestie van ontbreken van tijd en middelen. Dan komen er allerlei menselijke afwegingen. Die van de redacteur: toch maar met deze begrensde reviewer in zee? Van de reviewer, hoeveel tijd steek ik er in? En kijk ik oppervlakkig, of duik ik in een bepaald onderdeel? Enz. Zo daalt de kwaliteit van de waarborg tot een menselijke maat. Beetje meer, beetje minder vertrouwen.
De uitleg van het voobehoud poging tot is triviaal. Ook de beste reviewer maakt wel eens een fout. Soms weet men, wat men niet weet. Maar vaak zelfs dat niet.

In vorige artikelen over het beoordelen van wetenschappelijk onderzoek heb ik aangegeven hoe gebrekkig de waarborg van peer review is (Refs. 2, 3, 4, 5).
Grote wetenschappelijke doorbraken zijn vaak fervent peer reviewd bestreden. In het proces van Galilei waren het de wetenschappers die zijn ontdekkingen weerspraken en tegen hem getuigden. Jaren na de publicatie van de relativiteitstheorie werd die nog door zo'n 30 wetenschappers peer reviewd verworpen. Ook de ontdekking van 'Continental Drift' is jaren lang door het geologisch establishment vurig bestreden. De afgelopen jaren vernamen we dat in sommige vakken de helft van de aldus gewaarborgde artikelen waardeloos zijn gebleken.
Tijdens het klimaatcongres (2019) in Oslo gaf Peter Ridd een voordracht (Ref. 6), waarin hij een schitterend voorbeeld gaf van hoe men gebruik maakt van ge-peer reviewde kennis en hoe die daarna praktisch wordt getoetst. Zijn voorbeeld is ontleend aan de vliegtuigindustrie, waar vertrouwen op peer review mensenlevens kan kosten.
In Ref. 4 zijn enkele resultaten gemeld van kwantitatief onderzoek door anderen naar de waarde van 'deskundig' advies over onderzoek.
Het is buitenkijf dat peer review vaak leidt tot verbeterde publikaties. Maar een groot deel van die verdienste kan een auteur ook zelf verwerven, door voor publicatie het werkstuk aan anderen voor te leggen.

Behalve het voordeel van enige waarborg voor betrouwbaarheid heeft peer review nadelen. Ik noem er drie.

1. Organisatorische vertraging

Tijdschriften hebben tijd nodig voor de review. Het kan maanden en soms nog langer duren voor nieuwe resultaten verschijnen. In competitieve specialismen, waar de grenzen van de kennis snel verschuiven, omzeilt men dat met ongerefereede voortijdse informatie.

2. Vertraging door scholenstrijd of ideologie

Geweigerde publicaties worden vaak na de afwijzing naar andere tijdschriften gestuurd, die ze wel accepteren. De ene referent is de andere niet. Soms blijven ze een tijd in een la liggen en komen pas aan het licht wanneer een historicus ze ontdekt. Er zijn legio voorbeelden van belangrijke ontdekkingen, die lang onbekend bleven.
De reden voor de afwijzing is nogal eens een richtingen- of scholenstrijd in het vakgebied. Die heerst, wanneer een groep overigens verstandige en integere mensen een bepaalde hypothese of theorie aanhangt en alles naar de prullenmand verwijst, dat afkomstig is van even verstandige en integere mensen, met andere argumenten en conclusies. Hoe meer onzekerheid er is over de materie, hoe langer zo'n scholenstrijd kan duren. Bij die over het klimaat kan die onzekerheid nog tientallen jaren aanhouden en de strijd dus ook.

Ideologie is door de eeuwen heen een hinderpaal geweest voor wetenschappelijke doorbraken. Godsdiensten hadden er een handje van, maar ook de seculiere machten wisten er weg mee. De McCarty aanhangers hebben linkse rakkers uit laboratoria verdreven en erger. Russische communisten wisten het beter dan Russische biologen, die ze effectief de mond snoerden. Chroetsjov met zijn mais bijvoorbeeld. En Lysenko, die verkondigde dat de omgeving bepalend was voor de ontwikkeling. De afkomst (de genen, zouden we nu zeggen) speelde geen rol. (Bij spotters bekend als het veranderen van koeien in varkens door ze in plaats van gras varkensslobber te voeren.)
Klimatologen weren op dit moment systematisch publicaties van geologen, fysici, chemici en ingenieurs, wanneer die zo naïef zijn hun onderzoekingen naar een klimaattijdschrift te sturen. Uiteindelijk komt alles wat belangrijk genoeg is toch wel aan het licht. Maar dat kan jaren duren en slachtoffers kosten.

3. Monopoly

De tijdschrift uitgevers hebben een machtspositie. Zij verwerven zakelijk recht op publicaties van werk dat door anderen is betaald. Veel onderzoek is met belastinggeld gefinancierd. Vervolgens moeten bibliotheken dure abonnementen nemen om er gebruik van te maken. Erger nog, voor belastingbetalers die niet over toegang tot bibliotheken beschikken, zijn ze onbetaalbaar. Zij blijven verstoken van verslagen van onderzoek dat ze mee hebben betaald.
Indien dat geld alleen zou dienen voor de druk- en verzendkosten en de kosten van peer review zou ik zwijgen. Maar dan zouden die kosten euro's zijn en geen kiloeuro’s. Reviewers worden niet betaald. Dus het geld gaat naar de uitgevers en hun medewerkers. Die vormen een sterke lobby om hun lucratieve zaakje te behouden. En de onderzoekers? Die helpen, omdat het voor hen de aangewezen manier is om erkenning te krijgen voor hun prestaties.

Er is een beweging aan de gang, mede op instigatie van de Nederlandse Organisatie voor Wetenschappelijk Onderzoek NWO, om door haar betaald onderzoek te publiceren in 'Open Access' tijdschriften. Dat zijn weliswaar peer reviewde media, maar na enkele maanden kan iedereen de artikelen lezen zonder betaalmuur. Universiteiten doen aarzelend mee. Ze zuchten over de dure abonnementen, maar willen tegelijk graag personeel met veel peer reviewde bekendheid. Er zijn roddels of de review wel zo goed is. Of 'open access' aanslaat? En of dat snel gaat? Een cultuur veranderen is geen sinecure. Intussen blijven de betalers van eersterangs nieuws verstoken. 'Open access' zou één bezwaar tegen ge-peerreviewde tijdschriften wegnemen, maar de andere, als vertraging en censuur blijven.

Discussie

De treffelijke Leidse scientometricus Van Raan vestigde mijn aandacht op de kritiek van D.F. Horrobin op peer review, waarmee ook het 'US Supreme Court' zich bemoeide (Ref.8). Die gaf o.a. in zijn JAMA artikel (Ref.9) 18 voorbeelden van belangrijke wetenschappelijke doorbraken waarvan de verspreiding gehinderd werd door het peer review proces.
Van Raan acht zelf de voordelen van peer review groter dan de nadelen. Het verbetert ontegenzeggelijk de kwaliteit van publicaties. Daarnaast staat het aan de basis van het bronmateriaal voor scientometrische studies. Die hebben veel inzicht opgeleverd in het functioneren van onderzoekers en de structuur van de wetenschap.
Ik denk echter dat kwaliteitswinning ook anders kan. En de scientometrie zal met nieuwe algoritmen ook andere vormen van publicatie, bijvoorbeeld via internet, als bron weten te vinden.

Zelf publiceren

Verspreiding van betrouwbaar wetenschappelijk werk is een halszaak voor een samenleving. En met de komst van het internet is het binnen ieders bereik. Maar hoe weet je dat een webstek betrouwbaar is? Aan onbetrouwbare kennis hebben we niet veel.
Zelf heb ik de gewoonte de stukken die ik op het web zet, eerst aan enkele onderzoekers voor te leggen voor ik er ruchtbaarheid aan geef. Dat heeft me regelmatig behoed voor uitglijders. In enkele gevallen heb ik zelfs van publicatie afgezien, of een artikel ingetrokken. In het geheel heb ik goede ervaringen met mijn werkwijze. Sommigen nemen zelfs de moeite dingen na te rekenen. Toch slipt er nog wel eens een ongerechtigheid door. Wanneer ik dat later verneem, voeg ik een rectificatie met verwijzing toe. Dat is het voordeel van een web-publicatie. Bij een tijdschrift artikel blijft zoiets meestal achterwege. O.a. de koppeling met het origineel is daar te gebrekkig.
Met die persoonlijke, goede ervaring, vraag ik mij af of een tijdschrift peer review informatie zou opleveren, die beter is? Ik denk van niet. Toen ik natuurkundig onderzoeker was, heb ik een reeks artikelen peer reviewd gepubliceerd. De reviews die ik toen kreeg, hadden niets om het lijf. Ik heb zelfs op één keer na geen aangeboden artikel hoeven verbeteren. Bij mijn tegenwoordige webpublicaties, komt dat vaker voor. Bovendien is de groep potentiële 'reviewers' op het web niet beperkt.

Serieuze onderzoekers doen er goed aan net als ik hun type-vruchten te voren eens door wat anderen met kennis van zaken te laten lezen. Velen doen dat ook. In zo'n geval is de meerwaarde van een tijdschrift qua kwaliteitswaarborg niet meer dan holklap (Ref.7). En blijven in deze internettijd vooral de nadelen over.

De peer review tijdschrift lobby en de trouwe contribuanten hebben een machtige bondgenoot. De wereld van het onderzoek is vol 'managers' die niet begrijpen wat ze managen of geen tijd hebben om er zich in te verdiepen. Toch moeten zij beslissen, wie en wat ze betalen en hoeveel. En naar wie ze moeten luisteren. Niets is makkelijker dan tellen. Publicaties? Citaties? Tijdschriften met hoge 'impact factor'? Wat zouden zij moeten zonder het geloof dat wat belangrijk is, in peer reviewde tijdschriften staat? In die kringen is het afschaffen van de tussenkomst van peer review tijdschriften een zegen – minder kosten – maar ook een aanslag op hun werkwijze. Dat leidt tot halfhartige belijdenis met de mond. Het voetvolk begrijpt dat. Het volgt nauwlettend wat er bij de beslissingen van de bazen echt toe doet; peer reviewde tijdschrift publicaties dus.
Alleen wie niet van peer reviewfiele bazen afhankelijk is, is vrij om te kiezen. Zelf doen, of de vertraging en martelgang naar een tijdschrift voor lief nemen. Veel gepensioneerde onderzoekers kiezen voor het eerste.

Conclusie

Publicaties dienen op feiten en logica te worden beoordeeld. Ze moeten nagerekend, metingen gereproduceerd, referenties nagetrokken en niet alleen op het bestaan (!). Pas dan zijn ze betrouwbaar. Afgaan op het oordeel van anderen in de vorm van "is het peer reviewd door een tijdschriftredactie" is een sprong in het duister. Het is afgaan op wat mensen zeggen en niet noodzakelijk beter dan wat een auteur eerder zelf aan kwaliteitscontrole heeft gedaan. In mijn persoonlijke ervaring, zoals hierboven beschreven, zelfs minder grondig.

Wie geen vertrouwen heeft in mijn conclusie, omdat die niet tijdschriftelijk gepeerreviewd is, wijs ik op een Russelliaanse paradox. Jaren lang heb ik onderzoek en onderzoekers beoordeeld. Het was mijn werk. Voor de manier waarop ik dat deed, ben ik ge-eredoctord, door de Koninklijke Akademie en in enkele andere landen geprezen; zelfs door koningin Beatrix onderscheiden. Ik weet, dat is geen ideale peer review, maar goed genoeg om niet voor die van tijdschriften onder te doen.
Geloof mij dus maar:

Nieuwegein
2019 12 20
Met verbeteringen en commentaar van:
Kees de Groot
Anthony van Raan

Referenties:

1. C.N.M.Jansz & C. le Pair: De onzichtbare techneut.
2. http://www.clepair.net/Peerreview.html
3. http://www.clepair.net/formalmethods.htm
4. http://www.clepair.net/managgiario.htm (par. “Mail Review”)
5. http://www.clepair.net/info%20in%20instrument.htm
6. https://ecr.network/oslo-conference/ (par.3 “Limits of Tolerance”)
7. Praat voor de vaak; of leeg geklets. Het woord is een uitvinding van Marten Toonder, een schrijver die ten onrechte door zijn literaire 'peers' niet tot de Olympus is toegelaten.
8. D.F. Horrobin: Something Rotten at the Core of Science?
9. D.F. Horrobin: The Philosophical Basis of Peer Review and the Suppression of Innovation; JAMA. 1990; 263:1438-1441.