Peer review 1.
C. (Kees) le Pair
Peer review, Pr, is vermoedelijk
zo oud als de in druk verschenen wetenschap. Misschien nog wel ouder. Voor er tijdschriften
waren, legden auteurs,
niet alle, manuscripten van boeken al voor aan collega’s om van hun
kritiek te profiteren. Zo is bv. bekend dat Nederlandse en Engelse boeken ten
dienste van de zeevaart ongeveer gelijktijdig verschenen. Dan moeten de
manuscripten aan de andere kant van de Noordzee daarvoor bekeken en gewaardeerd
zijn.
Later bedienden uitgevers van wetenschappelijke tijdschriften zich veelal van Pr om een verscheidenheid van redenen zoals: taalgebruik, weren van niet tot het domein behorende bijdragen, waarborging van wetenschappelijke standaarden m.b.t. plagiaat, zo mogelijk verifiëring van (een deel) van de gerapporteerde feiten, logische- en eventueel wiskundige consistentie, controle van de verwijzingen enz. en verder om uit een te groot aanbod te selecteren en nog veel meer.
Schrijvers en uitgevers van de tijdschriften hadden uiteenlopende redenen om vast te houden aan de stelling dat artikelen gepubliceerd in gerefereede tijdschriften de toets van voldoende cq. goede kwaliteit hadden doorstaan. Dit hoort men ook van publicaties waarbij de Pr niets om het lijf had, bv. doordat het tijdschrift werkt met één of enkele, vaste referees, of doordat de instructie voor de referenten geen vragen bevat die op de kwaliteit betrekking hebben.
Pr is echter niet alleen uitvoeren wat in de instructie staat. Het is bovenal mensenwerk en dus behept met fouten. Incidentele fouten zijn leuk nieuws. Ze halen regelmatig de gewone kranten en zelfs radio en TV. Denk bv. aan berichten over fraudeurs wier bijdragen ongehinderd door de Pr barrière kwamen, of koddige commentaren op onderzoeken waarbij 50% van de proefdieren, nl. die andere kip, aan de gevolgen overleed.
Van veel ernstiger aard zijn systematische
fouten bij de Pr. Zoiets treedt bv. op bij ‘scholenstrijd’ in een
vakgebied. ‘Climate Gate’ bracht aan het licht dat in de klimaatwetenschap
waarin enkele tijdschriften domineren, een dubieuze samenwerking bestond van
onderzoekers die de AGW-hypothese aanhangen om werk van non-AGWers uit die
tijdschriften te weren. (AGW staat voor de hypothese dat het klimaat gevaarlijk
door de mens wordt beïnvloedt.) In zo’n geval kan Pr de voortgang van de wetenschap in
het betreffende gebied belemmeren. Soms is er zo’n systematische fout waar
bepaalde redacties bijdragen weigeren om hen moverende redenen en zich op Pr
beroepen, maar waar in feite eigen schoolvooroordeel speelt, of politiek: geen
Joodse wetenschap (!), of een nationalistisch
argument: geen artikelen van lui uit dit of dat land enz.
Bij systematische fouten is het
gebruikelijk het Pr argument te blijven gebruiken: de welgepubliceerde artikelen
hebben de toets der kritiek doorstaan.
Wetenschappelijke tijdschriften
hebben intussen hun laatste levensfase bereikt. Net als boeken zullen zij
waarschijnlijk nooit helemaal verdwijnen, maar de toekomst is aan de
elektronische publicatie. Die doet een heel ander soort Pr regiem ontstaan. In
de eerste plaats kan iedereen, rijp of groen, nu alle zin en onzin voor
iedereen bereikbaar op het WWW zetten. Geen uitgever, redactie of referent
hoeft er meer aan te pas te komen. Serieuze onderzoekers delen hun bevindingen
via het internet in concept met andere onderzoekers om van hun kritiek te
profiteren en op grond ervan hun eigen bijdragen bij te stellen. Er zullen waarschijnlijk
al dan niet commerciële diensten ontstaan die een groot publiek wegwijs maken
in al of niet geselecteerde bijdragen op bepaalde terreinen op het web.
Mogelijk zullen er digitale
archieven komen, er zijn er al voor onderdelen van de natuurkunde, waarin
onderzoekers hun gefinaliseerde bijdragen – dus met verwerking van de
ingezamelde kritiek – deponeren. Een dergelijk archief consolideert. Stukken er
in opgenomen kunnen niet meer worden teruggenomen. Indien een auteur (delen
van) zo’n stuk wil herroepen kan dat niet anders dan door een tweede artikel te
schrijven. Beide documenten blijven bestaan. Een dergelijk archief omvat de
oude kwaliteit van soliditeit van een boeken- en tijdschriftenbestand naast
vele andere voordelen. De niet-retracteerbaarheid noopt de contribuanten om
voorzichtig te zijn met wat ze er in deponeren.
Het web herbergt zijn eigen vorm van Pr. Kritiek op al of niet gearchiveerde bijdragen kan nu door iedereen en voor iedereen binnen klikbereik komen.
In de klimaatwetenschap heerst een scholenstrijd tussen AGWers en niet-AGWers. En er is een invloedrijke instantie, het IPCC, die de klimaatverandering evalueert en daaruit conclusies trekt op grond waarvan zij aanbevelingen doet aan regeringen. In die instantie domineert de visie van de AGW-ers. Dat heeft weer invloed op de keuzen van regeringen bij de financiering van het klimaatonderzoek. (En op de hele economie, maar dat laat ik hier buiten beschouwing.)
Scholenstrijd vooral indien een
van de scholen nauwe banden met de overheid heeft, kan een tijd lang de
voortgang van een vakgebied frustreren. De aarde bleef nog lang het middelpunt
van het zonnestelsel voor de zonpartij gelijk kreeg. Ook toen men al lang
gezien had dat mensen een dubbele bloedsomloop hadden, bleef die enkelvoudig.
In Rusland kon men een hele tijd de erfelijke eigenschappen van een soort
veranderen door opvoeding enzovoorts. Scholenstrijd kan ook venijnige kantjes
hebben. In de klimaatwetenschappen zijn er een aantal schrijnende gevallen van
ontslagen niet-AGW-onderzoekers en in ons eigen land moest een wetenschappelijk
directeur van het KNMI vertrekken omdat hij niet in de dominerende school
paste. Voeg daarbij de vele artikelen die door redacties met Pr motief
geweigerd werden en het is duidelijk dat er aan niet-AGW-kant een communale
frustratie ontstaat.
Dat gebeurt net op het moment dat
het internet de communicatie tussen onderzoekers van de tijdschriften begint
over te nemen. Het ligt dus voor de hand dat de niet politiek correcte school,
zoals men de niet-AGWers gevoeglijk kan noemen, naar het internet greep om de
communicatie te voeren. Helaas daar kan rijp en groen zin en onzin kwijt. Het
verwijt ligt voor de hand en wordt grif door AGW-adepten gebruikt: “dat zijn
geen Pr bijdragen”.
Gelijk hebben ze, alleen:
ge-Pr-de bijdragen kunnen ook onzin bevatten en veel van de
klimaatgeöriënteerde internetbijdragen van niet-AGWers worden voortdurend
ge-Pr-d en herschreven, waardoor de resultaten robuuster worden.
Overigens is het
verwijt dat niet-AGWers niet op ge-peer reviewde onderzoekresultaten kunnen bogen
onwaar2; maar dat ter zijde.
Het is op voorhand niet met zekerheid te zeggen welke Pr beter werkt. Die van de tijdschriften mogelijk behept met systematische fouten, of die van de open Pr van het internet. Ik persoonlijk denk dat ook qua robuustheid het internet het op den duur wint. In elk geval is het oude Pr-argument van de AGW-school ongeldig voor een reeks belangrijke publicaties op het WWW. En de Pr van de AGW-ers is zeker niet feilloos, denk aan het hocky-stick drama.
Conclusie:
Ook het internet heeft zijn vorm van Pr en (tijdschrift) Pr is geen garantie voor kwaliteit.
C. (Kees) le Pair
Nieuwegein, 2012 06 13.
Noot en verwijzing
