TWEE BIJDRAGEN TOT DE WETENSCHAPSBESTUURSKUNDE;
de citatie-kloof & de DELPHI.

door

C. le Pair

clepair@casema.nl

Introductie
10 minuten zijn mij toegemeten. Het is alsof de organisatie wil beletten dat ik op het schavot het volk opzweep om mijn executie te verhinderen. Maar zo is het niet; want ik sta hier uit vrije wil om de koers van mijn eigen schip te gaan bepalen. Wel was er even de verleiding u toe te spreken onder het hoofd: 'Woorden die het Bestuur had willen voorkomen'. Maar dat zal ik dus niet doen. Ook ga ik niemand bedanken. Dat gebeurt tijdens de receptie.
Wat dan wel?
Ik vraag alleen uw aandacht voor twee bijdragen aan de wetenschapsbestuurskunde:

  1. Ontdekking en meting van een citatie-kloof die technologie scheidt van wetenschap.
  2. Het gebruik van een DELPHI voor het stellen van prioriteiten.
Toen ik in 1968 de middeleeuwse monnikspij, het uniform van universiteitsprofessoren, verruilde voor het driedelig grijs van een hoofdambtenaar van de FOM, wist ik niet wat mij boven het hoofd hing. Jan de Boer, vele jaren voorzitter van die schitterende organisatie, droeg mij op om mij met 'wetenschapsbeleid' te gaan bezighouden. Het was voor het eerst dat ik dat woord hoorde.
Bij minder geld dan goede plannen moet men keuzen maken. Mensen moeten iets anders gaan doen dan ze wilden. Dat gaat niet vanzelf. Tussen al die knappe FOM-koppen met hun verschillende meningen was ik stante pede het spoor bijster. Omdat Amerika eerder dan wij met waterpasbudgetten moest schipperen, leek het mij goed daar de kunst af te kijken. Dankzij de FOM en het ministerie van Onderwijs en Wetenschappen, die het allemaal betaalden, kon ik maandenlang in de keukens gluren van NSF, ONR, ERDA (nu DOE), NASA enz. Ik meed contact met hooggeplaatsten. Die weten nl. doorgaans zelf niet hoe hun organisatie werkt. Om er achter te komen hoe keuzen tot stand kwamen, volgde ik het pad van plannen en voorstellen1, 2.
Alom beleed men 'Peer review'. Maar ik zag dat de ene 'peer review' de andere niet was. ­Hier zocht men bij elk voorstel gewetensvol naar adviseurs die van het onderwerp echt verstand hadden;­ daar had men commissies die overal verstand van hadden en­ weer elders was er één enkele 'super peer' voor tientallen voorstellen. Vervolgens besliste op de ene plaats een enkele ambtenaar, een paar deuren verder besloot in feite de commissie zelf en vrijwel nergens konden de slachtoffers zich verweren tegen de 'gepeerde' raadgevingen. Dat alles heette 'besluiten op basis van peer review'. De Amerikaanse 'program officers' hebben grote macht. Zij kiezen zelf hun adviseurs en zijn verantwoordelijk voor de besluiten, zelfs als zij het in feite aan commissies overlaten. Ik besefte dat dat in Nederland niet acceptabel zou zijn. Wij houden niet van te veel persoonlijke macht. Ik moest dus wat anders vinden om prioriteiten te stellen. Overal waar ik kwam, hechtte men zeer aan bewezen kwaliteiten. Maar de vraag was wel: hoe weet je wie of wat goed is? Besmuikt telden sommigen daarvoor publicaties. Ze schaamden zich omdat ze wisten dat echt knappe mensen daarvoor hun neus optrekken. Toen kwam als manna uit de hemel Eugene Garfield's ISI met zijn citatie reservoir en men kon nagaan of publicaties worden bekeken en gebruikt door vakgenoten. Maar omdat dat natuurlijk nog meer werk is dan het lezen van de publicaties in de eerste plaats, beperkte men zich gemakshalve ook hier meestal tot tellen. Dat leek mij een tamelijk riskante kangoeroesprong.

1. De citatiekloof
In de vele gesprekken met mijn Amerikaanse collega's hoorde ik en passant over het TRACES3 rapport en over DELPHI-consultatie. In TRACES waren de wetenschappelijke wortels van een aantal grote doorbraken beschreven. Van één ervan, de elektronenmicroscoop, zaten die wortels vooral in Nederlandse bodem.
Later, terug in Utrecht, gaf de FOM Jan Volger van Philips en mij de middelen om de validiteit van publicaties en citaten als maat voor kwaliteit diepgaand te onderzoeken. Chang liet zien hoe in bepaalde onderdelen van de natuurkunde bibliometrie feilloos kwaliteit aan het licht bracht4. Bakker toonde hoe dit bij de elektronenmicroscoop juist niet het geval was5. Dat laatste spoorde met onze indrukken van het thermo-nucleaire onderzoek en de metaalkunde. De bibliometrische onzichtbaarheid van belangrijke technologische ontwikkelingen heeft mij nooit losgelaten6. Wij hebben onze naspeuringen later bij de STW voortgezet. Vooral Jansz heeft daarin baanbrekend werk gedaan7, 8, 9, 10. Het onderzoek rond

allemaal wereldberoemde Nederlandse wapenfeiten, bracht aan het licht dat zij bibliometrisch zo goed als onzichtbaar zijn. Een fysicus is pas echt tevreden als hij een verschijnsel kan meten. Dat lukte tenslotte voor de elektronenmicroscoop. Wij hebben het aantal citaten dat in de literatuur ontbrak, de 'citatie-kloof', vastgesteld9.
De STW heeft zich bij het beoordelen van technologie dan ook nooit en nergens laten leiden door aantallen publicaties of citaties. Daarop ben ik trots. En hoewel wij onderzoekers, als het past, aanmoedigen te publiceren, vermelden wij publicaties zelfs niet in onze jaarverslagen.

2. De DELPHI-methode
De DELPHI-methode was aan het eind van de zestiger jaren onderzocht bij o.a. de RAND Corporation. In 1970 produceerde het Office of Emergency Planning van de Amerikaanse President 'The design of a Policy Delphi11', een oplossing voor 'policy issues'. Die werden gedefinieerd als 'problemen waarvoor verstandige mensen onderling verschillende oplossingen bepleitten'. Dat was precies ons prioriteitsprobleem! De DELPHI werd beschreven als extra, niet een vervanging, van de commissievergadering. Hij werd geschikt bevonden voor kwesties, waarvoor het echt juiste antwoord niet kon worden gegeven, zoals bij voorspellingen en voor bedrijfsplanning bij snelle technologische ontwikkelingen.
Collectieve besluitvorming steunt op het principe: twee weten meer dan één; of in het algemeen n weten meer dan één. Die simpele notie veronachtzaamt dat n mensen ook meer verkéérde ideeën hebben dan één. Oudere psychologische studies van o.a. Maier12, Asch13, Kelly en Thibault14 brachten ernstige moeilijkheden aan het licht bij oog in oog discussies in commissievergaderingen. Er zijn daar storende invloeden door:

De RAND experimenten o.a. van Dalkey15, 16, 17 toonden dat zulke discussies vaker leiden tot conclusies die verder van de waarheid afstaan dan de simpele mediaan van individuele schattingen zonder discussie. Bij de experimenten werden DELPHI-panels en commissies vergeleken. Men legde vragen voor waarop het juiste antwoord weliswaar bekend was, alleen niet bij de proefpersonen. Die werden slechts gevoed met gegevens en opinies die zijdelings betrekking hadden op de gevraagde schattingen. Men onderzocht ook de invloed van de panelgrootte en van het aantal rondes. De betrouwbaarheid neemt toe met de grootte. Maar bij ca. 12 personen verdwijnt de verdere verbetering in de ruis. Iteratie met terugkoppeling bleek de juistheid van de uitkomsten te vergroten. De grootste stap vooruit wordt gemaakt in de tweede ronde. Ook de consensus neemt toe. Meer rondes dragen nauwelijks nog wat bij. Het gaat natuurlijk om het beter benaderen van de waarheid. DELPHI resultaten steken gunstig af bij die van vergaderingen zoals Campbell van UCLA18 en Dalkey bij RAND onafhankelijk van elkaar constateerden.
Dat gaf mij de moed om te trachten ons prioriteringsprobleem met een DELPHI op te lossen. Het was een wereldprimeur voor FOM19. Later nam de STW de methode over. Wij gebruiken hem met in de loop van de tijd versterkt vertrouwen. Het voedsel voor onze DELPHI-jury's is zorgvuldig bij peers vergaard. Het is gekruid met de reactie van de 'beklaagden'. Zojuist is de 145ste STW-jurykamer ingesteld.
I.h.b. Van den Beemt, heeft nauwgezet onderzocht hoe robuust de uitkomsten zijn. Op een 9-puntschaal blijkt een waarde x ± 0,3 met 95% waarschijnlijkheid reproduceerbaar20.

Over de procesbeheersing- en organisatorische voordelen van de DELPHI-methode heb ik het niet gehad. In 10 minuten kun je niet alles vertellen. Voor geïnteresseerden is er een literatuurlijst, waarin ik ook een handboek21 heb opgenomen.

Ik vond het fijn te werken voor NWO's onderdelen STW en FOM, alleen al omdat die organisaties hun medewerkers zich laten ontplooien en omdat zij bestuurlijke studies en -experimenten aandurven. Maar bovenal omdat ze mij in contact brachten met de knapste en interessantste mensen van het land.

Ik dank u voor uw aandacht.

Referenties.

  1. C. le Pair: Professional Administration is geen beroepsbestuur; Univ. & Hogesch., 17(1971)449/63.
  2. Accentverschuivingen bij onderwijs en onderzoek in de USA; Univ. & Hogesch., 18(1971)89/103.
  3. Technology in Retrospect And Critical Events in Science, The Illinois Institute of Technology Research, 1968/9, 2 Vol.
  4. K.H. Chang: Evaluation and Survey of a Subfield of Physics, Magnetic Resonance and Relaxation Studies in The Netherlands, FOM-37175, Utrecht, 1975.
  5. C.J.G. Bakker: Elektronenmicroscopie in Nederland, FOM-43105, Utrecht, 1977.
  6. C. le Pair: The Citation Gap of Applicable Science; A.F.J. van Raan (ed.): Handbook of Quantitative Studies of Science and Technology, North Holland, 1988.
  7. C.N.M. Jansz & C. le Pair: Die bibliometrische Unsichtbarkeit des technischen Fortschritts, P. Weingart et.al. ed., Indikatoren der Wissenschaft und Technik, Campus, Frankfurt/New York, 1991.
  8. C.N.M. Jansz & C. le Pair: Information in Instrumentation; R. Bud & S.E. Cozzens, ed. "Invisible Connections; Instruments Institutions and Science", pp. 73/82, SPIE Optical Engineering Press, Vol. IS 9, Washington, 1992.
  9. W.P. van Els, C.N.M. Jansz & C. le Pair: The Citation Gap between Printed and Instrumental Output of Technological Research: the Case of the Electron Microscope; Scientometrics 17(1989)415/25.
  10. C.N.M. Jansz: The citation gap for applicable sciences and the search for new technology indicators; ISSI Conference, July 1999, Colima Mexico, voordruk.
  11. Office of Emergency Planning, Exec.Off. Of the President: Technical Memorandum TM-123: The Design of a Policy Delphi; February 1970.
  12. N.R.F. Maier: Assets and liabilities in group problem solving: the need for an integrative function; Psychological Rev. 74, Nr. 4(1967) 239/49.
  13. S.E. Asch: Effects of group pressure upon the modification and distortion of judgements; E.E. Maccoby et.al. (eds) Readings in Social Psychology, 3d ed. (London, Holt, Rinehardt & Winston, 1958).
  14. H.H. Kelly & J.W. Thibaut: Experimental studies of group problem solving and process; G. Lindzey (ed.) Handbook of Social Psychology, Vol. II (Reading, Mass. Addison-Wesley, 1954).
  15. N. Dalkey et.al.: The Delphi Method III: Use of Self-ratings to Improve Group Estimates; The RAND Corporation, RM-6115-PR, October 1969.
  16. N. Dalkey: An experimental study of group opinion; Futures 1 (1969) 408/26.
  17. N. Dalkey: Analyses from a group opinion study; Futures 1, Nr. 6 (1969) 541/51.
  18. R. Campbell: A methodological study of the utilisation of experts in business forecasting; Ph.D. Diss., UCLA, 1966.
  19. C. le Pair: Decisionmaking on Grant Applications in a Small Country; Scient. Yugoslav. 6(1-4) I-III, 137/43.
    C. le Pair: Evaluare necesse est; FOM-jaarboek, 1975, p.11/3 Utrecht, 1976.
    C. le Pair: De vergelijkende beoordeling van onderzoek, FOM-Jaarboek, 1975, p. 15/25, Utrecht, 1976.
  20. F.C.H.D. v.d. Beemt & C. le Pair: Grading the grain: consistent evaluation of research proposals; Research Evaluation Vol.1 (1991) 3/10.
  21. H.A. Linstone & M. Turoff (authors & ed.): The Delphi Method, Techniques and Applications; Addison-Wesley Publ.Cy. Reading, Mass, Amsterdam, 1975.

-o-o-o-o-o-o-o-

Afscheidsrede directeur STW.
(9 april 1999,'t Spant te Bussum.)