...

Onderweg na goeie wetenskap. Ewekniebeoordeling: betroubare

by user

on
Category: Documents
1

views

Report

Comments

Transcript

Onderweg na goeie wetenskap. Ewekniebeoordeling: betroubare
LitNet Akademies – Jaargang 7(2) – Augustus 2010
Onderweg na goeie wetenskap.
Ewekniebeoordeling: betroubare
weegskaal of vyfde wiel aan die wa?
Fanie de Beer
Departement Inligtingkunde, Universiteit van Pretoria
Braam Roux
Departement Filosofie, Unisa
Opsomming
Ewekniebeoordeling word wêreldwyd as die stelsel van beoordeling van
wetenskapwerk aanvaar. Dit beklee dus die rol van beslisser oor goeie
wetenskap. Daar het egter ’n omvangryke kritiese literatuur daarteen begin
opbou, wat ons eie ervaring bevestig dat ’n algemene onvergenoegdheid by
navorsers oor hierdie stelsel bestaan. Omdat beoordeling ’n kerndeel van goeie
wetenskapsbeoefening uitmaak, is dit die doel van hierdie artikel om hierdie
kritiek behoorlik aan die orde te stel en aan deeglike analise en evaluasie te
onderwerp wat daarop sal dui dat hierdie stelsel ernstige beperkinge het en dat ’n
meer bevredigende beoordelingsbenadering nodig is. Ons beoog om met hierdie
kritiese besinning die pad hiervoor voor te berei en uiteindelik so ’n alternatief
voor te stel. Hierdie ondersoek fokus oorwegend op die kritiese literatuur. Dit
gaan om die sorgvuldige interpreterende lees van die gelewerde kritiek afkomstig
uit verskillende dissiplines en vertrekpunte. Die besware word gerubriseer onder
empiriese ondersoeke en prinsipiële besware wat gebreke aandui wat dan
konseptueel, argumentatief en pragmaties geanaliseer word. Die leemtes en
gebreke wat uit die literatuur na vore kom, toon duidelik die ontoereikendheid en
mankoliekigheid aan van die stelsel as ’n waarborg vir goeie wetenskap. Dit laat
ons met die vraag na die rehabiliteerbaarheid van, of selfs ’n alternatief vir,
hierdie stelsel. Verskeie oorwegings vir so ’n rehabilitasie of alternatief met die
oog op die bevordering van die ideaal van goeie wetenskap word aan die hand
gedoen. ’n Oop stelsel word voorgestel waarin die nosie van kollektiewe
intelligensie sentraal is, met kommunikasie as die kern. Daar moet in gedagte
gehou word dat goeie wetenskap op verskillende maniere gedien word en dat
bydraes in aard verskil. ’n Differensiële beoordelingstelsel, waarby soveel
moontlik belanghebbers betrek word, moet dus oorweeg word.
Abstract
Towards quality science. Peer evaluation: trustworthy scale or fifth
wheel to the coach?
Peer evaluation is accepted globally as the system for the evaluation of science. It
is therefore regarded as the arbiter on good science. A substantial body of critical
129
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
literature against it has, however, accumulated that supports our observation that
there is a general feeling of discontent with the system among researchers. Since
evaluation forms a central part of good science practice the aim is to outline
these criticisms and to subject them to a thorough analysis and evaluation that
will show that this system has serious limitations and that a more satisfactory
evaluation approach is necessary. The aim with this critical reflection is to open
the way to, and eventually propose, such an alternative. The research comprises
mainly a study of this body of critical literature. It takes the form of a thorough
interpretative reading of the criticism expressed from different disciplines and
points of departure. The objections are organised under empirical studies and
objections from considerations of principle and are analysed conceptually,
argumentatively and pragmatically. Deficiencies and limitations as detected in the
literature clearly indicate how inadequate and decrepit the system is as a
guarantee of good science. This leaves us with the question about the
rehabilitation of and even an alternative to this system. Several considerations
regarding such a rehabilitation or alternative are suggested with a view to the
advancement of the ideal of good science. We then propose an open system
which centres on the notion of collective intelligence with communication as the
core. It should be kept in mind that contributions to good science take different
forms and occur at different levels. A differential system of evaluation, in which
as many interested parties as possible are involved, should therefore be
considered.
1. Agtergrond
Ten spyte van die verskeidenheid en uiteenlopendheid van wetenskappe en
wetenskapsbeoefenaars is daar by alle betrokkenes ’n strewe na goeie wetenskap
– om die wetenskap goed te dien deur goeie wetenskap goed te beoefen. Presies
wat goeie wetenskap behels, bly egter kontroversieel – vandaar die woord
onderweg in die titel van hierdie artikel.
Wetenskap is nie as sodanig of per definisie goed (in twee sinne van die woord)
nie. Wetenskap kan ook nooit finaal wees nie; daar is altyd ruimte vir die nuwe,
die betere, en vir inventiewe ingrepe en koersverandering. Anders as wat baie
wetenskapsbeoefenaars
dink,
staan
wetenskap
nie
los
van
’n
wetenskapsbenadering, ’n wetenskapsbeeld, nie. Verskillende benaderings
beteken verskille oor wat as goeie wetenskap beskou word. Uitsprake oor
wetenskap, wetenskapsbeoefening, -beleid en -visies, studiestukke en ook
praktyke wat met goeie wetenskap en die beoefening daarvan verbind word,
weerspieël dikwels slegs een van hierdie benaderings. Dit op sigself is nie
verkeerd nie, maar as enige so ’n benadering verabsoluteer en voorgeskryf word,
veral sonder erkenning of motivering, dan hou dit gevare in. Dit is dus nodig om
kennis te neem van hierdie verskynsel, en om sodanige dokumente en praktyke,
en die onderliggende wetenskapsbenadering wat daarin mag oorheers, goed te
bekyk.
Wanneer ons met wetenskap besig is, betaam dit om altyd Althusser (1990) se
les oor die "personalised philosophy of the scientists, all scientists" te onthou.
Besig-wees met wetenskap geskied op verskillende wyses en op verskillende
vlakke en is ’n aktiwiteit wat nooit ophou nie. Goeie wetenskap bly ’n strewe,
veelvuldig gekonkretiseer, en gemotiveer. ’n Gesprek oor goeie wetenskap het
130
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
verskillende moontlike invalshoeke, vereis verskillende insette en bydraes, en is
dus ’n veelvlakkige, veelfasettige, pluralistiese gesprek.
Die strewe na goeie wetenskap raak nie net die wetenskapswêreld nie, maar
wetenskaplike kennis neem ’n belangrike en steeds belangriker plek in
samelewings in. Samelewings maak staat op wetenskaplike kennis vir soveel
fasette van die daaglikse lewe. Die feit dat ’n term soos kennisgemeenskap
algemeen gangbaar geword het, bewys hierdie belangrikheid. Die opvatting
bestaan dat indien die wetenskap misluk, wetenskaplike kennis in die gedrang
kom, en tot die mislukking van mense en menslike samelewings lei. Regerings
bestee derhalwe groot bedrae aan navorsing: in Suid-Afrika was dit meer as
R18,6 miljard gedurende die periode 2007- 8 (Sake 24 2009).
Staatsdepartemente van wetenskap en tegnologie, en allerlei institusies wat
betrokke is by wetenskap en navorsing, word in stand gehou omdat die band
tussen wetenskap en samelewing baie belangrik is en beskou word as iets
waarvoor beleid geformuleer moet word en wat bestuur moet word. ’n Intensiewe
en wydlopende gesprek oor goeie wetenskap en die beoefening daarvan,
insluitende ’n kritiese gesprek oor wetenskapsbeelde en -dwangbuise, is vir die
gemeenskap belangrik vanweë die plek wat die wetenskap in mense se daaglikse
lewes inneem. Met hierdie artikel wil ons so ’n gesprek opnuut aanvoor. Om
hierdie beoogde gesprek oor goeie wetenskap in te lei, sal ons in vier
opeenvolgende artikels agtereenvolgens na vier kernaspekte kyk:
a. Ewekniebeoordeling: Betroubare weegskaal of vyfde wiel aan die wa?
Ewekiebeoordeling, oftewel portuurevaluasie of keuring, is ’n praktyk met ’n
vergete teoretiese geskiedenis wat eng met goeie wetenskap verbind geraak het,
in so ’n mate dat al hoe meer aanvaar is dat dit ’n soort waarborg voorsien vir
goeie wetenskap. Beoordeling is noodsaaklik vir goeie wetenskap en die
beoefening daarvan, maar ewekniebeoordeling hoef nie noodwendig goeie
wetenskap te bevorder nie; dit is denkbaar dat dit selfs ’n belemmerende faktor
kan wees. Om goeie wetenskap te kan peil, is dit dus nodig om
ewekniebeoordeling in die rol van waarborg vir goeie wetenskap, onder die loep
te neem. Die kritiek daarop, menings daaroor en voorstelle ter verbetering hou
verband met visies van goeie wetenskap. As sodanig bied ewekniebeoordeling ’n
goeie invalshoek om goeie wetenskap te verken.
b. Word goeie wetenskap bevorder of belemmer deur strategie, visie en
beleid? Dokumente wat opgestel word deur verantwoordelike instellings wat met
wetenskap en navorsing belas is en wat beleid, visies en scenario-sketse
uitstippel, beoog goeie, kwaliteitswetenskap, uitnemendheid, oorspronklikheid en
vernuwing. Ten einde dit te bereik, gee hulle gewoonlik aandag aan opleiding en
verhoogde lewering van navorsers. Hierdie programme waarborg egter niks nie,
al gee hulle hoog op met al die voortreflike bedoelings. Inteendeel, dit is selfs
moontlik dat hulle juis in die weg van goeie wetenskap kan staan, in dwangbuise
kan ontaard, en/of die wetenskapomgewing steriel kan maak. Dit is dus nodig om
enkele kerndokumente krities na te gaan. Ons spits ons toe op twee: die
Wetenskapakademie Suid-Afrika se Report on a Strategic Approach to Research
in South Africa (2006)en die Nasionale Navorsingstigting (NNS) van Suid-Afrika
se NRF Vision, 2015: Strategic Plan of the NRF (NNS 2008). Ons let op die gees
en styl daarvan, die planne, voorskrifte en beleidsrigtings wat voorgehou word as
kenmerke van en vereistes vir goeie wetenskap.
c. Die voorwaardes vir die verwesenliking van goeie wetenskap. Op grond
van wat in die eerste twee artikels bevind is, word ’n tentatiewe padkaart na
goeie wetenskap opgestel, antwoorde gesoek op vrae soos wat die voorwaardes
vir goeie wetenskap is, wie en wat bepaal wat as goeie wetenskap geld, en hoe
131
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
dit bevorder kan/moet word. Die aard en status van wetenskaplike kennis, die
plek van ’n kollektiewe intelligensie en die rol en struktuur van ’n intellektuele
gemeenskap in die beoefening van goeie wetenskap kom ook ter sprake.
d. Evaluasie en kommunikasie ter bevordering van goeie wetenskap. Hier
word gesoek na óf die rehabilitasie van portuurevaluasie om ’n konstruktiewe rol
in goeie wetenskap te kan speel, óf dan ’n alternatief daarvoor. Goeie wetenskap
behels evaluering. Die vraag is hoe dit ten beste gedoen moet word. Die vrae wat
aandag sal kry, sluit in hoe ons oor kwaliteit moet dink, hoe ’n evalueringsproses
daar moet uitsien, wie betrek moet word, of evalueerders geselekteer en opgelei
moet word, en indien wel, dan hoe.
2. Ewekniebeoordeling se hekwagtersrol
Ewekniebeoordeling het die rol van hekwagter tot goeie wetenskap verkry. ’n
Besinning oor ewekniebeoordeling wentel daarom noodwendig om die ideaal van
goeie wetenskap, en dit maak so ’n gesprek ’n ideale vertrekpunt vir ’n
bespreking van goeie wetenskap, en verskaf kapstokke waaraan die res van die
gesprek gehang kan word.
Ewekniebeoordeling
is
wêreldwyd
die
erkende
en
gevestigde
beoordelingsprosedure vir wetenskaplike navorsing. Dit word as onmisbaar
beskou om te verseker dat gehaltenavorsing befonds, gedoen en gepubliseer
word. Dit is dan ook sonder huiwering oorgedra na ander kontekste soos die
evaluering van tydskrifte en navorsers self.
Almal wat by beoordeling betrokke is, besef egter dat die stelsel vol gebreke is.
Bedenkinge oor die doeltreffendheid en waarde daarvan word gereeld gelug en
selfs ernstige, gegronde kritiek is al gelewer teen aspekte daarvan of teen die
proses as sodanig. Hierdie kritiek word óf nie te ernstig opgeneem nie (omdat
daar geredeneer word dat wat as swak punte uitgewys word, presies is wat ’n
mens van so ’n stelsel moet verwag), óf dit word toegegee, maar geredeneer dat
dit tog werk en, soos die demokrasie, nog die beste manier is om te bereik wat
dit moet bereik. Sommige kritici meen egter dat hierdie gebreke dit ’n
struikelblok op die weg van goeie wetenskap maak en hulle stel vervanging voor.
Dit het tyd geword, sê hulle, om die aanhoudende kritiek teen die stelsel in ’n
ernstige lig te beskou om te kan besluit of dit inderdaad, soos veronderstel, goeie
wetenskap kan waarborg.
So ’n kritiese ondersoek sal beteken dat die veronderstellings en veral
wetenskapsbeskouings waarop die praktyk berus, uitgestippel en beoordeel moet
word; dit het uit ’n sekere milieu voortgekom wat ’n bepaalde opvatting oor goeie
wetenskap en die plek daarvan in die samelewing behels. Verder moet die
praktiese vraag gevra word of die stelsel inderdaad werk soos voorgehou word.
As dit wel werk, sal ’n volgende vraag moet wees of dit, ten spyte van die
besware daarteen, behou moet word, en indien wel, of dit gewysig behoort te
word. As dit nie behou kan word nie, wat is die alternatief?
3. Die proses, grondslag en oogmerk van
ewekniebeoordeling
132
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
Ewekniebeoordeling is die normatiewe proses waarvolgens ’n outeur (navorser)
se publikasie (boek, artikel of verslag), of ’n beursaansoeker se aansoek, of ’n
navorser se curriculum vitae en motivering, voorgelê word aan mededeskundiges,
hoofsaaklik vakgenote (gewoonlik nie uit dieselfde kring nie), vir beoordeling met
die oog op publikasie, ’n beurs of ’n pos. Die beoordeling is redelik oop, want
eienskappe soos oorspronklikheid, kreatiwiteit, insig, algemene persoonlike
vermoë om die onderwerp te hanteer en om te kommunikeer is van
deurslaggewende belang. Keurders word op grond van hulle vakkundige status en
met inagneming van belangstellings en spesialiteite geselekteer en benoem deur
redakteurs of bestuurders van befondsingsliggame of beoordelingskomitees. Aan
hierdie uitvoerende beamptes verskaf hulle gemotiveerde beoordelingsverslae en
doen gewoonlik ook aanbevelings oor afhandeling. In die geval van publikasies
werk hulle gewoonlik individueel, en weet nie wie anders betrokke is nie. Dit
staan bekend as "blinde" keuring/beoordeling; vergoeding is gewoonlik nie ter
sprake nie, en beoordeling word as deel van wetenskaplike betrokkenheid
beskou.
Die
argument
ter
ondersteuning
van
ewekniebeoordeling
is
dat
medevakbeoefenaars vanweë hul vakkundigheid die beste in staat is om hierdie
beoordelings te doen en gevolglik daarmee vertrou te word, "not subject to
external audit but dependent rather upon trust and reputation" (Harrison
2004:360). Hiermee sê ons nie dat keurders nie ook ander eienskappe, en veral
ervaring, bybring nie; eweknieskap slaan egter éérstens op vakkundigheid. Die
ideaal is wetenskaplike beoordeling, die bepaling van wetenskaplike gehalte, en
die aanname is dat ewekniebeoordeling sowel die wetenskaplikheid (of dan
wetenskaplike aanvaarbaarheid)van die beoordeling as die gehalte van die
navorsing en die produk waarborg. Opleiding wat die bemeestering van
bestaande kennis en die verwerwing van insig in die gebruik van bestaande
prosedures beteken, word as genoegsaam beskou vir iemand om as beoordelaar
oor nuwe kennis op te tree, om normatiewe uitsprake oor toevoegings tot, of
wysigings van, hierdie kennis en insig te maak.
In die breë gaan dit by die evaluering om gehalte – om gehaltewetenskapsbeoefening te probeer verseker; te sorg dat bydraes van kwaliteit
gepubliseer word, dat die kwalitatief-beste aansoeker die beurs kry, dat die
navorsers wat kwalitatief die beste presteer, aangemoedig, aangestel en bevorder
word. Daarom word ook van kwaliteitskontrole of gehaltebeheer gepraat.
Gehalte is egter ’n glibberige begrip. Volgens Jaschik (2009:1) het Michèle
Lamont, wat beoordelings deur komitees intensief ondersoek het, besluit:
As for excellence that quality peer review theoretically promotes, Lamont
isn't sure it exists. It may be invoked all the time, she said in an interview,
but her examination of the process suggests no way to measure it. “I think
excellence means nothing [...] I think you have to give the criteria.
Typically it's originality, feasibility, and also the social and intellectual
significance.”
4. Is ewekniebeoordeling noodsaaklik?
Die vraag ontstaan of besluite oor die waarde van ’n manuskrip of die status van
’n navorser nie eerder aan die "mark" (lesende en ondersoekende wetenskaplikes
en kollegas) oorgelaat kan word nie. Akademiese tydskrifte is gespesialiseerd van
133
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
aard; die bydraers is spesialiste, gekwalifiseerde dosente en navorsers in hulle
spesialiteitsrigtings; en redakteurs kom as spesialiste uit die bepaalde vakrigtings
en kan die enkele irrelevante, oppervlakkige, kansvatter-bydraes onderskep. Is
dit dus nie moontlik om aan te neem dat die outeurs weet wat van hulle verwag
word en professioneel die spel sal speel terwyl vakgenote in openbare debat die
meriete van hulle produkte kan uitpluis nie? ’n Bydrae tot die wetenskap word tog
nie bepaal deur wat in die blaaie van boeke en tydskrifte staan nie, maar deur
wat onder die wetenskapsbeoefenaars lewe.
Harrison (2004:366), ’n uitgewer wat op keuring van manuskripte staan, gee toe:
"In the end, the really significant peer review is the open debate that takes place
in public once a work has been published." Die status van navorsers word ook
bepaal deur die reaksie van ander navorsers, ander kenners op die bepaalde
gebied, en die gebruikers. Is ’n keuringsproses dan nodig?
Die gewone antwoord is dat net gepubliseer behoort te word wat werklik die
“vooruitgang” van die wetenskap sal verseker. Vooraf-uitskakeling van wat van
"minderwaardige gehalte" is, is noodsaaklik. Hier is drie aannames: dat
ewekniebeoordeling ’n voorwaarde is vir die vooruitgang van die wetenskap; dat
dit moontlik is om apriories te weet wat vooruitgang sal dien; en dat ’n duidelike
lyn te trek is tussen goeie en swakker wetenskap.
Ewekniebeoordeling is egter ’n resente verskynsel: "Peer review has been a
touchstone of modern scientific method only since the middle of the 20th century,
the only exception being medicine. Before then, its application was lax in other
scientific fields" (Wikipedia 2008. Ons kursivering). Rennie (2003:1–4) skets
vroeë tekens van ewekniebeoordeling, maar besluit dan ook dat die
institusionalisering daarvan na die Tweede Wêreldoorlog plaasgevind het en selfs
toe maar stadig en nie algemeen nie; die toename in manuskripte was die
pasaangeër. Vanaf die middel-1980’s het die stelsel as sodanig begin aandag kry.
Daar kan geredeneer word dat dit moontlik was vir die wetenskappe om vooruit
te gaan, en wel teen ’n asemrowende pas, van die 16de en 17de tot die middel
van
die
20ste
eeu,
sonder
die
hulp
van
’n
georganiseerde
ewekniebeoordelingstelsel. Die tydperk het nie alleen die werk van Copernicus,
Kepler en Galileo ingesluit nie, maar dié van Descartes, Pascal en Kant, en in die
vroeë 20ste eeu van iemand soos Freud. En dit is maar enkeles uit die magdom
wat bloot met behulp van insette uit die intelligente gemeenskappe waartoe
elkeen deur persoonlike kontak of by wyse van korrespondensie toegang gehad
het, gehaltenavorsing en publikasies gelewer het. Kritici van die stelsel verwys
ook graag na moderne publikasies soos Albert Einstein se revolusionêre
manuskrip Annus Mirabilis, en Watson en Crick se 1951-artikel oor die DNSstruktuur wat nie deur keurders se hande is nie. Wat het hierdie verandering in
houding van geen of dan "lax application" na "touchstone of scientific method"
meegebring? Het die verandering te make met wetenskaplike en/of
navorsingsveranderinge of het iets in die wetenskaplike en navorsingsomgewing
verander?
Die omgewing het verander deurdat sowel die publikasietoneel as die
navorsingsomgewing verander het. Die rol van tydskrifte het belangriker geword
en die aantal tydskrifte het toegeneem. Tydskrifte is egter selde finansieel
onafhanklik en bydraes en subsidies kom gewoonlik met voorwaardes wat
kwaliteitskontrole ("gehaltenavorsing") vereis. Verder maak die blote volume van
aangebode stof (onnatuurlik gestimuleer deur geldelike vergoedings en beloftes
van bevordering) waarvoor daar net nie genoeg ruimte is nie, keuring en seleksie
nodig. Die ideaal is dat dit gehalte moet bevorder, maar baie meen dit gebeur nie
werklik nie. Redakteurs kan en wil ook nie alleen oor die lot van kollegas se werk
134
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
beslis nie, en ewekniebeoordeling word as die beste hiervoor, en vir die
weerlegging van kritiek, beskou.
Vergoeding vir navorsing en navorsingspublikasies het algemene gebruik geword.
"Gehalte"-navorsing en "gehalte"-navorsingspublikasies word vergoed om
navorsing en publikasie te stimuleer, wat weer gelei het tot die gradering van
navorsers en gedifferensieerde (kritici praat van "diskriminerende") vergoeding.
Gehaltebeoordeling word dan nodig geag om gehaltenavorsing en die beste
gehaltenavorsers te kan beloon.
Dit is debatteerbaar of gehaltenavorsing deur ’n vergoedingstelsel gestimuleer
kan word. Die motivering vir navorsing is die drang na wete en beter begrip wat
gedra word deur ’n oorspronklike en innoverende gees wat nie met ’n bedrag geld
aangeskakel word nie – vandaar dat Heidegger (1983:34 – 44) ’n verval van
wetenskap na navorsing insinueer. Finansiële aansporings het eerder ander
redes, soos nasionale en institusionele trots en prestige of begrotingsdruk (die
toewysing vir hoër onderwys in Suid-Afrika kon beperk word deur opleiding en
navorsing te skei). Hierby kom dat ’n gradering- en vergoedingstelsel hom ook
daartoe leen om vir operasionele doeleindes (aanstellings, bevorderings, ens.)
nuttig gebruik te kan word.1 Hierdie oorwegings, wat berus op die siening dat
ewekniebeoordeling noodsaaklik is om die gehalte van navorsing en
navorsingspublikasies te verhoog, kom in die volgende artikel ter sprake. Die
invloed van beloning op die wetenskaplike omgewing is nog nie bepaal nie.
Informele waarneming dui op negatiewe inwerking – ’n oorheersende
individualisme het byvoorbeeld vaardig geword onder wetenskaplikes; die
bestaan en invloed van die "intelligente gemeenskap" as ’n teelaarde en
klankbord met kritiese terugvoering, hulp en aanmoediging is besig om te
verswak en te verdwyn. Beurse en toekennings is nog altyd ’n kompetisie om
beperkte middele tussen formeel gelykes. Om hier die beste kandidate uit te
soek, vereis, soos ook in die geval van gradering van navorsers, ’n proses van
gehaltebeoordeling, maar dit is gewoonlik ewekniebeoordeling-in-komitee waar
bespreking van die aansoeke darem ’n rol speel.
’n Sterk positiewe standpuntinname kom van ’n dosent in wetenskap- en
tegnologiejoernalistiek, George Claassen, wat ’n verbete stryd teen "kwakke wat
paradeer
as
'kundiges'"
voer.
Ewekniebeoordeling
en
publikasie
in
portuurgeëvalueerde publikasies speel volgens hom "die hekwagtersrol ten
opsigte van kundige wetenskaplike getuienis" (Claassen 2009a), want dit help en
beskerm gebruikers van navorsing en kundigheid. “Kwakke” kan onderskei word
omdat die "navorsing" waarop hulle hulle beroep, nie in portuurgeëvalueerde
bronne
verskyn
nie.
Claassen
(2010:14)
argumenteer
later
dat
ewekniebeoordeling alleen nie genoegsaam beskerm nie, maar bevraagteken nie
die stelsel as sodanig nie.
Ewekniebeoordeling het ’n deel van ons navorsingsomgewing geword óf omdat
hierdie omgewing veranderinge ondergaan het wat, so word aangeneem, net met
’n gehaltebeheerstelsel hanteer kan word, óf omdat so ’n stelsel vir ander
doeleindes bruikbaar is. Die vraag is egter of dit noodsaaklik, of ten minste ’n
goeie hulpmiddel, is om goeie wetenskap te verseker.
5. Kritiek op ewekniebeoordeling
135
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
Die gevestigdheid van die stelsel mag die indruk skep dat dit bo verdenking
staan. Marsh en Ball (1991:157) spreek die oordeel van baie in die volgende
stelling uit:
The peer review process is one of the most highly regarded and frequently
used procedures for evaluating the academic merit of academic
manuscripts, grant proposals, tenure/promotion applications, and
academic monographs and textbooks. Hence, peer review is of utmost
importance to the academic community.
Dit is egter allermins die geval dat die stelsel oral in hierdie gees aanvaar word.
Dit is nie net ’n geval van uiteenlopende menings oor die waarde en gehalte van
die stelsel nie, maar van hewige en gegronde kritiek daarteen. Reeds in 1986 het
’n adjunkredakteur van die Journal of the American Medical Association,
Drummond Rennie, kritiese vrae oor ewekniebeoordeling gestel en gemeen die
stelsel moet verbeter en die noodsaaklikheid daarvan bewys word. Vir dié doel
word sedert 1986 elke vier jaar ’n kongres met die tema ewekniebeoordeling
georganiseer, maar een outeur merk op: "Rennie and his companions have spent
almost 20 years in the desert, yet the golden calf is still intact" (Engber 2005:3).
Dat hier ’n probleem is met meer tentakels as net ’n gebrek aan konsensus
tussen beoordelaars oor die gehalte van ’n manuskrip, blyk uit die
uiteenlopendheid van ewekniekommentaar op Cicchetti (1991) se kritiese artikel
oor ewekniebeoordeling. Die artikel word later volledig bespreek. Hierdie
kommentaar wissel van uiterste ontsteltenis (want, so word gemeen, die
probleme van ewekniebeoordeling bedreig wetenskap en wetenskaplikheid) tot ’n
siening dat verskille tussen keurders te verwagte was omdat beoordelaars juis
met die oog op spesiale en uiteenlopende vermoëns gekies word en te veel
konsensus middelmatigheid kan kweek. Almal aanvaar egter dat daar verskillende
redes vir ’n gebrek aan konsensus is, en op dié wyse word indirek kritiek op, en
voorbehoude oor, die stelsel geopper. Blaam word gelê op vooroordele, verskille
in vermoë, uiteenlopende benaderings van die keurders, die soort onderwerpe,
byvoorbeeld kontroversieel teenoor onkontroversieel, en probleme met nuwe
kennis en insigte.
Kan iets aan die verskille gedoen word? Weer is daar uiteenlopende menings: hou
die stelsel in stand soos tans en aanvaar verskille, teenoor: bring veranderinge
aan, soos deurgaans blinde beoordeling,of ekstra keurders tot ’n duidelike oordeel
uitkristalliseer, of keurders deur outeurs voorgestel, of die reg op repliek, of selfs
’n advokateringstelsel. Die meeste meen die stelsel is in orde, maar dat keurders
deur opleiding verbeter moet word.
Die beoordelingstelsel word dus op allerlei wyses en op verskillende vlakke
gekritiseer. Dit is nodig om hierdie kritiek in meer besonderhede na te gaan.
5.1 Deurlaat van bedrieglike en foutiewe artikels
Hier is veral drie soorte verskynsels ter sprake: die deurlaat/deurglip van plagiaat
en bedrog; die miskyk van oorspronklikheid en innovasie; en die miskyk of
toelaat of ignoreer van onverskoonbare foute.
Die deurglip by keurders van bedrog en plagiaat diskrediteer vir sommige die
stelsel onherroeplik. Gevalle soos die volgende kom ter sprake: Jan Hendrik
Schön het gedurende 2001 elke agt dae ’n navorsingsartikel óf alleen óf saam
met ’n medewerker voltooi. Vyftien hiervan is ná keuring deur Nature en Science
136
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
gepubliseer. Agterna het fisici hierdie publikasies as plagiaat en bedrog ontbloot
(Berger 2006:157). Abate (2004:1) verwys verder na die publikasies van ’n
kardioloog, ’n dwelmondersoeker en ’n top-immunoloog wat almal later
gediskrediteer is omdat hulle bevindinge bevat het wat “gekook” of geplagiariseer
was. Ook die redakteurs van die South African Journal of Philosophy het in 2005
(Baker, Beck en Spurrett 2005:61–3) pogings om geplagiariseerde bydraes
gepubliseer te kry, gerapporteer. Laasgenoemde gevalle is toevallig voor
publikasie, maar na gunstige keuring, ontdek. Baker-hulle wys daarop dat hierdie
pogings artikels op die internet misbruik het en dat die internet plagiaat deesdae
makliker maak. Nie een van hierdie gevalle is deur die keurders raakgesien nie.
Campanario (1998:279) verwys na ’n artikel wat die Duitse tydskrif Angewandte
Chemie in Februarie 1994 op aanbeveling van keurders gepubliseer het. Dit is
later teruggetrek toe getuienis wat die resultate weerspreek het, net te veel
geword het en dit geblyk het dat daar op geknoeide resultate gesteun is.
Campanario (1998:279) kom tot die volgende gevolgtrekking:
Instances of scandals involving plagiarized papers or papers with
fabricated data are publicized on an almost weekly basis in the news
sections of leading journals such as Science and Nature, and the inability
of the peer review system to detect and prevent fraud seems to be proven
beyond doubt.
Die deurglip van plagiaat en bedrog word nie allerweë verdoemend teen
ewekniebeoordeling gehou nie. Berger (2006:157) meen egter: "But the reality is
that peer review assumes a research article has been honestly written. It doesn't
catch outright fraud." Baker, Beck en Spurrett (2005:62) toon aan dat plagiaat
baie sleg is vir die aansien van ’n redaksie en ’n tydskrif: dit werp ’n skadu van
wantroue oor alles en almal wat by die tydskrif betrokke is, en dit sonder dat die
tydskrifredaksie werklik iets aan die skuldige kan doen. Hulle gee egter toe dat
geen keurder alles wat al in ’n vakgebied gepubliseer is, kan ken sodat hy of sy in
staat sal wees om plagiaat of bedrog in alle gevalle raak te sien nie:
Science is impossible [...] without division [...] of labour, and the
effectiveness of that sharing of effort depends [...] on shared confidence
that the majority of participants are playing fairly. No one [...] would get
anything done if each of us had to check whether every paper we relied
upon had been plagiarised. (Baker, Beck en Spurrett 2005:62)
Die deurglip van plagiaat kan beswaarlik teen keuring gehou word. As van
keurders verwag word dat hulle alle plagiaat wat op hulle weg kom, moet uitwys,
is die stelsel nie realisties nie. Maar die verskynsel van plagiaat laat tog
waarskuwingsligte flikker, want bedrieglike en onoorspronklike wetenskap kan nie
as goeie wetenskap kwalifiseer nie. As ewekniebeoordeling dit nie gereeld kan
identifiseer nie, word dit ’n waarborg met voorbehoude.
’n Erger aanklag is dat werk wat later geroem is, aanvanklik deur keurders
afgekeur is. In die literatuur word talle voorbeelde genoem. Armstrong en
Hubbard (1991:136)2 verwys byvoorbeeld na die skandeer-tonnel-mikroskoop
(scanning tunneling microscope, of STM) wat in staat is om individuele atome te
onderskei en wat as een van die belangrikste uitvindings van die 20ste eeu
geroem is. Die Nobelprys vir fisika is aan die uitvinders toegeken, maar die
aanvanklike poging om resultate wat met behulp van die apparaat verkry is, te
publiseer, is op aanbeveling van ’n keurder afgewys. Campanario (2009) gaan die
geskiedenis na van 16 Nobel-pryswenners wat aanvanklik publikasieprobleme
met die bekroonde artikel ondervind het. Armstrong en Hubbard veralgemeen
137
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
hulle bedenkinge oor die stelsel deur daarop te wys dat kontroversiële artikels ’n
swakker kans het om gepubliseer te word as onkontroversiële pogings. Keurders
hanteer duidelik nie oorspronklikheid en innovasie baie goed nie. Campanario
(2009:549) merk op: "[P]apers are rejected, fellow scientists ignore discoveries,
[...] authors of very innovative papers are criticized and often face stone-walling
from their peers." En verder (2009:558):
In other instances the problem was that referees did not appreciate the
potential or the interest of new discoveries. [...] The fact is that some of
the articles reporting new findings or discoveries were initially rejected but
would later earn their authors much-deserved recognition along with the
highest accolade scientists aspire to. This outcome of peer review raises
important questions about current publishing policies which govern the
dissemination of new information.
Die voorgaande skets nie juis ’n bemoedigende prentjie van die rol van keurders
nie, maar Campanario (2009:559) pleit vir versagtende omstandighede:
It may happen that the editors and referees who read articles reporting a
novel discovery are not able to assess the value of innovative work.
However, sometimes it is hard to discern the difference between a
potentially useful, innovative discovery or technique and one which is not
significant.
Ontdekking en innovasie gaan dikwels gepaard met dit wat vreemd/onbekend is.
Die onbekende kan dikwels nie sonder meer in ’n raamwerk geplaas, verstaan en
na waarde geskat word nie. Hoe belangrik innovasie ook al vir wetenskaplike
vooruitgang is, kan daar nie van keurders verwag word om altyd die waarde van
iets nuuts te herken nie; dit kan ook onsinnig of foutief wees. Opleiding berei
keurders nie voor om ’n bepaalde nuwigheid dadelik reg te evalueer nie.
Voorbereiding op die soeke na nuwighede en die erkenning van die rol van
nuwighede beteken nie dat ’n besondere nuwigheid verstaan en aanvaar sal word
nie. Hier kan dus verskoning vir keurders wees, maar as die stelsel goeie
wetenskap moet waarborg en boonop aan die publiek gemoedsrus moet verskaf,
dan is ’n gekwalifiseerde waarborg nie wat gesoek word nie.
Keuring kom egter direk in die gedrang waar keurders duidelik fouteer, en
voorbeelde hiervan wemel in die literatuur. Een so ’n voorbeeld is die publikasie
van Bjorn Lomborg se The sceptical environmentalist, wat hewige negatiewe
reaksie uitgelok het - "[...] the ’near-hysterical' reaction of environmentalists [...]
the book has provoked 'highly critical, even petulant, responses by some
scientists in the environmental camp'" (Harrison 2004:357 (n2)). Harrison het
heftig ontken dat die boek nie gekeur is nie en beskryf die proses om keurders te
selekteer, noem hulle spesialiteite en sê: "I expected the referees' comments to
be mixed [...]. However, to my surprise all four recommended publication"
(Harrison 2004:358). Nisbet (2003:1) som die besware van wetenskaplikes teen
die boek op en toon ernstige wetenskaplike foute en metodologiese vergrype
daarin aan:
Lomborg misinterprets or misrepresents data. [...] selectively examines
issues or problems that support his thesis [...] while ignoring other issues
that refute his claims [...] he over-simplifies, commits gross
generalizations [...] he uncritically and selectively cites literature [...]
Lomborg's research is conceptually flawed [...].
138
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
Volgens Nisbet het die Deense komitees wat na wetenskaplike oneerlikheid
omsien, hierdie navorsing bestempel as "'to fall within the concept of scientific
dishonesty' and to be 'clearly contrary to the standards of good scientific
practice'" (Nisbet 2003:1). Dus, ten spyte van Harrison se verdediging, word die
keurders verkwalik dat hulle die publikasie aanbeveel het terwyl die boek nie aan
wetenskaplike standaarde voldoen nie. Kritici sien dit as ’n mislukking van
ewekniebeoordeling as ’n hekwagter van goeie wetenskap en integriteit. Die
verweer dat publikasies die debat aan die gang moet hou, is nie aanvaarbaar nie
– die debat moet nie tot elke prys gevoed word nie. Debat oor foutiewe inligting
en afleidings, growwe veralgemenings, en so meer, dien in elk geval nie die
wetenskap nie. Die keurders het duidelik hier met ander doelstellinge as goeie
wetenskap gewerk. Die vaagheid van verwagtinge waaronder keurders werk, blyk
ook hieruit. Hierdie aspekte word later aangeraak.
’n Ander voorbeeld van keurdermistasting is die sogenoemde Columbia prayer
study (Engber 2005:1, 2) – ’n geval van grootskaalse misleiding. ’n Artikel wat
later as kwaksalwery gebrandmerk is, is deur keurders aanbeveel en in ’n
erkende tydskrif (Journal of Reproductive Medicine) gepubliseer. Daarna is dit
deur die dagbladpers aangegryp. ’n Navorsingsgroep van Columbia Universiteit
het in die artikel gerapporteer dat pasiënte by ’n Seoelse vrugbaarheidskliniek se
kanse om swanger te raak, twee keer groter was indien Christene vir hulle gebid
het as daarsonder. Die kritiek op die artikel gaan om meer as onakkurate
beriggewing. Die keurders het, soos in die geval van The sceptical
environmentalist, sondes teen erkende wetenskaplike beginsels oorgesien, soos
ongesubstansieerde konklusies, ’n verwronge navorsingsplan, ongegronde
veralgemenings, en in die algemeen verdagte metodes. Boonop was daar twyfel
of die proefpersone toestemming tot die ondersoek gegee het. Ons kan besluit
dat waar dit as ’n basiese funksie van keuring gesien word om ’n veiligheidshek
teen swak werk, bedenklike metodes en onetiese optrede te wees, dit in hierdie
geval gefaal het.
’n Geval van foutering wat grens aan wanvoorstelling en wat ernstige gevolge
gehad het omdat mense opgehou het om hulle kinders te laat inent, word deur
Claassen (2010:14) bespreek. Dit raak ’n artikel deur ’n span navorsers onder
leiding van ’n dr Andrew Wakefield wat in The Lancet gepubliseer isoor die
beweerde verband tussen outisme by kinders en die mengelentstof teen
pampoentjies, masels en Duitse masels. Talle studies het die Wakefield-navorsing
grondig gerepudieer. Die ernstigste beswaar was dat die toetsgroep te klein was
om enige geldige afleidings te kon maak, ’n aspek wat die keurders nie
raakgesien het nie. Claassen (2010) verwys na die bekendheid van die
belangrikheid van groot groepe om statisties betroubare gevolgtrekkings te maak
en besluit dan: "[D]it is eintlik skandalig dat nóg die ewekniebeoordelaars nóg die
media hierdie allesoorheersende tekortkoming van die studie nie raakgesien en
dit daarvolgens beoordeel het nie." Toe die artikel, jare later, uiteindelik onttrek
is, is die blaam op die navorsers en die media geplaas, maar die redakteur het
ewekniebeoordeling verdedig, want "die hele stelsel rus op vertroue".
’n Geval waar dieselfde punt gemaak word, maar in die algemeen teen keurders
in die geesteswetenskappe, is die sogenoemde Sokal-parodie. Alan Sokal, ’n
fisikaprofessor met ’n interdissiplinêre belangstelling, het tot die gevolgtrekking
gekom dat baie ewekniegeëvalueerde artikels nie juis sin het nie. Hy het ’n
formule wat gebaseer was op gepubliseerde werk, uitgewerk en ’n artikel,
"Transgressing the boundaries: Towards a transformative hermeneutics of
quantum gravity", wat eintlik sinloos was, opgestel en vir publikasie voorgelê. Die
redakteur het dit ongekeur aanvaar en dit het in Social Text, Spring/ Summer,
46/47 verskyn (Sokal 1996a:217–52). Keuring en keurders is indirek betrek3 in
139
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
die sin dat Sokal beswaar gehad het teen ’n tradisie wat deur keurders erken is,
sekere publikasies oorheers en na sy mening eintlik sinlose produkte opgelewer
het. Sy bekommernis, "a decline in the standards of intellectual rigor", berus op
sy kontroversiële beskouings. Dat hy die redakteur met versluierde onsinnighede
uitgevang het en sy onsinnighede as waar aanvaar is, is veelseggend. Maar dit
kan nóg dien as grond om te sê dat alle keurders of vakkenners op dieselfde
manier uitgevang sou gewees het, nóg dat sy aanvaardings, die wêreld-,
wetenskaps- en kennisbeeld wat sy uitgangspunt is, aanvaarbaarder is as dié wat
hy kritiseer. Die toepassings van wat gebeur het, moet gerelativeer word. Die
belangrike is egter dat hy tog op indirekte wyse aantoon dat keurders en
redaksies ingesuig raak in ’n gangbare wetenskaplike diskoers wat substansiële
inhoud kan verdwerg, puntenerige argumentasie oorskadu en aldus verhoed dat
keurders in alle omstandighede met die hekwagtersrol vir goeie wetenskap
vertrou kan word. Verder ondersteun sy "eksperiment" die siening dat
ewekniebeoordeling net na wense evalueer kan word teen die volle agtergrond
van wat goeie wetenskap en wetenskapsbeoefening is.
Nog ’n sonde, en ’n onverskoonbare een, wat teen eweknie-evalueerders gehou
word, is foute wat "ongesiens" deurgeglip het. Dit is ernstig, want dit het te make
met vakkundige insig, en die foute kan elders herhaal word. Campanario
(1998:29) noem onder andere die volgende: In ’n artikel beskryf J.B. Watson ’n
eksperiment oor kondisionering met slegs een baba as proefpersoon. Desondanks
is die artikel aanbeveel. Hoewel latere herhalings nie die oorspronklike bevindings
bevestig het nie, het die eksperiment aanhou opduik in handboeke.4 In ’n tweede
voorbeeld, ’n kontroversiële ekonomie-artikel oor sosiale sekerheid, het ’n
ernstige programmeringsfout voorgekom wat keurders misgekyk het. Die
regstelling daarvan het gelei tot resultate wat direk die teenoorgestelde was van
wat aanvanklik gepubliseer is.5
Soortgelyke vergissings is opgeteken in lyste van sogenoemde "mediese
fantasieë", opgestel deur Robin en Burke,6 waarin foute wat navorsers gemaak
het en wat in erkende mediese tydskrifte met ewekniebeoordeling gepubliseer is,
verskyn het. Dit sluit onder andere ’n studie in wat beweer dat brongiale asma
deur wurms veroorsaak word. Die lyste deurgelate foute (Campanario 1998:280
noem nog drie ander) is lank en daar was in sommige gevalle ernstige
vergissings. Omdat ewekniebeoordeling goeie wetenskap sou waarborg en ook
die "verbruiker" sou beskerm, is dit ’n ernstige aanklag daarteen.
Dit is duidelik dat daar in die meeste gevalle bomenslik baie van keurders verwag
word ten opsigte van hul kennis in ’n vakgebied, hul metodologie en hul eie
vermoëns en insigte. As meer as bloot pragmatiese voordele van keuring verwag
word, word die stelsel ooreis – soos deesdae inderdaad gebeur – en keurders
uitgelewer.
Teen die agtergrond van al hierdie oorwegings moet ons besluit dat goeie
wetenskap nie afhanklik gemaak kan word van keuring nie. Om so ’n
verantwoordelikheid daarop te lê, is om dít wat die stelsel kan bied, te oorskat,
die druk op die keurders te vergeet en aldus goeie wetenskaplike navorsing
ernstig te kompromitteer.
5.2 Die invloed van persoonlike opvattings en
omstandighede
Daar is genoeg getuienis van eie belange, besondere belangstellings en
voorkeure, vooroordele, begunstiging, dogmatisme, bekrompenheid en ook blote
140
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
nalatigheid wat die deurslag by keurders gegee het. (Campanario 1998:280–9
bespreek ondersoeke wat ’n verskeidenheid faktore van hierdie aard raak.) Dit sal
seker ook geld by die beoordeling van navorsers. Sommige hiervan kom later
weer ter sprake.
Die kompetisie wat met navorsing en publikasie gepaard gaan, en wat aan
vergoeding en ander byvoordele gekoppel word, het vererger en bemoeilik
samewerking tussen wetenskaplikes. Dit gebeur dat keurders hul opponente
doelbewus benadeel as nie van blinde keuring gebruik gemaak word nie. Vroueen jong navorsers kla oor benadeling. Die eeue oue erkende en gevierde stelsel
van intelligente gemeenskappe, navorsers wat mekaar erken, ondersteun,
kritiseer en kan saamwerk, en so ’n geborgenheid en ’n basis vir wetenskaplike
werk daarstel, word bedreig, en die publiseer- en keuringstelsel het hiermee te
make.
Die oorlading van keurders word ook al hoe meer ’n probleem. Daar is soveel
tekste wat gekeur moet word dat daar nie genoeg tyd aan elke taak bestee kan
word nie. Boonop voel wetenskaplikes dat keurwerk hulle weg hou van hulle eie
navorsingswerk.
Keuring word ook antiteties genoem omdat dit, in teenstelling met die
wetenskapsbeoefening wat dit moet dien, hopeloos informeel is – elke keurder
werk volgens eie insigte en standaarde, wat meebring dat dieselfde artikel deur
een keurder afgekeur, maar deur ’n ander aanbeveel en dan gepubliseer word,
om agterna boonop op die “moet lees”-lys geplaas te word. Keuring moet boonop
funksioneer in ’n omgewing wat teenoorgestelde eise kan stel, soos wetenskaplik
aanvaarbaar, maar ook bevorderend vir pluralistiese denke en debat, innoverend
of oorspronklik, maar bekend genoeg om beoordeel te word, ensovoorts.
Hierdie aangeleenthede wys dat ewekniebeoordeling nie sonder meer oral
aanvaar word, of aanvaar kan word, as die sleutel tot wetenskaplike gehalte en
waarborg
vir
goeie
wetenskap
en
behoorlike
en
verantwoordelike
wetenskapsbeoefening nie.
5.3 Formeel-empiriese studies
Verskillende formeel-empiriese studies is uitgevoer om die geslaagdheid al dan
nie van ewekniebeoordeling, of dan verskillende aspekte daarvan, na te gaan en
die resultate statisties weer te gee. Op hierdie terrein neem die eerste ondersoek
van Cicchetti, "The reliability of peer review for manuscript and grant
submissions: a cross-disciplinary investigation" (1991:119–86), ’n besondere plek
in. Alhoewel dit reeds oud is (in onlangse literatuur verwys eintlik min skrywers
daarna; Campanario s.d.:3 doen dit wel), het dit besondere voordele. Afgesien
van die onrus wat Cicchetti losgemaak het, waarvan die spore in die jongste
literatuur nog duidelik merkbaar is, is daar ook baie wat herbesinning verdien.
Volgens Rennie (2003:4) het die “moderne” belangstelling in ewekniebeoordeling
sy loop gekry vanaf 1981 met ’n artikel “Chance and consensus in peer review”
deur C. Cole, J.R. Cole en G.A. Simon in Science, 214, gevolg deur Lock (1985)
en die eerste kongres oor ewekniebeoordeling in 1989. Cicchetti se ondersoek
sluit by hierdie mylpale aan.
Die projek is duidelik en goed afgebaken. Dit gee ’n oorsig en opsomming van die
vernaamste ondersoeke oor die onderwerp tot op daardie stadium en is dus ’n
samevatting van empiries-ondersoekte kritiek teen die stelsel. Die redakteur van
Behavioral and Brain Sciences het die praktyk ingevoer (Rennie 2003:5)
141
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
waarvolgens ’n belangwekkende navorsingsartikel ewekniebeoordeling ondergaan
en na aanvaarding aan belanghebbendes voorgelê word vir hulle kommentaar,
wat dan saam met die artikel en ’n repliek van die artikel-outeur gepubliseer
word. Die kommentators in Cicchetti se geval sluit redakteurs en navorsers in wat
by besinning oor ewekniebeoordeling betrokke is. Dit is dus ’n breë,
uiteenlopende bestekopname en oorweging van die stelsel.
Cicchetti ondersoek die sentrale en deurlopende kwessie van die betroubaarheid
of konsekwentheid van die stelsel – dieselfde oordeel met herhaalde keuring. Hy
som die prosedures wat gebruik is en die vernaamste bevindings op, kyk na
keurders se beoordelings van en kommentaar op manuskripte wat voorgelê is vir
publikasie, en bekyk ook motiverings vir beursaansoeke. Die artikels en aansoeke
wat hy bestudeer het, was afkomstig uit die sielkunde, sosiologie, medisyne
(sowel algemeen as gespesialiseerd), ekonomie, chemiese dinamika, en
vastestoffisika. Cicchetti (1991:119) formuleer sy doelstelling as "providing some
reasons and remedies for the low reliability of manuscript and grant reviews".
Reliability verwys hier na tussenkeurder-ooreenstemming. Die bekommernis oor
die lae betroubaarheid ontstaan deurdat die sosiale stelsel wat die professionele
optrede en mobiliteit van wetenskaplikes beheer, veronderstel is om ’n regverdige
en objektiewe ewekniegedrewe stelsel te wees, dus ’n normatiewe model waarin
die beoordeling van wetenskaplikes en hulle werk volgens universele akademiese
standaarde geskied, en oordele dus veronderstel is om nie te wissel as gevolg
van faktore soos verskillende beoordelaars of beoordeling op verskillende tye nie.
As ewekniebeoordeling lukraak en onbetroubaar is, kan dit nie as so ’n basis dien
nie. Ons vind egter dat hoewel dit met erns en oortuiging deur knap
wetenskaplikes gedoen word, dit tog hierdie verskille toon – dus onbetroubaar is.
Cicchetti wil weet waarom dit so is en of die situasie verander kan word.
Cicchetti begin met ’n oorsig en evaluering van werk wat reeds op hierdie terrein
gedoen is. Dit behels eksperimentele opstelling, tipes betroubaarheidsmetings,
toepaslike en ontoepaslike statistiek en waardemetings, kriteria en ander
metodiese kwessies. Dit is vir die doeleindes van hierdie artikel nie nodig om op
hierdie tegniese sake nie in te gaan nie; daar word eerder op sy bevindinge
gekonsentreer.
Hy het die betroubaarheid van manuskripbeoordelings vir die gedrags-, mediese
en fisiese wetenskappe afsonderlik nagegaan en bevind dat betroubaarheid oor
die algemeen laag was. Hy waarsku egter dat die toetsgroepe vanweë die
verspreiding oor verskillende tydskrifte klein was, hoewel hierdie bevindings
bevestig word deur verskillende opnames wat toon dat verreweg die meeste
artikels wat aanvanklik weggewys is, tog onveranderd, of bykans onveranderd,
elders geplaas is. Dit geld 85 persent van die 1970-wegwysings by die Journal of
Clinical Investigation en, vir 1975, 85 persent van die wegwysings van die New
England Journal of Medicine. Vir die British Medical Journal is ’n soortgelyke
tendens vir 1985 gevind, terwyl die redakteur van Science dieselfde tendens ten
opsigte van sy tydskrif bevind het. Cicchetti verwys onder andere na opnames
van Wilson (1971), Relman (1978) en Lock (1985). Dus: tussen keurders wat op
verskillende tye dieselfde artikel beoordeel, mag beoordelings selde ooreenstem.
Cicchetti (1991:128) het ook groot afwykings gevind tussen keurders se
voorspellings (verwagtings) oor interkeurderbetroubaarheid (wat relatief hoog
was) met verwysing na bepaalde kriteria soos die toepaslikheid van die gebruikte
metodologie en in welke mate dit ’n bydrae tot die wetenskap maak, en die
werklike vlak van betroubaarheid wat gevind is, wat weer betreklik laag was. Hy
was egter nie tevrede om net ’n lae betroubaarheid te rapporteer nie, maar wou
dit ook nader probeer beskryf: Hoe manifesteer dit in verskillende aspekte van
142
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
die beoordeling? Verder wou hy, vanweë sy "normatiewe wetenskapsmodel", ook
probeer vasstel waarom die betroubaarheid laag is, sodat remediëring moontlik
sou wees.
Die ooreenstemming tussen keurders was hoër ten opsigte van verwerping as van
aanvaarding, ’n bevinding wat ook in ’n studie deur Smigel en Ross in 1970
gemaak is (Cicchetti 1991:128). Hy noem dan ook dat redaksies by algemene
tydskrifte oor die algemeen groter gewig gee aan keurder-ooreenstemming ten
opsigte van afwysing as aan keurderkonsensus ten opsigte van aanvaarding:
"[T]he editor was almost three times more likely to reject a manuscript that
reviewers agreed should be accepted than to accept a manuscript that the
reviewers agreed should be rejected" (Cicchetti 1991:127).
Daar is gevind dat verskillende keurders se kommentaar op dieselfde artikel of
aansoek dikwels so uiteenlopend is dat redakteurs nie op grond daarvan ’n besluit
kan neem nie (Cicchetti 1991:124). Dit stem ooreen met wat reeds vroeër
raakgesien is: "In a qualitative evaluation of reviewer's comments, Mahoney
noted a wide variability, 'One would hardly think that very similar or even
identical manuscripts were being evaluated'"( Cicchetti 1991:129). Waar finale
oordele ooreenstem, word meer dikwels heeltemal verskillende, selfs
weersprekende, motiverings aangevoer (Cicchetti 1991:130). Dit kan ook gebeur
dat die aanbevelings oor publiseerbaarheid verskil, maar dat die kommentaar oor
die artikel of beursaansoek ooreenstem:
[R]eferees are basically in agreement about the content of their reviews,
but differ considerably in their recommendations to the editor. [...] [W]e
are left with the apparent paradox of instances in which conscientious and
well-qualified reviewers and editors will offer essentially the same
evaluation of a given manuscript, while drawing very different conclusions
about its publishability. (Cicchetti 1991:130)
Waarom die inkonsekwentheid? Cicchetti wys daarop dat dit onmoontlik was om
vas te stel in welke mate dit die resultaat was van verskille in eienskappe van die
keurders (meer of minder ervare, streng of toegeeflik, bevooroordeeld al dan
nie), of van die materiaal (aard en/of tegniese ingewikkeldheid van die stof, styl
en/of kwaliteit van die aanbieding, ensovoorts), of, wat dit baie moeiliker maak,
kombinasies van hierdie faktore en eienskappe.
’n Geheel andersoortige faktor wat raakgesien is (Cicchetti 1991:130), is dat
keurders die belangrikheid van hulle kritiek anders beoordeel. Een keurder mag
die publikasie aanbeveel omdat hy sy kritiek as “kosmeties” hy beskou, terwyl ’n
ander dieselfde kritiek mag aanvoer, maar dit as fundamenteel beskou en dus
afwysing aanbeveel.
’n Ander moontlikheid is dat die status van die institusie waaraan die outeur
verbonde is, ’n invloed het. Hy verwys na ’n studie van Peters en Ceci in 1982:7
Twaalf voorheen gepubliseerde artikels van gerespekteerde navorsers verbonde
aan top-navorsingsinstellings is met ’n bietjie verandering wat nie die inhoud
geraak het nie, as nuwe manuskripte aan die oorspronklike keurders voorgelê vir
"keuring", maar dié keer onder onbekende name, met as fiktiewe setels
institusies met ’n minder goeie navorsingstatus. Slegs drie van die hersirkuleerde
manuskripte is herken as vroeër gepubliseer. Met die uitsondering van twee het
al die keurders en redakteurs die manuskripte afgekeur. Naas ’n gebrek aan
konsekwentheid, toon die studie dat die status en affiliasie van outeurs, wanneer
bekend, ’n rol mag speel, en blyk te speel, by die beoordeling van manuskripte.
Blinde keuring los nie die probleem op nie, aangesien redakteurs oor die inligting
143
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
beskik, op keurders besluit, en die finale seggenskap oor publikasie het; en
laasgenoemde blyk ook aan wisselende oordele onderhewig te wees.
In ’n goed-gekontroleerde studie van Mahoney in 1977 (Cicchetti 1991:128) is 75
keurders van die Journal of Applied Behavior Analysis gevra om manuskripte te
beoordeel wat almal dieselfde dominante gedragsveranderingshipotese getoets
het. Die manuskripte het almal identiese inleidings- en metodologieafdelings
gehad, maar het verskil ten opsigte van die "Uitkomste-" en "Bespreking-"
gedeeltes – in sommige het hulle ontbreek, en in die res is die bevindinge in
"positiewe", "negatiewe" of "gemengde" style aangebied. Die keurders moes
hierdie manuskripte beoordeel ten opsigte van algemene wetenskaplike
verdienste (as publiseerbaar al dan nie), en hiervoor moes hulle normatiewe
kriteria gebruik, insluitende gradering van tematiese tersaaklikheid, metodologie
en data-aanbieding. Daar is gevind dat die keurders positiewe manuskripte oor
die algemeen publiseerbaar bevind het, met hier en daar ’n aanbeveling vir
matige hersiening. Gemengde manuskripte is merendeels afgewys, maar soms
aanvaar ná middelmatige hersiening, terwyl negatiewe manuskripte oor die
algemeen afgewys is, en soms aanvaar is ná drastiese hersiening. Manuskripte
waarin geen bevindings gemaak is nie, was oor die algemeen beter daaraan toe
as dié met gemengde of negatiewe resultate, want meer van hulle het positiewe
reaksie uitgelok. Keurders word dus in ’n erge mate beïnvloed deur die algemene
aard van die inhoud en toon van manuskripte wat hulle beoordeel. Van
objektiwiteit het hier min tereg gekom. Armstrong en Hubbard, kommentators
van die Cicchetti-artikel, verwys na ’n artikel deur J.S. Armstrong8 en sê:
Armstrong provides additional examples of lapses in the peer review
system, along with summaries of empirical evidence that discomforting
findings about important topics are difficult to publish. [...] [R]eviewers
were biased against negative findings. They rejected these papers on the
basis of poor methodology while accepting papers with confirmatory
outcomes that used the identical methodology. (Cicchetti 1991:136)
Cicchetti (1991:129) verwys na wat Mahoney9 die verskynsel van bevestigende
vooroordeel noem: "the tendency to evaluate positively those results that are
consistent with one's beliefs and to evaluate negatively those that are
inconsistent with them". Dit kan ons sommer koppel aan twee ander vorme van
vooroordeel: die "selfverwysingsvooroordeel" (wat egter grootliks deur blinde
keuring aan bande gelê word) – outeurs wat dikwels na hulle eie werk verwys,
word gewoonlik gunstiger beoordeel; en die reeds genoemde vooroordeel wat
verband hou met die prestige van die skrywer en die instelling waaraan hy of sy
verbonde is. Cicchetti (1991:124) het verder bevind dat keuring vir ’n betreklik
geformaliseerde en objektiewe dissipline soos fisika aan dieselfde probleme
onderhewig is as vir algemene tydskrifte in gedragswetenskappe en medisyne.
Nöthling Slabbert (2009:47) verwys na ’n bevinding dat ewekniebeoordeling nie
baie doeltreffend (konsekwent en steekhoudend) is in die geval van klein en
hoogs gespesialiseerde navorsingsgebiede nie. Vir Suid-Afrika is dit belangrik –
heelwat dissiplines het slegs ’n klein getal beoefenaars, en dit moet verontrustend
wees vir die klein getal navorsers wat in Afrikaans publiseer.
Postnote (2002:2) se konklusie is: "There is surprisingly little evidence on the
effectiveness of peer review from formal studies". Tyrer (1991:164) se
kommentaar is snydender:
Cicchetti has provided valuable data in support of a maxim I sometimes repeat to
disconsolate writers of rejected manuscripts: “A determined author can get any
144
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
rubbish published.” The low levels of reviewer agreement found in this wideranging review may be regarded as unsatisfactory by some, but encouraging to
potential authors. After noting that worthlessness appears easier to detect than
excellence, our author-in-waiting must be reassured by levels of agreement
between assessors which barely exceed those of chance when several referees
are used.
Die enigste positiewe invloed wat aangeteken is, is "some evidence that the
accuracy and readability of manuscripts is improved between submission and
publication" en "some evidence that it is effective in weeding out poor quality
research".
Cicchetti (1991:130) se inleidende gedagtes tot voorstelle ter verbetering van
ewekniebeoordeling is hier ook belangrik: "[D]isagreement among reviewers can
sometimes serve a useful purpose [...] [O]ne referee may detect a flaw in
reasoning that a second referee has failed to uncover." Maar hierdie "creative
disagreement"is vir hom nie in stryd met die behoefte om sowel die geldigheid as
die betroubaarheid van ewekniebeoordeling te verbeter nie. Hy waarsku egter
teen die verhoging van betroubaarheid op ’n "kontraprogressiewe" wyse deur
byvoorbeeld keurders op te lei met dieselfde stel vooroordele of om almal
afwysend te staan teenoor sekere soorte navorsing of benaderings.
Ten spyte van die negatiewe bevindings word daar steeds bykans blindelingse
vertroue uitgespreek in ewekniebeoordeling.10 Ten spyte van Postnote se oordeel
soos hier bo aangehaal, word besluit: "[P]eer review is held to be beneficial to the
scientific community and has become central to the process by which science is
conducted" (Postnote 2002:2). Hoewel sy probleme het met die oordrag van die
stelsel na die beroepskonteks, beaam Nöthling Slabbert (2009:48) hierdie
gevolgtrekking: "In the absence of feasible alternative systems of evaluation, [...]
peer review appears to remain the preferred system."
Dit is egter duidelik dat ewekniebeoordeling allermins as ’n waarborg vir goeie
wetenskap kan dien; onvoorwaardelike vertroue is nie genoeg nie.
5.4 Prinsipiële bedenkinge en besware
5.4.1 Die rol van prefigurasies
Cicchetti (1991:128,129) vind dit nodig "to determine how much of the
unreliability [van keurderbeoordelings] results from differences in the
characteristics of the reviewers themselves", en hy besluit: "[O]n the basis of the
best controlled studies of the peer review process to date, we are forced to
conclude that referees at times apply subjective criteria", waarvan hy erken dat
"such traits are widely accepted as desirable characteristics of referees". Onder
hierdie subjektiewe kriteria en oorwegings verstaan hy en ander bloot net
sielkundige eienskappe, identifiseerbare persoonlikheids-, temperaments- of
karaktereienskappe. Hulle ignoreer egter die baie belangriker en onontwykbare
logiese “subjektiwiteit” waarsonder sodanige evaluasie onmoontlik is.
Nöthling Slabbert (2009:52), in navolging van Lyotard en Gadamer, onderstreep
die belangrikheid van prefigurasie, soos Lyotard (in Slabbert 2009:52) dit
genoem het: "[O]ur institutionalised idioms, or verification procedures are
constantly pre-establishing the realities whose truth we then assert." Prefigurasie
is veelfasettig en behels ’n algemene aspek soos die gebruik van taal en logiese
reëls, maar is ook gebou deur persoonlike ervaringe, sodat die besondere
145
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
struktuur en inhoud daarvan van persoon tot persoon verskil. Ervaringe soos
onderwys en opvoeding, lewenservaringe, ’n geïnternaliseerde waardestelsel,
sosiale status en funksionering, om maar net ’n paar vormende faktore te noem,
funksioneer as "geïnstitusionaliseerde idioom" of dan ’n raamwerk met behulp
waarvan daar van ’n realiteit, ’n persoon (en dus keurders) en iets soos ’n teks
(as teks herken en benader) sprake kan wees.
Dit is maklik om te sien dat tekste verskillende interpretasies kan verkry, en
verskillende indrukke kan laat op verskillende persone, en dat dieselfde teks
verskillend beoordeel sal word kragtens die verskillende raamwerke waarmee dit
gelees word. Een so ’n belangrike aspek van die konteks waarmee ons nou besig
is, is die keurder se kennisopvatting. Die keurder moet ’n teks as ’n bydrae tot
ons kennis beoordeel. Dit moet dus eerstens as ’n teks oor kennis gesien word,
maar dit veronderstel die begrip kennis en dus ’n hele familie begrippe waarbinne
kennis sy plek kry. Dit veronderstel taal en taalgebruik, wat weer ’n hele
dialektiek tussen subjek en wêreld veronderstel waarbinne ook iets soos mag ’n
plek het.
Foucault se werk, wat deurgaans met kennis te make het, gee ons ’n
geskakeerde beeld van hoe kennisprefigurasies werk. In ’n oorsigtelike stuk wat
hy ter ondersteuning van sy kandidatuur aan die Collège de France opgestel het
(aangehaal deur Macey 1993:94), sê hy:
In Histoire de la folie à l'âge classique, I wished to determine what could
be known about mental illness in a given epoch [...]. An object took shape
for me: the knowledge invested in complex systems and institutions. And
the method became imperative: rather than perusing [...] only the library
of scientific books, it was necessary to consult a body of archives
comprising decrees, rules, hospital and prison registers, and acts of
jurisprudence. It was in the Arsenal or the Archives Nationales that I
undertook the analysis of a knowledge whose visible body is neither
scientific nor theoretical discourse, nor literature, but a daily and regulated
practice.
Gewoonlik kry keurders wat ’n stuk kennis moet beoordeel, nie konseptuele
leiding nie; daar word aangeneem dat almal weet wat kennis is en wat ’n bydrae
tot kennis is. Maar kennis is ’n polimorfe begrip en kennisbeskouings verskil,
byvoorbeeld ’n positivis s’n (sintuiglik geverifieerde feite) en ’n belydende
Christen s’n (wat vir geloofskennis voorsiening maak), of geverifieerde teenoor
ongefalsifiseerde kennisaansprake. Gevoeligheid vir sistematiese foute soos
kategoriefoute, verwarring van begrondingswyses, wanneer dit gaan oor
uitlatings as stukkies kennis, kan ook verskil. Die "geïnstitusionaliseerde idioom"
van elke keurder kan nie anders as ’n rol speel by beoordeling nie – dit is die
persoon wat hy of sy is. Die "geïnstitusionaliseerde idioom" van ’n persoon laat
hom volledig geld by die beoordeling van ’n teks, maar die bestaan hiervan, en
die inspeel op intellektuele bedrywighede, word dikwels vergeet of verpak as
bekommernis oor die onbetroubaarheid van beoordelings. As raamwerke so
belangrik is by die beoordeling van tekste, hoeveel te meer geld dit nie by die
beoordeling van wetenskaplikes self nie.
Soos gesê, is dit nodeloos om hierdie sogenoemde "ideologiese kontaminasies" of
"vooroordele" te probeer uitskakel en "objektiwiteit" te bepleit. Dit is ’n deel van
subjek-wees – ’n taal is ’n vereiste vir subjek-wees, en dit is om die werklikheid
met daardie taal te vorm en te beskryf, met daardie taal te dink. Verder behoort
elkeen aan ’n bepaalde kultuur en gemeenskap, en deel dus ’n werklikheidsiening
en ’n waardestelsel. Slegs ’n subjek kan ’n beoordelaar wees en dit beteken die
146
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
subjek moet met sy of haar subjektiwiteit aanvaar word. Allerlei voorskrifte, en
selfs die gebruik van vraelyste om objektiwiteit te verseker, moet verstaan en
geïnterpreteer word, moet dus by die wêreld van die evalueerder geïntegreer
word. Die waarnemende, singewende, konseptualiserende, waarderende subjek
bly ’n voorwaarde:
[I]t becomes clear that it is through him or her and his or her
prefigurations that the means and ends of evaluation acquire their actual
significance and meaning [...] [T]he problems of bias, prejudice and abuse
of power “lie closer to home – in us, in our prefigurations”. (Nöthling
Slabbert 2009:53)
Kortom, dit is logies onmoontlik om die invloed van sogenoemde subjektiewe
aspekte totaal uit evaluerings te weer; evaluering vereis ’n subjek en ’n subjek
word daargestel deur sinmakende, werklikheidsvormende en organiserende
aspekte wat die onvermybare raamwerk uitmaak waarin en waardeur evaluering
moet geskied. Dit dui op ’n probleem vir die ewekniebeoordelingstelsel wat die
onbereikbare objektivisme as paradigma veronderstel.
Prefigurasie skakel ewekniebeoordeling nie noodwendig uit nie; slegs ’n sekere
vorm daarvan, of dan ’n vooringenome idee oor die werking daarvan. Voorts
verklaar prefigurasie verskynsels in verband daarmee wat objektiwiteitsjagters
benoud maak: die onbetroubaarheid van ewekniebeoordeling; dieselfde besware
teen ’n artikel met verskillende aanbevelings oor publiseerbaarheid; die rol wat
die inhoud en toonaard van bevindinge by die beoordeling daarvan speel; en so
meer. Ewekniebeoordeling, soos dit voorgestel word, is weersprekend.
Maak ons egter voorsiening vir die prefigurasie-verskynsel, moet ons ook heel
anders oor goeie wetenskap en die evaluering daarvan begin dink. Geen wonder
nie dat Lamont (2009:156–7) na haar ondersoek oor akademiese beoordeling
besluit: "[P]anelists' comments and observations show that the act of evaluating
is an eminently interactional and emotional undertaking, rather than a cognitive
process corrupted by extra-cognitive factors."
5.4.2 "Swak wetenskap"
Ewekniebeoordeling en die plek wat daaraan in wetenskapsbeoefening gegee
word, berus op ’n aantal aanvaardings. Een is dat daar net een rede vir publikasie
is: om die betrokke wetenskap uit te bou, die grense te versit. Maar die
beoefening van goeie wetenskap vereis meer as kennisuitbreiding: herinnering
aan wat uit die oog verloor is; die lê van nuwe verbande en blootlê van strukture;
konsolidasie en koersbepaling. Die aanname is dan dat ewekniebeoordeling as
hekwagter slegs publikasies wat in hierdie sin wetenskapsuitbreidend is, sal
deurlaat – wat nie so eenvoudig is nie. Soos reeds gesê, is ewekniebeoordeling ’n
laat twintigste-eeuse verskynsel; aanvanklike wetenskaplike ontwikkeling het
daarsonder geskied, en in ons eie tyd is nuwe bevindings gemaak en rigtings
ingeslaan deur publikasies wat nie deur die ewekniebeoordelingsproses is nie.
Ewekniebeoordeling as waarborg vir goeie wetenskap is nie noodsaaklik nie.
Ewekniebeoordeling as waarborg vir goeie wetenskap maak van die onderskeid
tussen goeie en swak wetenskap ’n aprioriese gegewe – goeie wetenskap bestaan
as sodanig en is direk kenbaar – in plaas van ’n sosiale konstruksie.
As sodanig ontwikkel wetenskap nie langs vaste lyne nie, wat meebring dat
"vreemde" idees mettertyd opgeneem en vanselfsprekendhede gediskrediteer kan
word. "Slegte wetenskap" kan nie apriories uitgeken en geweer word nie.
Sieninge wat eers "vreemd" voorgekom het, maak vandag deel uit van die kanon:
147
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
die ronde aarde, bloedsomloop, kieme en aërodinamika. ’n Aprioriese kategorie
"swak wetenskap" sou hierdie en vele ander ontdekkinge laat sneuwel het. Die
terugval op "gebrekkige metodologie", het ons vroeër gesien, is in baie gevalle
maar ’n rookskerm; metodes het ook nie blywende en absolute waarde nie.
Wetenskap ontwikkel in draaie en swaaie – soms via afdraaipaaie en deur
doodloopstrate. Die ontdekkingsproses kom deur probeer en tref; dit gaan nie om
blootlegging van iets wat kant en klaar is nie. ’n Keurder bevind hom/haar in ’n
moeilike posisie as hy/sy "nuwe idees" en die ontginning van nuwe terrein moet
evalueer met die verwagting dat ’n fout uitgesluit is, dit nuwe kennis behels –
daar is nie ’n onderskeidingsteken op geplak of gestempel nie. Dikwels het die
"goeie wetenskap" van ’n tydperk meer met sosiale strukture, propaganda en
historiese omstandighede as met die wetenskap self te make. Die hekwagtersrol
van keurders lê baie beperkinge en voorwaardes op; van waarborge kan min
sprake wees.
5.4.3 Beoordeling: ’n verlengstuk van vakkundigheid?
’n Groot aantal van die kommentators in die Cicchetti-artikel stel die opleiding
van keurders voor as ’n oplossing vir die geïdentifiseerde beoordelaarsprobleme.
Ongelukkig stippel hulle nie uit waarom dit ’n oplossing sou bied en wat sodanige
opleiding behoort te behels nie. Laasgenoemde aanbeveling sluit egter kritiek op
ewekniebeoordeling in, aangesien dit suggereer dat vakkenners nie outomaties
bevoeg is om as vakbeoordelaars op te tree nie.
Gewoonweg word aanvaar dat vakkundige opleiding as sodanig en vakkundige
status ’n persoon in staat stel om ’n stuk navorsing of ’n navorsingsvoorstel te
beoordeel. Maar stel vakkennis en -vaardighede wat tydens gewone opleiding
verwerf is, ’n persoon outomaties in staat om vakverwante werk te beoordeel?
Wat behels dit om vakkundige werk te beoordeel, om die kwaliteit daarvan te
bepaal? Kan kwalitatiewe beoordeling tot die besit van vakkennis gereduseer
word? Om ’n goeie rugbykeurder of skeidsregter te wees, vereis meer as ’n
kennis van die reëls van die spel, selfs ook meer as om die spel self goed te kon
speel. Desgelyks is vakkennis nodig, maar onvoldoende om nuwe ontdekkinge,
vernuwende pogings, nuwe kennis, tegnieke en metodes korrek te beoordeel.
Wanneer vakopleiding gedoen word, gaan dit om die vakinhoudelike; die toeeiening van die bestaande kennis en vaardighede oor ’n betreklik breë spektrum
van wat as fisika, biologie, geskiedenis of wat ook al beskou word. Saam met
hierdie vakinhoudelike word heelwat ander inhoude betrek. Die opleiding geskied
deur middel van ’n taal, en die formulering van vakkundige gedagtes is baie
belangrik vir beide dosent en student, maar die taal kry nie as sodanig aandag
nie; vakterminologie word gedefinieer en dan gebruik en verder word die taal
gewoonweg gebruik. ’n Heel pragmatiese houding word hieroor ingeneem. So
vereis die aanbieding van die stof dikwels argumentasie of die argumentatiewe
vorm; gevolgtrekkings word gemaak, sekere dinge word bevind of gereproduseer
en daaruit word afleidings gemaak. Weer eens word argumentasie veronderstel;
word aangeneem dat studente kan redeneer, maar daar word nie hierop ingegaan
soos die logikus sou doen nie. Selfs metodes ressorteer hieronder. Vakonderrig is
nie moontlik sonder dat metodes gebruik en sekeres bespreek word nie, maar die
benadering is weer pragmaties en nie toegespits op die metodes as sodanig nie.
So is daar nog talle ander aspekte wat op die periferie van vakopleiding lê.
Daarsonder is vakopleiding nie moontlik nie, maar hierdie dinge word
veronderstel en maak nie deel van vakkundige opleiding uit nie. Polanyi (in Smith
2003) se idee van "tacit knowledge" vat saam wat hier aan die gang is.
148
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
Kyk ons egter na navorsing, en veral die beoordeling van navorsingsprodukte,
verander die prentjie. Wat nie aandag gekry het in opleiding nie, raak nou
belangrik. Probleemformulering, dataversameling en -ordening, argumentering en
afleiding, taal en aanbiedingswyse, om ’n paar fasette te noem, verkry as sodanig
belang. Navorsing of ’n beursaansoek kan misluk as die probleemformulering nie
na wense is nie. Afleidings moet geldig wees, aan die eise van logiese
argumentasie beantwoord, en so meer. In navorsingspublikasies geld dieselfde.
Die perifere faktore kom nou saam met vakkundigheid onder die vergrootglas. Dit
beteken dat die aanname dat vakkundigheid genoeg is om ook hierdie ander
kennisinhoude te hanteer, dat vakkundigheid as sodanig genoeg is om as
beoordelaar van vakkundige produkte op te tree, nie kan steek hou nie. Meer is
nodig.
Beoordelaars is betrokke by dissiplines en wat ’n dissipline behels, het te make
met metodologiese kwessies en dispute; met ander woorde, daar is ten minste
refleksie oor vakinhoude nodig. Hierdie reflektiewe of hoërordedenke vereis
verdere vorming bo en behalwe vakkundige vorming. Dan is andersoortige kennis
en ook ander gesindhede en ’n ander benadering nodig.
Die geloof dat genoegsame kundigheid en bedrewenheid vir die hantering van
hierdie versweë aspekte algaande met die bemeestering van die vakkennis verkry
word, of dan sommer afskuur vir gebruik in situasies soos beoordeling van ander
se werk, is nie gegrond nie. Wat gebeur, is dat aannames van dosente en/of
ander vakkundiges wie se mening gerespekteer word, dogmaties gekontinueer en
dan bloot as verdere "feite" beskou word. Kortom, ’n vakkenner mag die
vakinhoudelike bemeester het en daarmee saam heelwat ander inligting
geabsorbeer en vermoëns geslyp het, maar dit maak hom of haar nie outomaties
’n bekwame beoordelaar van alles in en rondom daardie vak nie.
Opleiding vind grootliks binne ’n sekere teoretiese raamwerk plaas. Ander
moontlikhede met verskillende begrips- en verklaringsraamwerke, ander
interpretasies en werkswyses, tesame met die besware teen die gekose
raamwerk, kry nie aandag nie. Hierdie aspekte is egter ter sake by beoordeling
en die gesprek oor goeie wetenskap. Dat beoordeling nie bloot die toepassing van
vakkennis is nie, word duidelik as ons byvoorbeeld in gedagte hou dat
beoordeling altyd beoordelingskriteria veronderstel. Hierdie kriteria, wat verander
namate die doelstellings en konteks van beoordeling verander, word nie pasklaar
met vakopleiding verkry nie. Dit moet algaande geïdentifiseer word – en dit hang
saam met die stekelrige begrip van “goeie wetenskap”. Kriteria moet verder
geformuleer en regverdig word. Waar verskillende kriteria ’n rol speel, moet hulle
geprioritiseer en korrek toegepas word. Dit alles vereis vakkennis, maar ook
refleksie oor die vakkennis, die gebruik of toepassing daarvan en die inpassing in
wyer en ander kontekste, en nog meer.
Die probleme wat Cicchetti noem, kan met verwysing na die voorgaande verklaar
word. Op grond van dieselfde kritiek beveel een keurder publikasie en die ander
afwysing aan omdat hulle verskillende gewigte aan hulle kritiek toeken, kriteria
verskillend prioritiseer, ensovoorts. Goeie wetenskap is egter hier in die gedrang,
want die besondere kriterium wat aangelê is, mag oor iets essensieels gaan
terwyl een keurder dit as toevallig sien. Hierdie dien as bevestiging van die kritiek
dat beoordeling nie bloot ’n verlengstuk van vakkundigheid kan wees nie.
Beoordeling vereis vakkennis, maar baie meer: ander kennis en vaardighede, ’n
ander perspektief of ingesteldheid, en ’n ander houding. Dit is ’n ander vorm van
wetenskapsbeoefening as gewone betrokkenheid by gewone wetenskaplike
bedrywighede. Die private en geheimsinnige wyse waarop ewekniebeoordeling,
149
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
veral in die geval van manuskripte vir publikasie, geskied, hou nie rekening met
hierdie ander vereistes nie. Die positiewe invloed wat dit op beoordeling sou kon
hê as beoordelaarsverslae deel kon wees van openbare debat, en ander uit
suksesse en foute van beoordelaars sou kon leer, word negeer, en sowel die
opleidingswaarde as die vormende invloed wat dit op wetenskaplike denke kan
hê, bly onontgin.
5.4.4 Wetenskaplike konserwatisme
Aansluitend by die voorgaande is Harrison (2004:360) se verwysing na ’n nóg
ernstiger tekortkoming belangrik, naamlik die geneigdheid tot intellektuele
konserwatisme by keurders. Frey (2003) praat van die vashou aan, of selfs die
uitbou van, dominante paradigmas in plaas van om bestaande denkwyses uit te
daag. Dit gaan dus om die uitbou van vertroude maniere van dink, binne bekende
grense en volgens erkende metodes, soos in die geval van die reeds genoemde
verwerping van die STM-artikel. Harrison (2004:360) verwys na R.B. Norgaard, ’n
progressief-denkende ekologiese ekonoom, wie se artikels aanhoudend deur
leidende ekonomietydskrifte afgekeur is. Aanvaarding elders het getoon dat die
keurders, leidende ekonome, nie die uitdaging van hulle paradigma deur sy nuwe
insigte kon verwerk nie. Harrison noem ’n hele aantal artikels wat aanvanklik op
grond van ewekniebeoordeling afgekeur is, wat die outeurs elders onveranderd of
met slegs geringe veranderinge gepubliseer het, en wat rigtinggewend op hulle
gebied geword het. Die ekonome Gary Becker en George Akerlof se Nobelprysartikel is eers so weggewys; Robert May se artikel oor chaos is deur Econometrica
afgekeur, maar in effens gewysigde vorm as ’n “Comment” in Nature gepubliseer,
waarna dit een van die mees aangehaalde artikels oor chaos geword het. Chemieprofessor Kerry Mullis se werk oor die “polimerasiese” kettingreaksie (PCR),
waarvoor hy die Nobelprys verwerf het, is deur sowel Nature as Science afgekeur.
Kenneth Arrow (aangehaal in Harrison 2004:360), ’n Nobel-pryswenner in
ekonomie, oordeel soos volg met verwysing na leidende ekonomietydskrifte –
maar dit kan heel moontlik vir die meerderheid tydskrifte geld: "[T]he publication
selection procedure [...] has become methodically more conservative, more given
to preferring small wrinkles in existing analysis to genuinely new ideas."11
Campanario (2009) het met sy studie van Nobelpryswenner-artikels wat eers
afgewys is, hierdie punt nog duideliker gemaak. Nöthling Slabbert (2009:47)
verwys na die Bodenverslag in die Verenigde Koninkryk (Peer review: A report to
the advisory board for the research councils from the working group on peer
review, 1990), wat ook aandui dat ewekniebeoordeling nie daarin slaag om die
onortodokse, radikale of grensdeurbrekende navorsing te akkommodeer nie
omdat dit neig na konserwatisme en die bestendiging van bestaande idees.
Kortom, ewekniebeoordeling huisves ’n ingeboude konserwatisme wat in die pad
staan van ’n belangrike doelstelling van goeie wetenskap, nuwe ontdekkings en
insigte.
5.4.5 Inter- of transdissiplinariteit kom in die gedrang
’n Ou debat in die Engelse wêreld, die "forms of knowledge"-debat in die 1970’s,
het duidelik onderstreep dat dissiplines nie as logiese entiteite hanteer kan word
nie (Hindess 1972). In die woorde van Sinaceur (1977:2)12: "Thus, what limits a
particular discipline is not a substantive frontier but an axiom, that is to say a set
of terms and a set of finitudes which define not only the initial data but also the
modalities of operation." Met ander woorde, dit is ’n keuse, ’n sosiale konstruksie,
nie ’n gegewe nie. Keurders moet dus hulle eie dissipline-idees kan opskort
wanneer hulle ander se werk beoordeel, wat selde gebeur (vgl. McIntosh
1979:80). Redakteurs en befondsingsliggame stuur manuskripte na keurders
150
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
sonder inagneming van hoe hulle vakgrense trek en hoe ernstig hulle daaroor is –
dit gaan slegs om spesialiteit. Daar word aangeneem almal werk met min of meer
dieselfde siening van die onderhawige dissipline, maar om met vakkonserwatisme
alleen, in plaas van die meriete van die teks, te werk, kan die rede vir die
afkeuring daarvan wees. Dit gaan dus hier oor die keurder se siening (uitgestippel
of latent) van die plek en rol van dissiplinêre grense in goeie wetenskap of goeie
wetenskapsbeoefening. Dit wys onmiddellik hoe uitgelewer interdissiplinêre werk
in die keuringsproses is. So ’n artikel kan vasval in beide vakkonserwatisme en ’n
onvermoë om oor sowel beide vorme van inligting as die integrasie daarvan te
oordeel.
Met
interdissiplinariteit
wat
’n
belangrike
faset
van
wetenskapsbeoefening is (trouens dit was van die begin af ’n deel van
wetenskaplike ontwikkeling – Galileo se revolusie was interdissiplinêr: wiskunde
en fisika), en veral by die uitbreiding van wetenskappe, is dit ’n ernstige
probleem. Nöthling Slabbert (2009:43) maak die volgende uitspraak na
aanleiding van wat sy ten opsigte van verskeie Europese navorsingsinrigtings en
universiteite opgemerk het:
Traditional research which is grounded on a disciplinary structure, based
on the established research conventions ruled by scientific academic
communities, is in the process of gradually being dominated by a different,
transdisciplinary research mode which is carried out in the context of
knowledge application, the latter set to become the leading research
model.
Hiermee bevestig sy wat Sinaceur reeds in 1977 gesê het by besinning oor
interdissiplinariteit na voltooiing van ’n oorsig oor Main trends of research in the
social and human sciences: "Is it not then paradoxical that this century of
limitations of knowledge and theories of limits is witnessing the development of
sciences beyond the frontiers of each particular branch of science, of
interdisciplinary sciences?"(Sinaceur 1977:2). Sinaceur (1977:3) beklemtoon dat
ingeligte besluite (dus toepassings) die kern van interdissiplinêre navorsing
uitmaak, ’n stadium wat volgens Gibbons e.a. (1994) reeds deur veral die natuuren die sogenaamde toegepaste wetenskappe betree is. Transdissiplinariteit is
volgens hulle tans die wyse waarop tot nuwe kennis gekom word, en hierdie
nuwe konteks wat vir ewekniebeoordeling ontstaan het, gee aanleiding tot ’n paar
ernstige vrae, soos Pouris (Nöthling Slabbert 2009:46) bewys met sy betoog dat
ewekniebeoordeling oneffektief blyk te wees by die beoordeling van
interdissiplinêre navorsing. Dit as sodanig is kommerwekkend. Maar, verder, hoe
moet redakteurs ’n deskundige, ’n spesialis, nou konsipieer? Dit is duidelik dat
gewone vakkenners tematiese, metodologiese, selfs logiese probleme met
interdissiplinêre werk sal ondervind. Wie is die eweknieë wat dit moet beoordeel?
Hoort sodanige inter- of transdissiplinêre navorsing (as dit keuring oorleef) in ’n
dissiplinegerigte tydskrif? Foucault se werk toon die dilemmas hier. Sy
benadering is breedweg histories, maar sy belangstelling is nie dié van ’n
historikus nie; hy wil die ontwikkeling van ’n ideëweb wat ’n sosiale praktyk
onderlê, blootlê; dus filosofies, maar ook nie, en sosiologies, maar ook nie
heeltemal nie – hy poog om die dimensie van sosiale beheer, mag, saam met
kennis, bloot te lê. Sy benadering is nie die gewone epistemologiese
belangstelling en werkwyse nie. Lloyd (1986:24) voer aan:
[O]ne of the most distinguished and sophisticated practitioners of the
history of ideas and institutions [turned] his attention to [...] a(nother)
fundamental issue in the development of modern European sensibility.
[...] [T]he investigation involved not just the analysis of the changes and
interplay of concepts, but more the analysis of the institutions which gave
these concepts concrete expression. [...] While the starting point [...] may
151
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
look easily recognizable as a possible topic for conventional historical
study, whether in the history of institutions or in that of ideas, in each
case Foucault transformed the problem, notably by insisting on the
complex interrelations of the manifestations of power, on the one hand,
and knowledge, on the other.
Foucault laat blyk dat interdissiplinariteit meer behels as twee soorte feite wat
ingebind word. Die nuwe kyk na en begryp van sake vereis nuwe metodes wat
algaande verander en verfyn word. Wanneer hy (of ander beoefenaars van
interdissiplinariteit) gereed is om navorsing te publiseer, is daar niemand anders
wat met gesag daaroor kan oordeel nie. Waar interdissiplinariteit steeds
belangriker in hedendaagse navorsing raak, kom ewekniebeoordeling onder kwaai
druk. Bevoegde kenners wat ’n gebalanseerde, kundige opinie kan uitspreek, is
dun gesaai. Baie filosowe was negatief oor Foucault en nie bereid om sy bydrae
as filosofies te erken nie. Maar vandag is daar min wat nie dankbaar is vir sy
bydrae nie. Dit is die geval met die meeste interdissiplinêre projekte. Inter- en
transdissiplinariteit kan nie opgeoffer word omdat dit nie ’n goeie bedmaat
uitmaak vir ’n oorgelewerde stelsel van keuring van navorsing nie.
5.4.6 Die metingsmodel is onvanpas
Die kritiek van alle kante op die ewekniebeoordelingstelsel bring ons niks verder
nie, omdat die bedenkinge nie by die kernvraag uitkom van waarom die stelsel
soos tans gebruik, blykbaar nie kán slaag nie. Sowel keurders as gebruikers van
hulle verslae het verwagtings van die stelsel wat nie daarby pas nie;
kwaliteitsbepaling word oor die boeg gegooi van die chemiese weegskaal – die
uitkoms ’n presiese meting van inherente kwaliteit. Die breër raamwerk is die
Cartesiaanse soeke na sekerheid met die idee van ’n standaardmeetinstrument
en presiese lesings, want kritici kla oor ’n gebrek aan stellige uitsprake, vaste
fondamente, en selfs die stempel van outoriteit. Máár, wat ons ook al van
kwaliteit kan sê of nie sê nie, dit kan nie presies gemeet word nie; trouens hierdie
soort meting daarvan is buite orde. Ons kan ’n klip meet en weeg, maar ons nie
oor die kwaliteit daarvan uitspreek nie, want raak dit sy kwaliteit as bouklip, of as
ghoen vir giffie, of om ’n ligte voorwerp onder water te hou, of as ’n snyklip? En
hierdie voorbeelde put nie die moontlikhede uit nie. Om die kwaliteit van ’n stuk
navorsingswerk te bepaal is baie kompleks; dit vereis kennisname van ’n breë,
vervlegde, ingewikkelde konteks wat uiteenlopende aspekte insluit: dissipline,
metodologiese, navorsings-, sosiale en allerlei waarde-oorwegings, om maar
enkeles te noem. As dit ook nog gaan om ’n nuwe ontdekking, kom die
ingewikkelde netwerk oorwegings wat met besinning oor en integrasie van die
nuwe te make het, ook in die prentjie.
Wat hier betoog word, het ook betrekking op ’n ander soort kwaliteitsbepaling as
die een wat gegrond is op die meetmodel. Die bibliometriese meetmodel, veral
met betrekking tot aanhalingsontledings wat dan gesien word as
kwaliteitsbepaling van die aangehaalde bronne, en wat in sekere kringe so hoog
geag word, is aan dieselfde besware as wat hier uitgestippel is, onderhewig.
Lamont (2009, flapteks) kom tot die gevolgtrekking dat "judging isn't robotically
rational"; dit is ook emosioneel en sosiaal; "[M]ost academics' self-respect is
rooted in their ability to analyze complexity and recognize quality", maar dan bly
dit ’n debatteerbare besluit en die waarde van bespreking, debat, die stel en
oorweeg van argumente en teenargumente is onmisbaar om tot konsensus, wat
ook maar voorlopig is, te kom.
152
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
6. ’n Ekologie van ewekniebeoordeling
6.1 Die aard van die bronne
Hierdie betoog is ’n literatuurstudie en daarom is dit nodig om die bronne toe te
lig. Toe Rennie, ’n adjunkredakteur van die Journal of the American Medical
Association, in 1986 kritiese vrae oor ewekniebeoordeling begin vra het, was baie
min navorsing daaroor gedoen (Berger 2006). Volgens Berger (2006) is daar tot
die 1980's slegs een of twee artikels per jaar oor die onderwerp gepubliseer, wat
nou tot oor die 200 artikels per jaar gegroei het. Tydskrifartikels uit alle
vakgebiede maak ’n groot deel hiervan uit en toon dat die probleme orals min of
meer dieselfde is.
Die internet het as ’n belangrike, groeiende bron van relevante en bruikbare stof
ontpop met nuttige inligting in talle resente bydraes. Engber (2005:4) stel as ’n
verandering cum verbetering aan die beoordelingstelsel voor dat van "preprints"
op die web gebruik gemaak moet word "[to] let the community as a whole decide
which papers are the most useful". Die styl van internetartikels wissel. Daar is
reproduksies van publikasies, manuskripte vir publikasie en in daardie styl
geskryf, en ’n derde groep wat losser en meer informeel is – ’n vinnige manier
om ’n mening uit te spreek. Bydraes is gewoonlik goed beplan, goed beredeneer
en bruikbaar.
Daar is ’n dik stroom boeke oor ewekniebeoordeling. Deur na drie te verwys, kan
’n mens ’n prentjie gee van wat hier aan die gang is. Die tweede uitgawe van
Peer review in health sciences (2003) met Godlee en Jefferson as redakteurs, is
’n uitstekende oorsigtelike bron. Die inleiding en 24 artikels gee ’n indruk van die
geskiedenis van die stelsel, die probleme met, die voordele van en bekendste
besware teen die stelsel, ’n samevatting van die stand van sake op die terrein
van besinning en navorsing daaroor, en ’n toekomsblik. Dit is seker ook die beste
bron met verwysing na ander bronne, want elke bydrae bevat ’n uitgebreide
bibliografie.
’n Onlangse toevoeging, Lamont (2009), is in die woorde van resensent Scott
Jaschik (2009:1) ’n poging om akademiese uitnemendheid te verstaan deur die
stelsel waardeur uitnemendheid beloon word, te bekyk. Sy het ’n aantal sittings
van interdissiplinêre ewekniebeoordelingspanele bygewoon en die besluite
nagegaan en ontleed. Sy het vrye toegang tot alle inligtingsbronne gehad. Haar
verslag raak die kern van alle vorme van ewekniebeoordeling, want dit gaan
daarom om die gespook om akademiese kwaliteit of uitnemendheid te peil. Die
klem op die belang van bespreking en haar weergawes van die verloop van die
besprekings om konsensus te bereik is openbarend. Haar gevolgtrekking is dat
daar nie iets soos kwaliteit te vinde is nie; dit word toegeken op grond van die
voorhande positiewe eienskappe.
Steven Lock, ’n redakteur van ’n mediese tydskrif, se A difficult balance: Editorial
peer review in medicine het al in 1985 verskyn. Rennie (2003:4) noem die
verskyning daarvan ’n groot gebeurtenis wat die periode van rasionele ondersoek
van ewekniebeoordeling help inlei het – "[a] ground breaking book on peer
review". Daarin vra Lock of ewekniebeoordeling, gegee al die bewese
153
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
tekortkomings
verbeter.
daarvan,
werklik
die
gehalte
van
gepubliseerde
navorsing
6.2 Posisies en kwessies in die debat oor die betroubaarheid
van die stelsel
Alhoewel ewekniebeoordeling gebruik word asof dit onbetwisbaar in die saal sit,
het ons gesien dat ’n groot en groeiende korpus kritiese materiaal bestaan wat
uitwys dat dit onder andere vaag omlyn is, onbetroubaar is, nuwe idees demp,
opponente die swye oplê, afwykende idees afwys en werklik innoverende werk
ontmoedig. Desondanks is daar diegene wat onwrikbaar in die waarde daarvan
bly glo. In Suid-Afrikaanse beleidsdokumente waarna reeds verwys is, vind ons
niks wat van hierdie deurlopende debat getuig nie; bloot aanvaarding en selfs
uitbouing daarvan asof dit ’n natuurlike gegewe is.
Die debat sentreer deels om die tekortkominge van die stelsel. Dit vra na die
kritiek, waarom tekortkominge as sodanig ervaar word, hoe om die
tekortkominge te verstaan, en of iets daaromtrent gedoen moet of kan word. Die
dilemma is die besef van die ontoereikendheid van ewekniebeoordeling teenoor ’n
besorgdheid oor gehalte-"kontrole" wat as noodsaaklik veronderstel word.
Belangrike insette kom van formele empiriese studies wat tekortkominge duidelik
uitwys en situeer en verklarings bied. Nie almal sien hierdie bevindings as
verdoemend nie, en selfs teenoorgestelde posisies word hieroor ingeneem – wat
ook gebeur met die uitwys en debatteer van verskillende soorte foute en
tekortkominge in manuskripte wat keurders deurgelaat het. ’n Vraag is hoe ver
die verantwoordelikheid van keurders strek en hoe hierdie "glipse" die
aanvaarbaarheid van ewekniebeoordeling raak. Afwysings kry dus baie aandag,
veral van innoverende werk wat in die slag bly tot die publikasieproses (meerdere
indienings en herindiening elders). Die opsies vir outeurs wie se werk afgekeur is,
word ook oorweeg – hantering van klagtes, die moontlikhede van appèlle en die
aanstelling van ’n ombudsman.
Morele kwessie is nie uitgesluit nie. Enersyds geld as probleme gebrekkige
moraliteit en werksetiek van keurders, soos voortrekkery, diskriminasie en
onregverdigheid. Andersyds is daar die dilemma om ewekniebeoordeling te behou
sonder om intellektuele regte in gevaar te stel. Vertroulikheid en blinde
beoordeling is onder die loep. Mediese tydskrifte het hier ’n besondere probleem,
maar die probleem strek wyer, omdat ontdekkings en immateriële-goedere-reg
oral kan figureer. Nie alleen is dit problematies om stof waarin ontdekkings en
soortgelyke prestasies openbaar word, voor publikasie aan vreemdelinge voor te
lê nie, maar buite-instansies kan om verskillende redes, byvoorbeeld in die geval
van hofsake, toegang tot keurdersverslae eis. Die vraag is of dit beskikbaar
gestel mag word al dan nie. Die tema is hier nie van direkte belang nie, behalwe
dat dit dui op die wye erkenning van ewekniebeoordeling, en op die
vertrouensposisie van keurders. Hierdie aspek sal ook in gedagte gehou moet
word by die hersiening of vervanging van ewekniebeoordeling.
’n Ander deel van die debat is meer prinsipieel gerig en handel oor goeie
wetenskap en die rol wat ewekniebeoordeling daarin speel. ’n Kenmerk van die
bespreking is die beperkte agtergrond waarteen dit gevoer word. Die fokus bly op
evaluering as sodanig. Die aannames waarop die stelsel berus en die volle
konteks van goeie wetenskap waarbinne dit funksioneer, en wat dus opvattings
oor wêreld en wetenskap insluit, word nie betrek nie.
154
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
Dit is opmerklik dat, op enkele uitsonderings na, die afskaffing of selfs drastiese
wysiging van die keuringstelsel nie bepleit word nie, ten spyte van die erkenning
van tekortkominge. Die groot bepaler hier is die wetenskapsbeeld, en as ’n
onderdeel daarvan ’n siening van kwaliteit. Die debat oor verandering al dan nie
wentel dan om die kwessie van kwaliteit. "Hervormers" van die stelsel benader
gehalte as ’n kenmerk wat nie ’n inherente gegewe is nie, maar ’n konstruksie;
’n publikasie of ’n projekvoorstel is dus op verskillende maniere en om
verskillende redes vir verskillende mense van belang. Dus, hoe oper die
publikasie- en keuringsbeleid, hoe beter word goeie wetenskap gedien. Die vrye
vloei van inligting is hier belangrik en word uitstekend deur die nuwe tegnologie
gedien.
Die “behoudendes” redeneer dat wetenskaplike bydraes inherent kwalitatief
verskil en dat net die beste gepubliseer en beloon behoort te word.
Kwaliteitskontrole is dus nodig, wat een of meer kontrolestelsels vereis.
Ewekniebeoordeling is, ten spyte van tekortkominge, die bevredigendste
beskikbare ontwerp. Die behoudendheid vertoon twee gedaantes: enersyds, ’n
pragmatiese benadering – ten spyte van besware word aangeneem dat keuring
doen wat dit veronderstel is om te doen, en die beste beskikbare stelsel is; dit
gee die beste uitdrukking aan die kollektiewe wetenskaplike geheue.
Andersyds verdedig heelwat voorstanders die stelsel vanuit een of ander beginsel
of kernwaarde waartoe ewekniebeoordeling ’n besondere bydrae lewer wat
besware daarteen oorskadu: kwaliteit; die soeke na waarheid; die uitfiltreer van
die beste; hulp aan outeurs; die plurale gesprek; debatvoering. Om te verseker
dat die erkende toetsprosedures gevolg word, vereis volgens die voorstanders
van hierdie posisie die oordeel van ’n vakkenner, en dit maak die stelsel die
enigste moontlike hekwagter om gehaltenavorsing en wetenskaplike uitsette te
verseker. ’n Mens sou kon vra of so ’n stelsel nie insette uit ’n wyer omgewing as
net van vakkenners benodig nie. In plaas van ’n verandering of vervanging van
die stelsel vra behoudendes "verbetering", dus opleiding, van keurders.
’n Kwessie wat nie aandag kry nie, is die sukses wat die stelsel wel behaal.
Ongeag die kritiek, verskyn talle goeie, gekeurde artikels voortdurend in talle
erkende, ewekniebeoordeelde tydskrifte wat ’n goeie standaard handhaaf. Hoe
moet ons hierdie suksesse verklaar? Sommige (vgl. Bailer, Eckberg en Kraemer
se kommentaar op Cichetti 1991:136,144,152) argumenteer dat verskille tussen
keurders presies is wat verwag moet word, terwyl dit vir ander soos die
demokrasie is: vol foute, maar nog die beste wat ons het. Daar is egter geen
poging om te probeer verklaar hoe ’n stelsel met soveel gebreke tóg nog so ’n
mate van sukses behaal nie. Los opmerkings hieroor, soos dat dit ’n vorm van
deskundige opinie is, is volop, maar daar is geen sistematiese poging tot
verklaring nie. Waar wel in dié rigting beweeg word, word die verklaring juis in
die wyer konteks gesoek, soos ons voorstel. Smith (2003:329) merk op dat dit
moeilik sal wees om ’n alternatiewe stelsel te bedink wat glad nie ’n element van
ewekniebeoordeling bevat nie. Odlyzko (2003:309) wys daarop dat
ewekniebeoordeling eintlik net die eerste fase van ’n voortdurende proses van
kundige gedagtewisseling en waardebepaling is.
6.3 Ewekniebeoordeling en goeie wetenskap
Ewekniebeoordeling het as doel goeie wetenskap. Goeie wetenskap vereis goeie
navorsing en die bekendstelling daarvan, maar navorsing kan ook goeie
wetenskap op baie wyses pootjie. Dus is bespreking/kritiek/beoordeling/kontrole
nodig oor sake soos navorsingsraamwerk, -teorie en -prosedures, die egtheid van
die nuwe kennis – inpassing by ’n epistemologiese raamwerk, ’n metodologiese
155
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
opset, en die praktyk van wetenskapsbeoefening – en uiteindelik die
bekendstelling van die navorsing. Navorsers het hul eeue lank verlaat op
intelligente gemeenskappe waarvan hulle deel was vir kritiese insette en
aanbevelings oor publikasie, byvoorbeeld aan ’n universiteit en/of selfgeselekteer
uit vriende en kennisse op die bepaalde gebied. Ná publikasie was dit veral
opponente wat die waarde van die bydrae getoets het. Debatvoering was toe
lewensbelangrik vir die ernstige denker en wetenskaplike, en in werke van ’n
klompie dekades gelede is dikwels antwoorde aan kritici ingesluit.
Die vervanging van hierdie informele stelsel deur die stelsel van
ewekniebeoordeling is veral deur die uitbreiding van die tydskrifmark en die
toename in bydraes bewerkstellig, en ondersteun deur ’n verandering van
wetenskapsbeeld. Objektiwiteit is as opperste wetenskapswaarde geproklameer
en beoordeling moes dus ook objektief wees. Vakkundiges, so is geredeneer, sou
vanweë hulle vakkennis en erkenning van die wetenskaplike ideale, objektiewe
beoordeling die beste kon behartig. Die resultaat sou dan onbetwisbaar wees; die
uitkoms van ’n objektiewe weeg- of meetproses. Ons het gesien dat hierdie
model nie werk nie. Enersyds hou dit rekening nóg met die menslikheid van die
beoordelaars (dit is "fraught with cronyism and even bias" – Trower 1991:15),
nóg met die onmoontlikheid van die gestelde objektiwiteitsideaal en die
ontoepaslikheid van die weeg- of meetmodel van meriete.
Andersyds staan dit verleë voor die nuwe, en kan dit nie aan ontdekking en
vernuwing reg laat geskied nie. Gegee die aanvaarde raamwerk, kan dit eintlik
nie slaag as deel van goeie wetenskapsbeoefening nie. Die verontrustende is dat
die gebruik van die stelsel, ongeag al die kritiek, verder uitgebrei word: na die
beoordeling en gradering van navorsers. Al hierdie beoordelings word verder
toenemend operasionele hulpmiddels by aanstellings en bevorderings. Dus moes
die kritiek op die stelsel behoorlik uitgestippel en begrond word, maar wat nog?
Allerlei voorstelle ter verbetering van ewekniebeoordeling word gemaak. Meestal
wentel hierdie voorstelle om die opleiding van beoordelaars. Met die stelsel as
sodanig word dus nie fout gevind nie; net met die behoorlike uitvoering daarvan.
In die voorgaande is aangedui dat lapwerk aan die bedryf van die stelsel nie sal
help nie, omdat die stelsel self mankoliekig is; gegrond is op ’n ontoepaslike
model; en funksioneer op veronderstellinge wat dit ’n instrument maak wat
eerder kwaad as goed kan aanrig. Wat dus nodig is, is óf grondige rehabilitasie óf
iets anders in die plek daarvan.
Beide opsies vereis egter dat vanuit die breë konteks van goeie wetenskap
vertrek word; vanuit wetenskap as ’n menslike aktiwiteit gerig op kennis van,
insig in, en sinmaking van mens en wêreld. Dit beteken weer dat die rol van
wêreldbeelde, wetenskapsbeelde, kennisbeelde en mensbeelde in goeie
wetenskapsbeoefening verreken moet word, dat die plek en rol van die integrasie
van gegewens en die aard en rol van oorkoepelende verstaanspogings ’n plek
moet kry. Evaluering, die raaksien en uitlig van gehalte, uitnemendheid, moet
binne hierdie voller betekenis van wetenskap en wetenskapsbeoefening en die
besprekings daaroor geplaas word. Die flapteks van Bohm en Peat (1987)
verwoord ’n soortgelyke siening van wetenskap:
Science was born out of the awe men and women have long felt for the
universe and their place in it. [...] [T]wo of today's foremost scientific
thinkers [Bohm en Peat] contend that science has lost its bearings [...] in
favor of a narrow, abstracted, fragmented approach to nature and reality.
[...] [They] propose a return to greater creativity and communication in
156
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
the sciences. They ask for a renewed emphasis on ideas rather than
formulae, on the whole rather than fragments, on meaning rather than
mere mechanics.
Wetenskap en navorsing vind in ’n sosiale konteks plaas, waarin
samelewingsbehoeftes en -belangstellings en owerheidsienings figureer.
Ontwikkelingsdoelwitte en beplanning, ’n eie infrastruktuur met magte en
seggenskap, ’n gesentraliseerde benadering met ’n gesentraliseerde siening van
wat goeie wetenskap en goeie wetenskapsbeoefening behels, kom in die prentjie.
Hieraan sal eers aandag gegee moet word. ’n Kommerwekkende aspek hiervan is
dat, ondanks die probleme met en die besware teen ewekniebeoordeling, daar op
die Suid-Afrikaanse wetenskapstoneel ’n sentrale rol daaraan toegeken word
sonder verdere oorweging. Die NNS (2008:18) stel die volgende "investment
principles": "The principle of competitive funding will apply to all applicants" en
"We will adhere to merit-based rigorous peer review and rating of the research
outputs of individuals." In Report on a strategic approach to research publishing
in South Africa (2006) onderstreep die Academy of Science of South Africa
(ASSAf) by herhaling die belangrikheid wat hulle aan ewekniebeoordeling heg, en
verklaar(2006:5): "Assessing research quality in higher education institutions:
[...] to create valid criteria for research quality measurement at institutions, in
emphasising the centrality of peer-reviewed publication of research results [...]."
Kortom, steeds die siening dat ewekniebeoordeling dié waarborg vir goeie
wetenskap is.
Met hierdie artikel is die laaste kritiese woord onderweg na goeie wetenskap nog
nie gespreek nie. Die dokumente waarna so pas verwys is, en die siening van
goeie wetenskap daarin, moet ook indringend bekyk word. Daarna behoort ons,
met die insigte uit hierdie kritiese werk verkry, in die rigting van ’n meer
aanvaarbare beoordelingstelsel as ’n deel van goeie wetenskap te kan beweeg.
7. Die moontlikheid van ’n nuwe begin?
Dis een ding om ’n stelsel aan te val, maar ’n ander om iets anders in die plek
daarvan te stel. Kritiseer is nie gelyk aan vervang nie – dit kan bloot
bewusmaking van tekortkominge wees om die optrede wat gekritiseer word, op
te skerp. Terselfdertyd voel ons, in die lig van die gebreke van die
ewekniebeoordelingstelsel soos in hierdie artikel bespreek word, dat daar ernstig
aan ’n alternatief gedink moet word en nie bloot op kosmetiese veranderinge
gekonsentreer moet word nie, veral ter wille van goeie wetenskap. Uiteraard is
die prosesse betrokke by wetenskapwerk oneindig kompleks. Daar bestaan ’n
verskeidenheid subsisteme wat mekaar beïnvloed. Bowendien is daar nog die feit
dat enige stelsel wat van die mens afhanklik is, moeilik kontroleer- en
voorspelbaar is, ondanks die gretigheid van instellinge en administrateurs om te
kontroleer en te voorspel.
Ons alternatief vir die ewekniebeoordelingstelsel wat hier bespreek word, en wat
ons onvergenoegd laat, en waaraan (soos reeds gemeld) in ’n volgende artikel
breedvoerig aandag gegee gaan word, moet met verskeie fasette en aspekte
rekening hou wat hier uiteraard net aangestip gaan word sonder die nodige
motivering, beredenering en bespreking – dít volg later. Ons is van voorneme om
hierdie alternatiewe gedagtes op ’n diepgaande wyse in die laaste artikel van die
reeks te ontwikkel en voorstelle oor die verwesenliking daarvan te maak. Die
tweede artikel, waarin onder andere aandag gegee gaan word aan sekere
157
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
dimensies van beoordeling (diskursiewe, spirituele, sosiale en ander dimensies)
wat normaalweg nie by beoordeling ter sprake gebring word nie, maar vir goeie
wetenskap van wesenlike belang is, sal ook verdere riglyne in hierdie verband
aandui wat eweneens in die laaste artikel uitgewerk gaan word. Boonop gaan dit
nie vir ons in die eerste plek bloot om die vervanging of hersiening van die
ewekniebeoordelingstelsel nie, maar ten diepste om die bevordering van goeie
wetenskap deur middel van ’n kollektiewe proses van bemiddeling,
kommunikasie, evaluasie en beoordeling. In die lig van hierdie opmerkings beplan
ons om die gedagtes wat met die volgende sake te doen het, later breedvoerig te
ontwikkel:
Daar
moet
eerstens
beklemtoon
word
dat
die
stelsel
waarbinne
ewekniebeoordeling ’n ratjie is, so enorm groot is, met soveel onderdele en
vertakkinge, dat ons moet aanvaar dat ’n eenstopverandering dwarsdeur die
globale stelsel onmoontlik is. Dit is ’n kwessie van bewusmaking en die herbou
van talle lendelam skepe op die ope oseaan, terwyl met gewone bedrywighede
ook voortgegaan word. In ons land hang publikasie saam met vergoeding, en
hierdie vergoeding berus merendeels op fondse wat die staat daarvoor beskikbaar
stel. Staatsfondse is in die hande van die regering wat begrotingsbeleid sal moet
verander om die subsidiëring van publikasies te verander. Dit as sodanig sal baie
verg, want dit beteken die Departement van Hoër Onderwys moet ’n totale
beleidsverandering aanvaar, wat ook ’n prosedure- en stelselverandering gaan
behels. Universiteite sal hulle denke en stelsels moet verander. Boonop sal die
koppe van dosente weer gedraai moet word. Dit alles kom daarop neer dat
verandering en aanpassing slegs as ’n langtermyn-groei in iets nuuts in kan wees.
Onmiddellike dramatiese verandering word nie beoog of voorsien nie.
Bewusmaking, die opbou van ’n gesindheid, en die belangrike uitdaging om nuut
oor beoordeling in wetenskaplike konteks te dink, is dit waarop gehoop kan word.
Tweedens, soos wetenskaplikes in gedagte moet hou dat die stelsel en terrein
uitgebreid is en verskillende benaderings omsluit, werk ewekniebeoordeling ook
nie dieselfde in alle kontekste nie. Die beoordeling van ’n omgewingsimpakstudie
vir ’n sekere gebou verskil van die beoordeling van ’n nuwe middel teen
hipertensie, en dit verskil weer van die beoordeling van ’n filosofie-artikel oor die
etiese implikasies van die verhandeling van oorplantingsorgane. Ook binne
dissiplines, en selfs ten opsigte van besondere probleme, kan die
beoordelingswyses
verskil.
Om
oor
die
registreerbaarheid
van
’n
hipertensiemiddel te besluit teenoor ’n middel vir Parkinson se siekte is twee
verskillende dinge. Om ’n logika-bewys te beoordeel is iets anders as om ’n etiese
betoog te beoordeel, en dit weer iets anders as om ’n eksperiment wat tot ’n
konklusie kom, te beoordeel. Vir die eersgenoemdes mag die tradisionele stelsel
genoegsaam wees, want die invloed van belemmerende faktore is min –
persoonlike voorkeure en teoretiese stellinginnames is byna irrelevant. ’n Etiese
betoog is ’n totaal ander kwessie. Hier sal meerdere sienings en selfs debat nodig
wees. Parkinson se siekte kom weer in soveel grade en vorme voor en die verloop
verskil met die ouderdom van pasiënte, ensovoorts, dat dit ’n kwessie is met
verskillende aspekte, fasette en faktore wat ’n invloed op beoordelaars het en dus
verreken moet word. Een formule regdeur kan nie geld nie. Redakteurs moet dus
voorberei word om gedifferensieerd te dink oor beoordeling. Een proses vir almal
kan nie deug nie, en navorsers sal ook gewoond moet raak daaraan om
gedifferensieerde behandeling te verwag en te aanvaar.
In die derde plek moet daar op een of ander manier aan die verandering of
verskuiwing van die geskrewe na besproke stof gewerk word. Beoordeling
behoort, in kontekste waar dit moontlik is, deur bespreking tot ’n aanbeveling te
kom. In die bespreking kan kwessies van kriteria en die toepassing daarvan
158
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
aandag kry en kan verskille oor gehalte, ensovoorts, geplaas en verreken word.
Dit is nie moontlik vir redakteurs om altyd genoeg moontlik beoordelaars
bymekaar te kry om besprekingsessies oor artikels te reël nie. Maar daar is
maniere om baie van die probleme te oorkom, en dit behoort so ver moontlik tog
toegepas te kan word. Tegnologie maak rekenaar- of telefoonkonferensies
moontlik en hiervan behoort meer gebruik gemaak te word. Dit beteken blinde
beoordeling kom in die gedrang, maar dis in elk geval ’n baie skamele
beskerming (sonder om te duidelik te wees waarteen dit moet beskerm) en kan
maar uitgeskakel word. Boonop moet dit in dié soort besprekings gaan om
gesamentlike besluitneming. Die manuskripte word dan vooruit aan die
beoordelaars gestuur om deur te werk om dan op ’n vasgestelde tyd saam met
die redakteur en die ander beoordelaars te bespreek en te beoordeel. Verkieslik
moet die outeur ook hieraan kan deelneem – om te leer, verduidelikings te gee
en so meer. Eweneens kan beoordelaars ook leer en gevra word om
verduidelikings te gee van standpunte oor of kommentaar op ’n geskrif. Waar dié
soort konferensies onmoontlik is, kan dit ook skriftelik nageboots word deur te
korrespondeer.
In die lig van die genoemde sake kies ons in die vierde plek as vertrekpunt vir
ons besinning oor die evaluasie en beoordeling vir goeie wetenskap die idee van
kollektiewe intelligensie as die raamwerk waarbinne dit moet gebeur en waarin ag
geslaan kan word op die insigte en kennis van elkeen wat moontlik by die proses
van beoordeling betrokke mag wees. Ons glo dat elkeen ’n bydrae te lewer het
wat beperkinge plaas op die eksklusiewe rol van sogenaamde kundiges. Soveel
moontlik insigte moet benut word in die opbou en ontwikkeling van wetenskaplike
werk. Vanselfsprekend sal die plek van kommunikasie en gesprekvoering in
hierdie proses hoog op die agenda wees ten einde goeie wetenskap te verseker.
Kommunikasie beteken deurbreking van die kokonmodel – keurders moet
onderling kommunikeer en outeurs moet ook in die prentjie ingebring word.
Redakteurs, keurders en outeurs se onderlinge kommunikasie kan besondere
voordele inhou. Tegniese hulpmiddels kan ingespan word. Elke bydrae is per slot
van rekening ’n kommunikasie of mededeling van gedagtes vir soveel moontlik
lesers om dit te ontvang, te oorweeg en daaroor te besin. Om aan wetenskaplike
gesprekke oor bydraes deel te neem herberg in sigself onmiskenbare waarde –
wetenskap leef nie net in boeke en tydskrifte nie.
Ons bepleit dus ’n oop en deursigtige benadering tot evaluasie, waar eerder meer
as minder mense betrokke gemaak behoort te word en wat veral alle betrokke
partye meer direk en deelnemend sal betrek. ’n Soort spanbenadering, wat
behoorlik gekwalifiseer moet word, eerder as drie of vier individue wat dikwels
beterweterig mekaar se lot bepaal, sou nader aan die ideaal wees. Wat eweneens
bepleit gaan word as ’n belangrike voorwaarde vir sinvolle deelname aan
kommunikasie en gesprekvoering, binne die raamwerk van kollektiewe
intelligensie, is dat aandag gegee moet word aan die baie fundamentele saak van
die leeshandeling, gegee die feit dat evalueerders eintlik lesers van tekste is.
Aangesien vertroudheid met die leeshandeling, as meervoudige en komplekse
aktiwiteit, geen vanselfsprekendheid is soos baie graag dink nie, behoort ’n
vertroudheid daarmee by beoordelaars en evalueerders veronderstel te word vir
deelname aan hierdie prosesse.
Verskeie lastige sake – en daar is veel meer as wat hier genoem word – behoort
deur hierdie benadering van oop gesprekvoering en kommunikasie op
konstruktiewe wyse besweer te word ten einde die beste moontlike wetenskap op
’n deurlopende wyse te help verseker: die halsstarrige voorkeur aan negatiewe
evaluasie ten koste van positiewe evaluasie sal verban kan word; die
vanselfsprekende eensydigheid en feilbaarheid van individuele evalueerders met
159
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
eie voorkeure, vooroordele, aannames en ideologieë, wat aktief naas kundigheid
en insig werksaam is, sal aansienlik beperk kan word; die invloed van
paradigmafanatismes, wat ’n groot knelpunt is, sal op ’n veel beter en
vrugbaarder wyse deur bemiddeling en oorlegpleging benut word en op gesonde
wyse vir die wetenskap gekanaliseer word; dogmatiese verkleefdheid aan eie
oortuigings deur alle partye, wat in alle gevalle die denke verstar en die pad na
goeie wetenskap sluit, kan uitgeroei word; die onversetlikheid van sowel
evalueerders as outeurs oor persoonlike standpunte en dikwels oor geringe sake,
kan op die heel beste wyse binne die konteks van meerdere stemme vermy word;
die probleem van die bepaling van wie ’n goeie beoordelaar vir ’n bepaalde artikel
of geskrif sal wees, kan, indien dit op ’n kollektiewe wyse hanteer word,
redakteurs en redaksionele komitees se las aansienlik verlig en lukraak
benaderings in hierdie verband, wat telkens uiters teenproduktief blyk te wees,
elimineer.
Bibliografie
Abate, T. 2004. What's the verdict on peer review?
http://www.columbia.edu/cu/21stC/issue-1.1/peer.htm. (30 Oktober 2009
geraadpleeg)
Althusser, L. 1990. Philosophy and the spontaneous philosophy of the scientists.
Philosophy and the Spontaneous Philosophy of the Scientist & Other
Essays,1990:69-165. Londen: Verso.
Armstrong, J.S. en R. Hubbard. 1991. Open peer comment: Does the need for
agreement among reviewers inhibit the publication of controversial findings? In
Cicchetti 1991.
Baker, D-P, S. Beck, en D. Spurrett. 2005. Editorial. South African Journal of
Philosophy, 24(2):61–3.
Berger, E. 2006. Peer review: A castle built on sand or the bedrock of scientific
publishing? Annals of Emergency Medicine, 47(2):157–9.
Birch, W. 1990. Cloistered against the real world. The Times Higher Educational
Supplement, 2 February 1990.
Bohm, D. en F.D. Peat. 1987. Science, order and creativity. New York, Toronto,
Londen, Sydney, Auckland: Bantam Books.
Campanario, J.M. 1998. Peer review for journals as it stands today, Pt 2. Science
Communication, 19(4):277-306. http://www2.uah.es/jmc/ai1.pdf. (18 Junie
geraadpleeg)
—. 2009. Rejecting and resisting Nobel class discoveries: Accounts by Nobel
Laureates. Scientometrics, 81(2):549–65.
—. s.d. A new approach to make scientific journals actively compete for good
manuscripts. Metajournal. http://www2.uah.es/jmc/metajournal.htm. (30
Oktober 2009 geraadpleeg)
160
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
Cicchetti, D.V. 1991. The reliability of peer review for manuscript and grant
submissions: A cross-disciplinary investigation. Behavioral and Brain Sciences,
14(1):119-86.
Claassen, G. 2009a. Knor sonder byt. By, bylaag tot Beeld, 6 Junie 2009.
—. 2009b. Waarhede wat lig werp. By, bylaag tot Beeld, 5 Desember 2009.
—. 2010. Kwakkery in die hart van die beroep. By, bylaag tot Beeld, 6 Februarie
2010.
Cole, S. 1991. Open peer comment: Consensus and the reliability of peer review
evaluations. In Cicchetti 1991:140–41.
Curfman, G.D., S. Morrissey, G.J. Annas en J.M. Drazen. 2008. Peer review in the
balance. The New England Journal of Medicine, 358(21):2276–77.
http://www.nejm.org. (30 Oktober 2009 geraadpleeg)
Engber, D. 2005. Quality control. The case against peer review.
http://www.slate.com/toolbar.aspx?action=print&id=2116244. (30 Oktober 2009
geraadpleeg)
Fraser, S. 2007. Winston Churchill and peer review. Clinical Ophthalmology,
1(2):91–2.
Frey, B.S. 2003. Publishing as prostitution? Choosing between one's own ideas
and academic success. Public Choice, 116(1):205–23.
Gibbons, M., C. Limoges, H. Nowotny, S. Schwartzman, P. Scott, P. en M. Trow.
1994. The new production of knowledge. The dynamics of science and research in
contemporary societies. Londen, Thousand Oaks, Nieu-Delhi: Sage.
Godlee, F. en T. Jefferson. (reds.) 2003. Peer review in health sciences, 2de uitg.
Londen: BMJ Publishing Group.
Harrison, C. 2004. Peer review, politics and pluralism. Environmental Science and
Policy, 7:357–68.
Heidegger, M. 1983. De tijd van het wereldbeeld. Tildt: Lannoo.
Hindess, E. 1972. Forms of knowledge. Proceedings of the Philosophy of
Education Society of Great Britain, 6(2):164–75.
Jaschik, S. 2009. The "black box" of peer review. Inside Higher Education. March
4, 2009. http://www.insidehighered.com/layout/set/print/news/2009/03/04
/peerreview. (30 Oktober 2009 geraadpleeg)
Katz, D.S. 2002. Who reviews the peer review? Mackinac Center for Public Policy.
http://www.mackinac.org/print.aspx?ID=4568. (30 Oktober 2009 geraadpleeg)
Lamont, M. 2009. How professors think: Inside the curious world of academic
judgment. Harvard: Harvard University Press.
161
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
Lloyd, G.E.R. 1986. The mind on sex. Review of "The use of pleasure", Vol. 2 of
The history of sexuality by Michel Foucault. New York Review of Books,13Maart
1986. http://www.nybooks.com/articles/archives/1986/mar/13/the-mind-onsex/. (18 Junie 2010 geraadpleeg)
Lock, S. 1985. A difficult balance: Editorial peer review in medicine. Londen:
Nuffield Provincial Hospitals Trust.
Macey, D. 1993. The lives of Michel Foucault. Londen: Hutchinson.
McIntosh, N.E. 1979. Barriers to implementing research in higher education.
Studies in Higher Education,4(1):77-86.
Nisbet, M. 2003. The sceptical environmentalist : A case study in the manufacture
of news. http://www.csicop.org./specialarticles/archive/category/science
/skeptical‗environmentalist‗a‗case‗study‗in‗the‗manufacture‗of‗news. (30
Oktober 2009 en 9 Junie 2010 geraadpleeg)
NNS. 2008. NRF Vision 2015. Strategic plan of the National Research Foundation.
NNS: Pretoria.
Nöthling Slabbert, M. 2009. Fa(c)ulty towers: An evaluation of legal research in
higher education with specific reference to the rating system of the National
Research Foundation. Tydskrif vir Hedendaagse Romeins-Hollandse Reg,
72(1):42-59.
Odlyzko, A. 2003. Alternatives to peer review 1. In Godlee en Jefferson (reds.)
2003.
Postnote. Parliamentary Office of Science and Technology.
http://www.parliament.uk/documents/post/pn182.pdf. (30 Oktober 2009 en 9
Junie 2010 geraadpleeg)
Pouris. 2007. The NRF evaluation and rating system in the world context.
Pretoria: NNS.
Rennie, D. 2003. Editorial peer review: Its development and rationale. In Godlee
en Jefferson (reds) 2003:1-13.
Sake 24. 2009. Navorsing staan sentraal in SA se hoër onderwys. Beeld, 25
September 2009.
Sinaceur, M.A. 1977. What is interdisciplinarity? International Social Science
Journal, XXIX(4):1-6.
Smith, M.K. 2003. Michael Polanyi and tacit knowledge. The Encyclopedia of
Informal Education. http://www.infed.org/thinkers/polanyi.htm. (18 Junie 2010
geraadpleeg)
Smith, R. The future of peer review. In Godlee en Jefferson (reds.) 2003.
Sokal, A.D. 1996a. Transgressing the boundaries: Towards a transformative
hermeneutics of quantum gravity. Social Text, 46/47:217–52.
http://www.physics.nyu.edu/faculty/sokal/transgress_v2/
transgress_v2_singlefile.html. (29 Oktober 2009 geraadpleeg)
162
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
—. 1996b. A physicist experiments with cultural studies. Lingua Franca, 1996:624. http://www.physics.nyu.edu/faculty/sokal/lingua_franca_v4/
lingua_franca_v4.html. (29 Oktober 2009 geraadpleeg)
—. 1996c. Transgressing the boundaries: An afterword. Dissent, 43(4):93-9.
http://www.physics.nyu.edu/faculty/sokal/afterword_v1a/
afterword_v1a_singlefile.html. (29 Oktober 2009 geraadpleeg)
Tyrer, P. 1991. Open peer commentary: Chairman's action: The importance of
executive decisions in peer review. Behavioral and Brain Sciences, 14:164-65.
WASA. 2006. Report on a strategic approach to research publishing in South
Africa. WASA: Pretoria.
Wikipedia. 2008. Peer review. http://en.wikipedia.org/wiki/Peer_review. (24
Oktober 2009 geraadpleeg)
Eindnotas
1
Engber (2005:4) gee ’n mooi voorbeeld van hoe die stelsel "van buite" gebruik
word sonder verdere oorweging: "[...] the federal government recently proposed
using peer review 'to improve the quality, objectivity, utility, and integrity of
information' that it gives to the public for things like FDA drug requirements and
HHS dietary guidelines."
2
Hulle verwys na ’n artikel deur A. Fisher, "Seeing atoms", in Popular Science,
1989:102–107, wat die inligting bevat.
3
Harrison se stelling (2004:360 n9): "The shortcomings of peer review were
perhaps most spectacularly exposed by physicist Alan Sokal's spoof 'Social Text'
which was accepted for publication by a leading cultural studies journal despite
being deliberately meaningless" skep die wanindruk dat die publikasie op grond
van keuring geskied het.
4
Volgens Campanario het J.S. Armstrong in, "Barriers to scientific
contribution:The author's formula" in Behavioral and Brain Sciences, 5,1982:197–
199, na hierdie eksperiment verwys.
5
Vergelyk: S. Pressman, Simultaneous multiple journal submissions: The case
against. American Journal of Economics and Sociology, 53, 1994:315–334.
6
E.D. Robin en M. Burke, Peer review in medical journals. Chest, 2, 1987:252–
255. Verwysing deur Campanario.
7
In Peters & Ceci, "Peer review practices of psychological journals. The fate of
published articles submitted again". Behavioral and Brain Sciences, 5,1982:187–
195. Harrison (2004:360 n9) rappoteer hierdie "studie" soos volg: "An older and
less well publicised study of 12 psychological journals involved selecting twelve
articles at random, giving them different authors, titles and minor cosmetic
changes and then resubmitting them to the same group of journals. Only three
journals spotted the hoax and of the remaining nine articles eight were rejected
on the basis of referee reports. This study reported in a 1982 article was
163
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
LitNet Akademies – Jaargang 7(2) – Augustus 2010
described in Karl Svozil 'Censorship and the peer review system' (unpublished
paper)". Nöthling Slabbert (2009:48) verwys na hierdie studie om die punt te
maak dat "Studies have shown the reliability of the peer review process to be
variable."
8
Research on scientific journals: Implications for editors and authors. Journal of
Forecasting,1,1982:83–104.
9
Vgl. M.J. Mahoney, Publication prejudices: An experimental study of
confirmatory bias in the peer review system. Cognitive therapy research,
1,1977:161–175.
10
Die redakteur van The Lancet by die terugtrekking van die Wakefield-artikel:
"Portuurevaluasie is die beste stelsel wat ons het om akkuraatheid en
aanvaarbaarheid van werk te kontroleer, ..." (Claassen 2010:14).
11
Die aanhaling kom uit K. Arrow, Foreword. In Shepherd, G.B. (Red.), Rejected:
Leading Economists ponder the publication process. Thomas Horton, 1995.
12
Die bladsyverwysings van hierdie bron is na die bladsye van die artikel en nie
na die bladsye van die tydskrif nie. Ongelukkig het die kopie wat ons ontvang het,
nie bladsynommers bevat nie.
164
ISSN 1995-5928 | Tel: 021 886 5169 | E-pos: [email protected]
Fly UP