Oprør på KUA

128 forskere fra Det Humanistiske Fakultet har i en protestskrivelse til dekanatet modsat sig et nyt pointsystem til måling af forskningskvalitet der i øjeblikket er under udarbejdelse i fakultetets Forskningsudvalg. Ud fra de arbejdsforslag der lige nu er i høring, skal hvert institut nemlig belønnes med et bestemt antal point for hver bog eller artikel deres forskere publicerer. De point bliver afgørende når universitetets forskningsmidler skal fordeles mellem institutterne.

Men et sådant forsøg på at kvantificere forskningskvaliteten er absurd og vil ikke løfte forskningens kvalitet, hedder det i protestskrivelsen. Snarere tværtimod. Hvis forskere tvinges til at løbe efter point i stedet for viden, vil den forskning der kræver den mindste arbejdsindsats uvægerligt blive foretrukket. Den der er god til at score point, får forskningsmidler – ikke den der er god til at forske, frygter underskriverne.

Uretfærdigt system
Det er lektor på Institut for Nordiske Studier og Sprogvidenskab Sune Auken der sammen med sin kollega Johnny Kondrup står bag protestskrivelsen. Han vil, hvis pointsystemet bliver gennemført i sin nuværende form, få følgerne at mærke direkte. Sidste år udgav Sune Auken den meget roste 734-siders doktordisputats Sagas Spejl om N.F.S. Grundtvigs digtning.

Den var resultatet af flere års arbejde og medførte megen omtale i aviser og tv. Alligevel kunne han have scoret over det dobbelte antal point hvis han havde valgt at hakke sin disputats op og udgive den i små artikelbidder i forskellige fagtidsskrifter i stedet. Det ville ikke have gjort hans forskning og formidling bedre – snarere tværtimod – men de point han havde hentet hjem til Nordisk Institut, ville have været mange flere, fortæller han.
Alligevel er det ikke sig selv Sune Auken er mest bekymret for i den forbindelse.

»Jeg kan i kraft af mit fagområde til enhver tid sprøjte småartikler ud og hive point hjem hver gang hvis det skal være. Der er rigtig meget dansk litteratur der ikke er skrevet om endnu. Dem jeg er nervøs for, er dem der ikke kan det. På mit eget institut tænker jeg fx på folk der forsker i empirisk lingvistik hvor man kan bruge flere år på at opbygge det materiale der skal til for at skrive en artikel. På samme tid som jeg kan lave 30-40 point, kan lingvisten lave 6-7 stykker for samme forskningsarbejde,« siger han.

Et sådant system åbner for spekulation i point, mener Sune Auken. Han er i øjeblikket ved at færdiggøre en ny bog som hvis han udgiver den i sin helhed og får den peer-reviewed (bedømt af en anden fagforsker) vil indbringe ham 18 point. Hvis han derimod blokker bogen ud i små bidder a ti sider, kan han malke det samme stykke tekst for op til 60 point.

Men det er ikke det eneste problem ved pointsystemet, fortæller Sune Auken. Han karakteriserer det som direkte uretfærdigt. »For det første måler pointsystemet ikke noget. Humanioras videnskabsgrene er så forskellige at man ikke kan sammenligne dem i et tal. For det andet tager det ikke stilling til selve kvaliteten af forskningen.

Pointsystemet registrerer kun at der bliver udgivet, ikke hvad der bliver udgivet. Det registrerer ikke om forskerens arbejde er et mesterværk eller kun lige acceptabelt. Derfor vil det til hver en tid bedst kunne betale sig – og ’bedst kunne betale sig’ er vel at mærke et overlevelseskriterium her fordi det er konkrete stillinger og konkrete kollegaer det drejer sig om – at kun lige lave et arbejde der er godt nok. Endelig er der hele formidlingsspørgsmålet: En stor bog kommer ud i offentligheden og indgår i den offentlige debat. Små artikler i videnskabelige magasiner kommer ikke ud til andre end kollegaer. Det bliver forskere der skriver for forskere,« siger Sune Auken.

Kvalitetssikring af forskning
Baggrunden for at der over-hovedet skal indføres målbare kriterier for forskningskvalitet er den udviklingskontrakt som Videnskabsministeriet og Københavns Universitet har indgået. Her bestemmes det at 10 % af forskningsmidlerne i 2008 skal uddeles gennem kvalitetskonkurrence mellem de forskellige fakulteter og institutter. Derfor har Humaniora over for rektor forpligtet sig til at indføre kvalitetskriterier på baggrund af dokumenterede, nationale og internationale, kvalitetsbaserede fordelingsprincipper. Opfyldes kravet om et internt fordelingssystem ikke, betyder det at rektor tilbageholder 6,3 mio. forskningskroner i 2007.

Det er prodekan for forskning Mette Thunø der sammen med fakultetets Forskningsudvalg har arbejdet med at udvikle en model for kvalitetsmåling på Humaniora. Hun mener at et pointsystem med fokus på fagfællebedømt arbejde vil styrke fokus på kvalitet frem for kvantitet. Hun kan ikke forstå forskernes bekymring for at det vil medføre en forringelse af forskningen, skriver hun i et svar til Universitetsavisen.

Men giver det overhovedet mening at måle forskningskvalitet kvantitativt? Det mener Mette Thunø godt så længe kriterierne er i orden. »Vores forskningskvalitetsmodel er udelukkende baseret på at vi giver højeste point til de forskere der får deres fagfællers stempel på at det de laver er god nok forskning. Vi lader altså forskernes fagfæller bedømme om det er godt nok til udgivelse. De forskere der vælger ikke at offentliggøre i tidsskrifter eller monografier/antologier/leksika/lærebøger med peer review, får lidt færre point. Modellen præmierer – om du vil – altså de forskere der lader deres kolleger bedømme deres forskning, og jeg kan ikke se hvordan det kan forringe forskningen at kolleger blåstempler ens arbejde,« skriver Mette Thunø.

Hun frygter heller ikke at forskerne vil gå væk fra at skrive lange disputatser eller bredt appellerende bøger til fordel for mange små artikler for at hente så mange point som muligt sammen, sådan som Sune Auken fremfører det.

»Den kritik forstår jeg ikke. Hvis disputatser tildeles for få point i nogens øjne, kan de melde dette ind til det udvalg der p.t. arbejder med modellen og få det drøftet. For øvrigt får disputatsen det højeste antal point og har gjort det i alle de tre høringsudkast som vi indtil videre har arbejdet med,« minder Mette Thunø om.

Herligt fritaget for ansvar
Pointsystemer til at måle forskningskvalitet er ikke noget nyt. Flere lande bruger det allerede og tæller ikke bare sammen hvor mange artikler forskerne publicerer, men også hvor mange gange de bliver citeret og i hvilke tidsskrifter de publicerer. Jo mere prestigefyldte tidsskrifter deres artikler optræder i, jo flere point får forskerne.

Et af de mest prestigefyldte tidsskrifter at publicere i, er det amerikanske videnskabelige magasin Nature. Det er præcis hvad KU-professorerne Andrew D. Jackson og Benny Lautrup fra Niels Bohr instituttet har gjort. I artiklen Measures for measures den 21. december sidste år undersøgte de metoderne til kvalitetsmåling af forskning som anvendes i dag. De konkluderede at de pointsystemer og algoritmer man bruger til at sammenligne forskernes produktion ikke giver megen mening, og at man ligeså godt kunne lave en rangliste over forskere ud fra deres forbogstaver som via optælling af videnskabelige artikler.

»En af vores konklusioner er at selv med de bedste metoder, så giver det ikke megen sikkerhed i vurderingen. Selvfølgelig er det for eksempel godt at få en artikel i Nature fordi det er svært, men det siger i princippet ikke så meget om artiklens eller forskningens kvalitet,« sagde Benny Lautrup den 9. februar i et interview til Information.

»Når man ikke kan finde ud af at måle det man vil måle, så måler man det man kan, men det har intet andet formål end at gøre det nemt for administrationen at fordele forskningsmidler og kontrollere om forskerne nu også laver nok. På den måde er man jo herligt fritaget for ansvar men en sådan algoritmisering af forskningen kan skabe en forfærdelig masse problemer,« siger Benny Lautrup, der i sin artikel anbefaler at udøve kvalitetssikring på den gammeldags maner: ved rent faktisk at læse artiklerne.

Intet surmuleri
Denne analyse finder prodekan for Mette Thunø er mindre relevant for humanioras forskning.
»Der er mange artikler der påviser, at citationsindekser og tidsskrifternes ’impact factor’ er uhensigtsmæssige redskaber til at måle forskningskvalitet på. Det er netop derfor at vi på Humaniora er ved at udarbejde en alternativ måde baseret udelukkende på om artikler eller monografier osv. er blevet underlagt fagfællebedømmelse.

Humaniora kan slet ikke kvalitetsmåles på baggrund af de redskaber der er udviklet hidtil inden for de naturvidenskabelige fag, så en artikel i Nature gør ikke så stort indtryk på mig. Vi mener slet ikke at man kan måle kvalitet på tværs af de store fagområder, men må tilpasse sine målemetoder efter om det er humaniora eller om det er naturvidenskab,« skriver hun.

Sune Auken mener det er paradoksalt at artiklen ikke gør indtryk på fakultetets ledelse. »Det er topfolk fra naturvidenskab der har lavet denne undersøgelse. Benny Lautrup har 244 publikationer bag sig. Han ville kunne score point i massevis hvis man tæller publikationer. Samtidig med at de siger at sådan et pointsystem er meningsløst, skal vi indføre det. Jeg ved godt at man henviser til at den internationale udvikling går i den retning, og at videnskabsministeriet siger at vi skal indføre det. Men hvad så med at svare igen? Hvad så med at fortælle dem at det er en dårlig ide? Videnskabsministeriet er ikke Gud. Og selv Gud forhandlede Abraham med,« siger Sune Auken.

Så nemt er det ikke, mener Mette Thunø.

»Dekanatet ønsker ikke at miste 6,3 mio. kroner på budgettet for det indeværende år. Desuden mener vi at Videnskabsministeriet ikke kan formodes at opgive deres planer om at fordele skatteborgernes penge til forskning efter kvalitetsmål. Vi vil derfor hellere samarbejde med alle de øvrige humanistiske fakulteter i Danmark om at udarbejde fælles kvalitetsmål tilpasset humanioras publikationsmønstre end at surmule i et hjørne og nægte at sætte fokus på hvad kvalitet er inden for vores forskningsområde,« skriver hun.

Manipulerer systemet
Sune Auken håber dog alligevel på at protesterne og indvendingerne gør indtryk. Ikke bare på dekanatet, men også på politikere og ministre. Han håber at man i stedet indfører et dialog- og kontraktsystem hvor institutterne evalueres løbende og kvalitativt i stedet for kvantitativt. Ellers er der ikke andet for end at udnytte systemet.

Det har Sune Auken også tænkt sig.

»Når vi får pointsystemet, vil jeg selvfølgelig gebærde mig på en sådan måde at hver time jeg forsker bliver til så mange point som muligt. Det har jeg fine muligheder for at gøre fordi mit fagområde tillader mig at skrive mange små artikler og stadig holde et nogenlunde rimeligt fagligt niveau. Det er ikke det jeg helst vil, og det er ikke sådan jeg forsker bedst, men mit institut er meget trængt, og jeg vil selvfølgelig gøre hvad jeg kan for at trække penge hjem til det. På den måde vil der naturligvis blive manipuleret med forskningen så den passer bedre ind i systemet. Jeg skal nok lave en masse point, men jeg vil ikke gøre det uden at have advaret om konsekvenserne i forvejen,« siger Sune Auken.

Denne advarsel giver Mette Thunø følgende kommentar med på vejen.

»Jeg tror ikke Sune Auken helt er klar over hvad han rent pengemæssigt vil tjene hjem til sit institut ved sin nye publikationsstrategi. Han må hellere først beregne hvor mange penge der egentlig fordeles med denne model og så sit eget tidsforbrug når han begynder at lave mange små artikler. For øvrigt er Sune Auken jo en dygtig og ansvarlig forsker, så jeg er da sikker på at han vil forske på den måde der tjener forskningen bedst, nemlig ved at lade sine artikler fagfællebedømme og komme så langt ud i verden som muligt således at så mange forskere som muligt kan læse hvad han forsker i.«

Men Sune Auken mener skam sin advarsel alvorligt. »Det her ligner grænsedragningen i Afrika. Man trækker nogle pæne linjer der ser godt ud, og hvis man så tilfældigvis udløser hundrede års krige, er det bare ærgerligt. Det er en management-sygdom der har ramt universiteterne. Hver gang man trækker en lige linje der ser pæn ud administrativt, går ting i koks omkring den. Hidtil har vi på institutterne været gode til at få tingene til at fungere alligevel, men nu går det simpelthen ikke længere. Dette pointsystem griber ind i den enkelte forskers konkrete arbejde på en fuldstændig destruktiv måde,« siger Sune Auken.

Han frygter at den humanistiske forskning vil lide ubodelig skade hvis ikke man fra ledelsens side har mod nok til at droppe pointtællingen.

»Andrew D. Jackson, der har lavet Nature-artiklen, sagde det meget præcist i et interview i Orientering på P1: Hvis man belønner forskere for at skrive mange artikler uden særlig henblik på kvaliteten, skal det ikke overraske én, hvis det man får er mange artikler uden særlig henblik på kvaliteten. Og det er det, der vil ske,« slutter Sune Auken.