Falske toner i ligestillings-debatten

Goldin & Rouse’s såkaldte orkesterundersøgelse spøger endnu en gang i ligestillingsdebatten i en artikel i Uniavisen den 6. november, hvor Anja C. Andersen gentager den ofte fremsatte påstand om, at undersøgelsen påviser ubevidst bias mod kvinder ved stillingsbesættelser.

Denne historie er ganske enkelt et falsum.

Jeg har tidligere taget undersøgelsen under behandling i Weekendavisen, og, for at skære det ud i pap: 1) Goldin & Rouse’s konklusion understøttes ikke af deres data, og 2) ikke engang i forfatternes egen optik handler det om ubevidst bias.

Derfor står vi af undervejs i undersøgelsen

Goldin & Rouse’s hypotese var, at kvindelige musikere, der søgte ansættelse i symfoniorkestre, havde bedre chancer for at få jobbet, når de spillede bag et forhæng, så bedømmerne ikke kunne se om det var mand eller kvinde, der spillede. Til rådighed havde man optegnelser fra optagelsesprøverne til 8 amerikanske orkestre fra sidst i 1950’erne til 1995. Resultatet er en diger artikel, spækket med statistiske modeller, der vil overbevise nogle, gøre flere utrygge, og få resten til at stå fuldstændigt af.

Der skal ikke megen eftertanke til for at indse, at dette materiale umuligt kan bevise ubevidst diskrimination

Der skal ikke megen eftertanke til for at indse, at dette materiale umuligt kan bevise ubevidst diskrimination. Metoden med forhænget må virke præcis lige så godt mod bevidst som mod ubevidst diskrimination og det er alene effekten af forhænget, der analyseres. Til forfatternes ros skal siges, at ordet ubevidst ikke forekommer i artiklen, det er noget andre har digtet til.

Konkurrencerne havde flere runder: en indledende, en semifinale, og en finale. De fleste orkestre blindede kun den indledende runde. Ser man på de rå tal, viser det sig, at andelen af kvinder, der går videre fra den indledende runde falder, når der anvendes blinding.

Det kaldes data-massage

Det var ikke lige, hvad man havde forventet og slet ikke noget, der trækker overskrifter. De fleste forskere ville være stoppet her og sagt at hypotesen ikke kunne bekræftes. Men Goldin & Rouse opfinder straks en hjælpehypotese: blindingen lokker flere lavt kvalificerede kvinder til at deltage i konkurrencen, så successraten falder. Det er der ingen som helst uafhængig evidens for.

Alligevel går de lystigt videre: musikere, som har deltaget i både en blindet og en ublindet konkurrence, har ens kvalifikationer, mener Goldin & Rouse (hvorfor fortaber sig i det uvisse), og ved at indskrænke det statistiske materiale til de 10-20%, der har deltaget i begge slags konkurrencer, kan de analysere videre på effekten af blindingen og konkludere, at kvinders chance for at gå videre stiger med 50 % når der er blinding.

Dette kaldes med et pænt ord post hoc analyser, i daglig tale data-massage, og når mere end 80% af materialet må kastes væk for at få det ønskede resultat, spekulerer man på, om dette overhovedet er ment som seriøs forskning.

Men der er mere. Før 1980 havde ingen af de fem bedste orkestre mere end 12 % kvinder. Sidst i 1990-erne var tallet steget til 35 % i New York Philharmonien, og de andre orkestre var godt på vej.

Selv hvis man accepterer den statistiske model, forklarer den kun en tredjedel af den faktiske stigning i kvindehyringer. En tredjedel forklares af det øgede antal kvinder, der søger optagelse. Den sidste tredjedel kunne, ifølge forfatterne selv, ‘skyldes fx større accept blandt dirigenter af kvindelige musikere’.

En stigende accept kan selvfølgelig ikke komme til udtryk, når der anvendes skærm, men sagen er jo, at finalerne, hvor den endelige udvælgelse sker, i reglen ikke er blindede.  Det virker ikke som om forfatterne ser den åbenlyse modsigelse: En tredjedel af effekten tilskrives brug af skærm, en anden tredjedel tilskrives en mekanisme, der kun kan slå igennem, hvor der ikke bruges skærm.

Lad os lukke rodebutikken

Det ligner positiv særbehandling af kvinderne i finalerne mod slutningen af tidsperioden. Man kunne faktisk fortolke hele forløbet sådan, at der skete et skred i orkestrenes indstilling til kvinder på samme tid som der indførtes blindede konkurrencer, således at de blindede konkurrencer kunne ses som en effekt af, at man ville have flere kvinder ind i orkestrene, et ønske, der dog slog bedst igennem i de ublindede konkurrencer.

Denne undersøgelse er lidt for meget af en rodebutik til at man overhovedet kan konkludere noget på den

Mere forsigtigt kunne man sige, at denne undersøgelse er lidt for meget af en rodebutik til at man overhovedet kan konkludere noget på den. Bortset fra altså, at den helt bestemt ikke siger noget om ubevidst diskrimination af kvinder i ansættelsessituationer.

Det er forstemmende at se Anja C. Andersen citere dette som om det var en valid videnskabelig undersøgelse. Hun er ifølge Niels Bohr Institutets hjemmeside professor i befolkningens forståelse for videnskab, og om hendes stilling hedder det, at ‘det er essentielt for den demokratiske debat at sikre en general forskningsindsigt og bidrage til at løfte barren for politiske debatter og beslutninger.’

Den hidtidige brug af denne artikel har lagt barren meget lavt. Jeg tillader mig at gå ud fra, at Anja C. Andersen har overset min tidligere kommentar i WA, og har derfor genfremsat den ovenfor i let redigeret form, i håb om at dette spøgelse af en undersøgelse omsider kan stedes til hvile.