Derfor kan computere ikke forudsige terror

Denne artikel er tidligere publiceret på videnskab.dk i deres onlinemagasin ForskerZonen.

En række it-firmaer såsom Palantir og IBM hævder nu, de har programmer, der kan forudsige terrorisme ved hjælp af data.

Komplicerede algoritmer, der ser og genkender de skjulte mønstre i planlægningen af terror, kan ifølge firmaerne opspore terroristerne, før de slår til.

Har de ret? Eller er verden og terroristernes færden lidt for kompliceret til, at vi kan overlade opgaven til algoritmerne?

Ser man på forskningen på området, er svaret kort sagt, at antiterror-algoritmer er uanvendelige.

Som en berømt terrorforsker skrev engang, er opgaven med at finde terrorister ud fra data endnu sværere end at finde en nål i en høststak.

Ja, han mente, at opgaven var så svær, at han sammenlignede det med at lede efter fragmenter af nåle i en høstak, hvor det at samle fragmenterne til en nål var den første i en lang række af næsten umulige opgaver.

Al data kan potentielt være relevant at overvåge

Billedet illustrer, hvor svært det er at opdage og forhindre terrorangreb, selv for fagets eksperter.

Derfor vil man som praktiker ofte i jagten på terrorister lede efter ting, som er lettere at opdage og overvåge, såsom:

• Besiddelse af våben.
• Brug af bestemte søgeord.
• Kommunikation med bestemte, mistænkte telefonnumre

Desværre er mængden af disse typer data gigantisk stor og uoverskuelig, fordi alle ting potentielt kan være relevante i forhold til terrorisme.

Ja, ethvert ord kan være et kodeord, ethvert mobilopkald et afgørende startskud for et angreb eller enhver lejlighed et hemmeligt våbendepot.

Det er derfor meget svært at opstille en robust statistisk model for hvem, hvornår og hvad der er terror, fordi det er svært at bestemme, hvad der skal med og ikke med i beregningerne, når data i udgangspunktet er potentielt uendeligt.

Svært at samle data om terrorangreb

Samtidig sker terrorangreb relativt sjældent, og det er derfor svært at samle data nok til at gøre beregningerne valide.

Ikke mindst, fordi terrorister sætter en ære i at være hemmelighedsfulde og skifte mål og metoder, så de ikke stoppes i tide.

Her er derfor ingen offentlig database med information om planlagte, fejlslagne elle opgivne terrorplaner.

Tit vil algoritmen derfor tage fejl, fordi den både mangler data og har for meget data på en og samme tid.

Terror og forudsigelser i åbne sociale systemer

Problemet er ikke blot fejlmarginen, men også matematisk paradigmatisk, at algoritmer er simple automatiske redskaber.

Det betyder, at de er meget dårlige til at forstå meget komplekse problemer som terror, der handler om politik, post-kolonalisme, den vestlige verdensorden og religion.

Hvis metoden ikke kan forstå dette kulturelle niveau, kan den ikke stoppe terroren.

Terror som socialt fænomen sker desuden i et globalt verdenssamfund, der er et stort, kompliceret og ikke mindst helt åbent system, hvor alting kan og vil påvirke hinanden uforudsigeligt.

Her er den menneskelige bevidsthed og andre mere fortolkende fagligheder langt bedre til at rumme og forstå dette.

Den selvbekræftende spiral og terror

Et andet kæmpeproblem er, at algoritmerne ofte bliver selvbekræftende og så at sige sidder fast i samme rille, medmindre man hele tiden forandrer dem.

Hvis man ikke passer på, lider de hurtigt af en farlig tendens og bias i udvælgelse af deres datagrundlag, som ikke er repræsentativ for virkeligheden lige nu og her.

Det kaldes rekursivitet og simulacra-effekter, hvor algoritmen så at sige bekræfter sig selv for meget, fordi den sætter fortid lig nutid lig fremtid.

Algoritmer får derfor ofte forældede fordomme om en omskiftelig virkelighed – i dette tilfælde, hvem der er terrorister.

Hvem der er terrorister forandrer sig hele tiden

Lad os tage et eksempel. Hvis politiet udfra algoritmens anbefaling hele tiden stopper og visiterer unge muslimske mænd fra Mellemøsten i lufthavnen fremfor andre grupper, vil algoritmen oftere få terrorister med netop denne baggrund som resultat.

Algoritmen vil derfor tro, at unge muslimske mænd fra Mellemøsten oftere er terrorister, men overse de mange hjemmefødte muslimske terrorister, som netop nu udgør en voksende risiko. Ligesom den kan glemme at stoppe en hvid ikke-muslimsk terrorist fra Europa.

Det er et kæmpeproblem, fordi det hele tiden forandrer sig, hvem der er terrorister, og algoritmen skal kunne rumme dette for at være effektiv.

Det var netop denne algoritmiske blindhed, som fik den norske sikkerhedstjeneste til at overse terroristen Anders Breiviks planlægning af den største terrorugerning i Norge siden Anden Verdenskrig.

Han passer jo ikke på algoritmens profil på den farlige muslimske terrorist fra Mellemøsten. Han var en såkaldt ‘outlier’ (faldt udenfor gruppen, red.) i tro, hudfarve og mål, og derfor slap han igennem algoritmens net, fordi den ikke indberegner outliers.

De falske positive versus de falske negative

Når man bruger algoritmer, vil der altid opstå såkaldte falske positive og falske negative. I terrorbekæmpelse er det:

• Dels de uskyldigt udvalgte mennesker eller begivenheder, der defineres som terrorister eller terrorangreb, selv om de er uskyldige – de såkaldte falske positive.
• Dels de skyldige, men oversete, terrorister og terrorplaner, der klassificeres som ikke-terrorister og ikke-planer – de såkaldte falske negative – som fremtræder normale, men er farlige.

Problemet med terror er, at gruppen af sande positive (= terrorister) er så lille, at gruppen af falske positive (= uskyldige anholdte) bliver stor.

Vi rammer kun rigtigt 1 ud 100.000 gange

Nogle beregninger peger på blot 1 rigtig terrorist for 100.000, man overvåger.

Det betyder altså, at algoritmen vil tage fejl så ofte som 99.999 gange ud af 100.000.

Det er derfor tydeligvis svært at bruge algoritmens resultatet til noget, når fejlmarginen er så stor.

Ja, hvis algoritmen udpeger 100.000 mennesker som potentielle terrorister, hvor skal politiet med deres begrænsede resurser begynde, og hvor skal de stoppe?

Opgaven er praktisk uoverskuelig, for hvad er fragmenterne af en nål i høststakken af 100.000 falske positive?

Retten til sikkerhed versus sikkerhed for borgerlige rettigheder

I bekæmpelse af terror er idealet, at ingen terrorist må slippe igennem nettet af overvågning. Dette betyder som beskrevet, at rigtig mange uskyldige overvåges, fordi antallet af terrorister er så lille.

Mange mennesker får i kampen mod terror en uklar retsstilling og begrænses i deres livsførelse på baggrund af skjulte og usynlige risikovurderinger, som de ikke kan ændre eller se.

Problemet er, at risikominimeringen med profileringen af mulige skyldige erstatter og udgrænser rettens krav om lighed for loven.

Risikominimeringen af terrorisme er en risikovurdering, som lader, som om den er loven med de samme konsekvenser, for eksempel tilbageholdelse, udelukkende fordi man tilhører en risikogruppe, men ikke har samme retssikkerhedsmæssige garantier og præmisser.

Flere falske positive i risikoparadigmet

I retsparadigmet er alle uskyldige, indtil det modsatte er bevist.

I risikoparadigmet er enhver mistænkt, til det modsatte er bevist.

Bevisbyrden ligger to forskellige steder, hvilket har stor betydning for anvendelse af algoritmer og sortering af falske positive versus falske negative.

Prisen for falske positive er sat højere i retsparadigmet, hvor etikken er færre falske positive (uskyldigt dømte) for flere falske negative (skyldige, der går fri).

Her skal du bevisligt være skyldig.

Lige omvendt i risikoparadigmet – såsom i domænerne sikkerhed, medicin og forsikring, der ønsker flere falske positive (uskyldigt overvågede/anmeldte) frem for færre falske negative (farlige oversete forbrydere/snydere).

Her skal du blot sandsynligvis være skyldig eller i risiko for at være det.

Der opstår altså konflikter, fordi risiko erstatter ret. En modsætning mellem retten til sikkerhed versus sikkerhed for borgerlige rettigheder

Mennesker, ikke algoritmer, skal stoppe terror

Konklusionen er derfor, at algoritmer er retsfilosofisk problematiske og i praksis et ineffektivt redskab til at finde terrorister, fordi traditionel politiefterforskning og sund fornuft er bedre til at fange terrorister.

Her slår den menneskelige erkendelse altså langt de automatiske algoritmer, fordi vi mennesker er så gode til at lære og tilpasse os til ny information.

Algoritmen mangler så at sige en eksplicit, automatisk model for, hvordan den skal analysere sig selv for at forandre sig selv.

Den nedslående konklusion er derfor, at antiterror-algoritmer ikke virker mod terror.

Som en berømt statistiker engang skrev: Lige meget, hvor meget og hvor god data man har, så er problemet: ‘No data set is large enough to provide complete information about how it should be analysed’.

Det er derfor kun os mennesker, som kan analysere og stoppe terror. Her er ingen let, automatisk løsning.

Desværre og heldigvis.