Foto: Getty

100.000 uskyldige for hver terrorist: Hvorfor anti-terror-algoritmer ikke virker

Kan man forudsige og stoppe terrorangreb med algoritmer, der ser de skjulte mønstre og dataspor i planlægningen af terror? En række it-firmaer påstår at have knækket koden og tilbyder nu programmer til at forudsige terrorisme. Den videnskabelige forskning på området er dog skeptisk.

En berømt terrorforsker skrev engang, at opgaven med at finde terrorister ud fra data var sværere end at finde en nål i en høstak. Ja, han mente, at opgaven var så svær, at han sammenlignede det med at lede efter fragmenter af nåle i en høstak, hvor det at samle fragmenterne til en nål var den første i en lang række af næsten umulige opgaver.

Når alt potentielt kan være relevant

Billedet illustrer, hvor svært det er at opdage og forhindre terrorangreb, selv for fagets eksperter. Derfor vil man som praktiker i jagten på terrorister ofte lede efter ting, som er lettere at opdage og overvåge, såsom besiddelse af våben, brug af bestemte søgeord eller kommunikation med bestemte, mistænkte telefonnumre. Desværre er mængden af disse typer data gigantisk stor og uoverskuelig, fordi alle ting potentielt kan være relevante i forhold til terrorisme. Ja ethvert ord kan være et kodeord, et hvert mobilopkald et afgørende startskud for et angreb eller enhver lejlighed et hemmeligt våbendepot.

Det er derfor meget svært at opstille en robust statisk model for hvem, hvornår og hvad der er terror, fordi det er svært at bestemme, hvad der skal med og ikke med i beregningerne, når data i udgangspunktet er potentielt uendeligt osv. Samtidig sker terrorangreb relativt sjældent, og det er derfor svært at samle data nok til at gøre beregningerne valide. Ikke mindst, fordi terrorister sætter en ære i at være hemmelighedsfulde og skifte mål og metoder, så de ikke stoppes i tide. Her er derfor ingen offentlig database med information om planlagte, fejlslagne elle opgivne terrorplaner. Tit vil algoritmen derfor tage fejl, fordi den både mangler data og har for meget data på en og samme tid.

Det viser en gennemgang af forkningen om algoritmer i terrorbekæmpelse. Gennemgangen er publiceret som en del af en ny postdoc ved Det Informationsvidenskabelige Akademi ved Københavns Universitet, der udforsker brugen og effektiviten af antiterror-algoritmer.

Terror og forudsigelser i åbne sociale systemer

Problemet er ikke blot fejlmarginen, men også matematisk paradigmatisk, at algoritmer er simple automatiske redskaber, og de er meget dårlige til at forstå meget komplekse problemer, der som terror som handler om politik, post-kolonalisme og den vestlige verdensorden og religion. Hvis metoden ikke kan forstå dette kulturelle niveau, kan den ikke stoppe terroren. Terror som socialt fænomen sker desuden i et globalt verdenssamfund, der er et stort, kompliceret og ikke mindst helt åbent system, hvor alting kan og vil påvirke hinanden uforudsigeligt. Her er den menneskelige bevidsthed og andre mere fortolkende fagligheder langt bedre til at rumme og forstå dette.

Angriberne ved terrorangrebet på Charlie Hebdo i 2015

Den selvbekræftende spiral & terror

Et andet kæmpeproblem er, at algoritmerne ofte bliver selvbekræftende og så at sige sidder fast i samme rille, medmindre man hele tiden forandrer dem. Hvis man ikke passer på, lider de hurtigt af en farlig tendens og bias i udvælgelse af deres datagrundlag, som ikke er repræsentativ for virkeligheden lige nu og her. Det kaldes rekursivitet og simulacra-effekter, hvor algoritmen så at sige bekræfter sig selv for meget, fordi den sætter fortid lig nutid lig fremtid. Algoritmer får derfor ofte forældede fordomme om en omskiftelig virkelighed og i dette tilfælde, hvem der er terrorister.

Lad os tage et eksempel. Hvis politiet udfra algoritmens anbefaling hele tiden stopper og visiterer unge muslimske mænd fra Mellemøsten i lufthavnen fremfor andre grupper, vil algoritmen oftere få terrorister med netop denne baggrund som resultat. Algoritmen vil derfor tro, at unge muslimske mænd fra Mellemøsten oftere er terrorister, men glemme at stoppe en hvid ikke-muslimsk terrorist fra Europa. Ja, den vil overse de mange hjemmefødte muslimske terrorister, som netop nu udgør en voksende risiko.

Det er et kæmpeproblem, fordi det hele tiden forandrer sig, hvem der er terrorister, og algoritmen skal kunne rumme dette for at være effektiv. Ja, det var netop denne algoritmiske blindhed, som fik den norske sikkerhedstjeneste til at overse terroristen Anders Breiviks planlægning af den største terror-ugerning siden Anden Verdenskrig. Han passer jo ikke på algoritmens profil på den farlige muslimske terrorist fra Mellemøsten. Han var en outlier i tro, hudfarve og mål, som vil slippe igennem algoritmens net, fordi den ikke indberegner outliers.

Man må vælge flere falske negative over for færre falske positive eller omvendt: Følsomhed versus frekvens.

De falske positive versus de falske negative

Når man bruger algoritmer, vil der altid opstå såkaldte falske negative og falske positive. I terrorbekæmpelse er det dels de uskyldigt udvalgte mennesker eller begivenheder, der defineres som terrorister eller terrorangreb, selv om de er uskyldige – de såkaldte falske positive. Dels de skyldige, men oversete terrorister og terrorplaner, der klassificeres som ikke-terrorister og ikke-planer – de såkaldte falske negative – som fremtræder som normale, men er farlige. Problemet med terror er, at gruppen af sande positive = terrorister er så lille, at gruppen af falske positive uskyldige anholdte bliver stor. Nogle beregninger peger på blot en rigtig terrorist for 100.000, man overvåger.

Det betyder altså, at algoritmen vil tage fejl så ofte som 99.999 gange ud af 100.000. Det er derfor tydeligvis svært at bruge algoritmens resultatet til noget, når fejlmarginen er så stor. Ja, hvis algoritmen udpeger 100.000 mennesker som potentielle terrorister, hvor skal politiet med deres begrænsede resurser begynde, og hvor skal de stoppe? Opgaven er praktisk uoverskuelig, for hvad er fragmenterne af en nål i høststakken af 100.000 falske positive?

 

Den 7. april i år blev Sverige ramt af et terrorangreb. En person kørte en lastbil ind i en menneskemængde på Drotninggatan i Stockholm, foto: Getty

Retten til sikkerhed versus sikkerhed for borgerlige rettigheder

I bekæmpelse af terror er idealet, at ingen terrorist må slippe igennem nettet af overvågning. Dette betyder som beskrevet, at rigtig mange uskyldige overvåges, fordi antallet af terrorister er så lille.

Mange mennesker får i kampen mod terror en uklar retsstilling og begrænses i deres livsførelse på baggrund af skjulte og usynlige risikovurderinger, som de ikke kan ændre eller se.  Problemet er, at risikominimeringen med profileringen af mulige skyldige erstatter og udgrænser rettens krav om lighed for loven. Risikominimeringen af terrorisme er en risikovurdering, som lader, som om den er loven med de samme konsekvenser, fx tilbageholdelse, udelukkende fordi man tilhører en risikogruppe, men har ikke samme retssikkerhedsmæssige garantier og præmisser.

I retsparadigmet er alle uskyldige, indtil det modsatte er bevist. I risikoparadigmet er enhver mistænkt, til det modsatte er bevist. Bevisbyrden ligger to forskellige steder, hvilket har stor betydning for anvendelse af algoritmer og sortering af falske positive versus falske negative. Prisen for falske positive er sat højere i retsparadigmet, hvor etikken er færre falske positive (uskyldigt dømte) for flere falske negative (skyldige, der går fri).

Her skal du bevisligt være skyldig. Lige omvendt i risikoparadigmet – såsom i domænerne sikkerhed, medicin og forsikring, der ønsker flere falske positive (uskyldigt overvågede/anmeldte) frem for færre falske negative (farlige oversete forbrydere/snydere). Her skal du blot sandsynligvis være skyldig eller i risiko for at være det.

Her er altså konflikter, fordi risiko erstatter ret. En modsætning mellem retten til sikkerhed versus sikkerhed for borgerlige rettigheder

Konklusionen er derfor, at algoritmer er retsfilosofisk problematiske og i praksis et ineffektivt redskab til at finde terrorister, fordi traditionel politi-efterforskning og sund fornuft er bedre til at fange terrorister. Her slår den menneskelige erkendelse altså langt de automatiske algoritmer, fordi vi mennesker er så gode til at lære og tilpasse os til ny information. Algoritmen mangler så at sige en eksplicit, automatisk model for, hvordan den skal analysere sig selv for at forandre sig selv.  Den nedslående konklusion er derfor, at antiterror-algoritmer ikke virker mod terror.

Som en berømt statistiker engang skrev, at lige meget hvor meget og hvor godt data man har, så er problemet: “No data set is large enough to provide complete information about how it should be analysed.” Det er derfor kun os mennesker, som kan analysere og stoppe terror. Her er ingen let, automatisk løsning. Desværre og heldigvis.

Læs om forskningsprojektet bag denne artikel her:

‘100,000 false positives for every real terrorist: Why anti-terror algorithms don’t work’
by Timme Bisgaard Munk
First Monday, Volume 22, Number 9 – 4 September 2017

Kommentarer

kommentarer