En person kan være perfekt synlig for det blotte øye og samtidig bli nesten «usynlig» for et kamera utstyrt med kunstig intelligens. Dette er effekten som søkes etter Bill Swearingenen amerikansk ekspert på nettsikkerhet som opprettet ingen anerkjennelseet prosjekt som har som mål å skape mønstre trykt på klær og gjenstander med geometriske design som i visse tilfeller kan forvirre datasynssystemer brukes i videoovervåking.
Hvordan fungerer noRecognition-teknologi som lurer ansiktsgjenkjenning
For å forstå hvordan det er mulig å lure et gjenkjenningssystem, må vi imidlertid ta utgangspunkt i et grunnleggende konsept ved å kort forklare hva forskjellen er mellom deteksjon og gjenkjennelse. Et AI-system, ved hjelp av et kamera, kan først og fremst prøve å fastslå om det er en person i bildet eller ikke ved å gjøre en påvisning av menneskelig tilstedeværelse; deretter kan den identifisere ansiktet til det oppdagede motivet og, først da, sammenligne det med en database for å prøve å forstå hvem det er. De ansiktsgjenkjenninger derfor bare ett av leddene i en mye, mye lengre kjede.
Under konferansen Def Con Las Vegasen årlig begivenhet dedikert til hackere, Swearingen viste hvor effektiv blokkering av den første «ringen» kan være. Foran et kamera indikerte systemet med en sannsynlighet større enn 0,75 at det var en person i rammen. Da Swearingen holdt opp et panel dekket i et merkelig svart-hvitt mønster foran kroppen, falt poengsummen gradvis til 0,21. På det tidspunktet sluttet programvaren å betrakte bildet som inneholdende en person.
Men gjennom det hele hadde Swearingen aldri flyttet seg fra rammen i det hele tatt. Det hadde han rett og slett klart lure det automatiske gjenkjenningssystemetenn å ha mistet selvtilliten til å klassifisere det han så på som et menneske. Disse algoritmene «ser» faktisk ikke slik vi ser: de analyserer et bilde, formulerer ulike hypoteser om hva det inneholder, tildeler en konfidensscore og rapporterer bare de som overskrider en viss terskel. Hvis denne terskelen ikke nås, starter ikke deteksjonen.
Hvordan teksturer og mønstre ble produsert som gjør oss usynlige for AI
Swearingen designet ikke anti-ansiktsdeteksjonsmønstrene for å appellere til fantasien hans, selvfølgelig. Snarere utviklet han en automatisk system som genererer disse motivene ved hjelp av ad hoc-programvare. Tilnærmingen som brukes minner om den til de såkalte «fuzzerne», de programmene som brukes i datasikkerhet for å utsette programvare for en enorm mengde input og identifisere feil og unormal oppførsel. I dette tilfellet var målet å treffe datasynssystemer.
Programmet lager et mønster, overlegger det digitalt på et bilde av en person, og prøver å forstå hvordan de ulike AI-systemene som er involvert reagerer. Hvis årsaken reduserer deteksjonspoengsummen betydelig og forårsaker unormale resultater, velges den for videre testing. De mest effektive modellene blir deretter modifisert og kombinert for å generere nye.
Husk at systemet har kommet for å sammenligne hver ny grunn med 11 forskjellige modeller: fem dedikert til persongjenkjenning, fire til ansiktssøk og to til ansiktsgjenkjenning. Swearingen gjorde det kjent at de hadde vært til juni 31,7 millioner tester utført og bare en liten del av disse (for å gi deg et tall, 534.600 omtrent) hadde produsert betydelige anomalier. Av alle disse, bare 85 resultater ble klassifisert som «ekstrem»derfor i stand til å beseire minst én persondetektor og én ansiktsdetektor i samme test.
Grensene for anti-deteksjonsteknologi
Tallene viser imidlertid noe begrensninger som fortsatt er tydelige i denne teknologiensom er langt fra idiotsikkert. Også fordi det har blitt klart at et effektivt mønster ikke nødvendigvis fungerer på hver person eller ansikt. En modell som hadde senket konfidensnivået for fire personer som ble brukt under utvikling, fungerte ikke en gang på de åtte «marsvinene» den senere ble testet med. Dette er fordi effektiviteten og suksessen til testen kan avhenger av både personen og deteksjonssystemet som brukes.
Selv posisjonen til motivet saker. Det ble funnet at en større overflate ikke automatisk betyr et bedre resultat: mønstre på overkroppen hadde større effekt på persondetektorer, mens de nær hodet hadde større effekt på ansiktsdeteksjonssystemer. I noen tester viste et lite mønster på kragen seg til og med mer effektivt enn et mye større trykk på overkroppen.
Så er det en fundamental forskjell mellom demonstrasjonen og en ekte t-skjorte brukt på gaten. Testen gjort på Def Con ble gjort med mønsteret på hardboard, ikke stoff. Ettersom en t-skjorte bøyer seg, strekker seg og krøller seg når den bæres, blir den utsatt for konstante forvrengninger og endringer i belysningen, som ikke gjenskaper de ideelle forholdene sett under demonstrasjonen. På grunn av dette Swearingen anser fortsatt effektiviteten til det slitte plagget som uprøvd.
