RSAC
W filmach często głównemu bohaterowi wydaje się, że ktoś wchodzi na drogę, więc zbacza z niej i ląduje w rowie. Teraz wyobraźmy sobie, że to dzieje się naprawdę, ale zamiast niefortunnego odbicia się światła lub niewłaściwej interpretacji umysłu, obraz jest efektem projekcji cyberprzestępców. Chociaż wszystko to trwa ułamek sekundy, autopilot w samochodzie jest zaprogramowany tak, aby na takie sytuacje reagować. Badacze z Instytutu Technicznego Georgii i Uniwersytetu Ben-Guriona w Negewie pokazali podczas wydarzenia RSA Conference 2021 „atak fantomowy”.
Pomysł wyświetlania niebezpiecznych obrazów systemom sztucznej inteligencji nie jest nowy. Zwykle celem zmodyfikowanych obrazów jest zmuszenie sztucznej inteligencji do wyciągnięcia nieoczekiwanego wniosku. Ta pięta Achillesa dotyczy wszystkich algorytmów uczenia maszynowego. Wiedząc, które atrybuty są kluczem do rozpoznawania obrazu (czyli dysponując jakąś wiedzą na temat algorytmu) można tak zmodyfikować obraz, aby utrudnić proces podjęcia decyzji przez maszynę lub nawet zmusić ją do błędu.
Nowością podejścia zademonstrowanego na konferencji RSA 2021 jest to, że autopilotowi pokazano niezmodyfikowane obrazy — osoba atakująca musi wiedzieć, jak działa algorytm lub jakich atrybutów używa. Obrazy zostały przez krótki czas wyświetlone na drodze i na znajdujących się w pobliżu obiektach stacjonarnych, co miało następujące konsekwencje:
W jednej z prób obrazy pojawiały się przez ułamek sekundy w reklamie na billboardzie stojącym na poboczu drogi. Zasadniczo rezultat był taki sam:
Autorzy badania doszli więc do wniosku, że cyberprzestępcy mogą działać z bezpiecznej odległości, nie pozostawiając żadnych dowodów na miejscu zbrodni. Muszą jedynie wiedzieć, jak długo należy projektować obraz, aby oszukać sztuczną inteligencję (samochody autonomiczne mają próg czasowy na podjęcie rekcji, co zmniejsza prawdopodobieństwo wystąpienia fałszywego alarmu, którego źródłem może na przykład być brud lub zanieczyszczenie obiektywu aparatu lub lidara).
Droga hamowania samochodu wynosi od kilkunastu do kilkudziesięciu metrów, ale w celu umożliwienia lepszej oceny sytuacji deweloperzy sztucznej inteligencji postanowili dodać jeszcze kilka metrów.
Czas potrzebny na wyświetlenie iluzji systemom rozpoznawania zamontowanym w Tesli i Mobileye. Źródło
Jednak te kilka metrów dotyczy systemu sztucznego widzenia Mobileye i prędkości 60 km/h. W takim przypadku czas reakcji wynosi około 125 milisekund. Zgodnie z tym, co ustalili naukowcy podczas eksperymentu, próg reakcji autopilota w Tesli jest prawie trzy razy dłuższy i wynosi 400 milisekund. Przy tej samej prędkości droga hamowania zwiększa się o prawie 7 metrów. Ponieważ nadal mówimy o ułamku sekundy, badacze uważają, że taki atak może zostać przeprowadzony znad ziemi — zanim dostrzeżesz dron rzutujący obraz, będziesz już w rowie, a sprawca zniknie.
Nadzieję, że autopiloty będą w stanie odeprzeć tego typu ataki, daje jeden fakt: obrazy rzutowane na powierzchnie, które nie nadają się do wyświetlania zdjęć, bardzo różnią się od rzeczywistości. Zniekształcenia perspektywy, nierówne krawędzie, nienaturalne kolory, ekstremalny kontrast i inne cechy sprawiają, że ludzkie oko bardzo łatwo odróżnia takie złudne obrazy od rzeczywistych obiektów.
W związku z tym podatność autopilota na ataki fantomowe jest konsekwencją różnicy w postrzeganiu obrazu przez sztuczną inteligencję i ludzki mózg. Aby wyeliminować ten problem, autorzy badania proponują zastosowanie w systemach autopilota samochodowego dodatkowych kontroli spójności w takich obszarach jak perspektywa, gładkość krawędzi, kolor, kontrast i jasność, jak również zadbanie o spójność wyników przed podjęciem jakiejkolwiek decyzji. Podobnie jak osądy człowieka, sieci neuronowe będą analiozwać parametry, co pomoże im odróżniać prawdziwe sygnały z kamery lub lidaru od ulotnego widziadła.
Oczywiście zwiększyłoby to obciążenie obliczeniowe systemów i mogłoby doprowadzić do równoległego działania kilku sieci neuronowych. Wszystkie z nich musiłyby koniecznie być przeszkolone (to długi i wymagający sporo wysiłku proces). Tymczasem samochody, które już są małymi zestawami na kołach składającymi się z komputerów, będą musiały przekształcić się w małe zestawy na kołach składające się z superkomputerów.
W miarę coraz częstszego stosowania akceleratorów sztucznej inteligencji samochody muszą być w stanie radzić sobie z kilkoma sieciami neuronowymi na pokładzie, a te z kolei muszą działać równolegle i nie mogą zużywać zbyt wiele energii. Ale to historia na inny dzień.
Porady