Oszustwa wspomagane uczeniem maszynowym

Nowe technologie odczuwalnie zmieniają świat, ale nie naszą psychikę. W efekcie geniusze zła opracowują nowości technologiczne, których celem jest wykorzystywanie luk w naszych mózgach. Jednym z przykładów jest historia, w której oszuści naśladowali głos prezesa zarządu międzynarodowej firmy, aby nakłonić dyrektora generalnego spółki zależnej na przelanie pieniędzy na konkretne konta.

Co się stało?

Szczegóły ataku nie są znane, jednak gazeta Wall Street Journal, cytując firmę ubezpieczeniową Euler Hermes Group SA, opisuje incydent tak:

1. Odbierając telefon, dyrektor generalny firmy energetycznej w Wielkiej Brytanii myślał, że rozmawia ze swoim szefem, prezesem zarządu niemieckiej firmy dominującej, który poprosił go o wysłanie w ciągu godziny 220 tys. euro na (jak się później okazało, fikcyjne) konto węgierskiego dostawcy.
2. Dyrektor brytyjskiej firmy zlecił przelew.
3. Atakujący zadzwonił ponownie z informacją, że firma dominująca zleciła przelew zwrotny do brytyjskiej firmy.
4. Osoba ta zadzwoniła jeszcze trzeci raz, ponownie podszywając się pod prezesa zarządu, i poprosił o wykonanie drugiej płatności.
5. Ponieważ przelew zwrotny jeszcze nie wrócił na konto, a trzeci telefon pochodził z Australii, zamiast z Niemiec, dyrektor nabrał podejrzeń i nie zlecił drugiego przelewu.

Jak to się stało?

Ubezpieczyciele biorą pod uwagę dwie możliwości. Albo atakujący mieli dostęp do wielu nagrań wspomnianego dyrektora generalnego i ręcznie poskładali wiadomości głosowe, albo (co bardziej prawdopodobne) wyuczyli algorytm uczenia maszynowego na podstawie nagrań. Pierwszy sposób jest czasochłonny, a jego efekt niepewny — ułożenie z odrębnych słów płynnie brzmiącego, spójnego zdania jest niezmiernie trudne. A według ofiary druga strona brzmiała bez zarzutów, głos miał barwę i odrobinę niemieckiego akcentu. Zatem najprawdopodobniej została tu wykorzystana sztuczna inteligencja. Jednak do powodzenia ataku przyczynił się w większym stopniu problem natury poznawczej, który w tym przypadku polegał na bezwarunkowym posłuszeństwie osoby nadrzędnej.

Psychologia pośmiertna

Psychologowie społeczni przeprowadzili wiele eksperymentów pokazujących, że nawet inteligentne, doświadczone osoby są podatne na bezwzględne posłuszeństwo wobec autorytetu, nawet jeśli jest to sprzeczne z osobistymi przekonaniami, zdrowym rozsądkiem czy względami bezpieczeństwa.

W swojej książce pt. „The Lucifer Effect: Understanding How Good People Turn Evil” Philip Zimbardo opisuje pewien eksperyment: pielęgniarki odbierały telefon od doktora, który poprosił o wstrzyknięcie pacjentowi dwukrotnie większej dawki leku niż maksymalna dozwolona. Na 22 pielęgniarek 21 napełniło strzykawkę zgodnie z instrukcją. Prawie połowa pielęgniarek, które wzięły udział w badaniu, postąpiło zgodnie z poleceniem doktora, które według nich mogłyby zaszkodzić pacjentowi. Posłuszne pielęgniarki wierzyły, że ponoszą mniejszą odpowiedzialność za wykonanie polecenia niż doktor, który według prawa kieruje leczeniem pacjenta.

Psycholog Stanley Milgram wyjaśnił niekwestionowane posłuszeństwo władzy przy użyciu teorii subiektywności: jeśli ludzie postrzegają siebie jako narzędzia służące do wypełniania woli innych, nie czują się odpowiedzialni za swoje działania.

Czy można to jakoś unormować?

Nikt nie ma 100% pewności, z kim rozmawia przez telefon — zwłaszcza jeśli jest to osoba publiczna, a nagrania zawierające jej głos (wywiady, przemówienia) są dostępne publicznie. Dziś nie zdarza się to często, jedna z uwagi na to, że technologia staje się coraz bardziej zaawansowana, możemy spodziewać się takich incydentów.

Bezkrytyczne wypełnianie poleceń jest na rękę cyberprzestępcom. Postępowanie zgodnie z wytycznymi szefa nie jest oczywiście niczym nadzwyczajnym, jednak wskazane jest zachowanie pewnej dozy krytycyzmu i kwestionowanie decyzji dziwnych lub nielogicznych.

Z naszej strony możemy zalecić uczulanie pracowników, aby nie wykonywali bezmyślnie wszystkich poleceń. Najlepiej przyjąć zasadę, że każda decyzja jest opatrzona stosownym wyjaśnieniem. Zwiększy to szanse na to, że pracownik dopyta o szczegóły nietypowego polecenia, jeśli nie otrzyma równocześnie odpowiedniego wyjaśnienia.

Jeśli chodzi o kwestie techniczne, tu również warto postępować z naszymi wskazówkami:

• Ustaw prostą drogę zlecania przelewów, tak aby nawet pracownicy wysokiego szczebla nie mogli przesyłać pieniędzy bez weryfikacji. Transfery opiewające na duże kwoty muszą uzyskać autoryzację kilku osób decyzyjnych.
• Naucz pracowników podstaw cyberbezpieczeństwa oraz zachowania zdrowego krytycyzmu wobec otrzymywanych wytycznych. Pomocne będą tu nasze programy zwiększające świadomość w zakresie zagrożeń.