Człowiek kontra maszyna: rozpoznawanie twarzy

W 2010 roku właściciel największej bazy danych twarzy na wiecie — Facebook — nauczył się rozróżniać portret od obrazu: sieć społecznościowa wyszukała twarze na zdjęciach i otagowała te obszary. Czasami się mylił. Ale już cztery lata później potrafił wskazać z 97% dokładnością, czy na zdjęciu widać tę samą osobę, czy dwie różne.

Chociaż jest to główna zaleta Facebooka, w porównaniu do ludzkiego mózgu jego algorytm nie trafia w trzech procentach takich przypadków. Jeśli ktoś prosi nas o rozpoznanie krewnego na zdjęciach o niskiej rozdzielczości, zrobimy to lepiej niż komputer, nawet jeśli zdjęcia zostały zrobione pod nietypowym kątem.

Jest to ewenement, ponieważ zazwyczaj komputery są dokładniejsze niż człowiek. Dlaczego jesteśmy lepsi w pokonywaniu takich wyzwań i jak próbują to zrobić komputery?

Nasze mózgi przeszły poważny trening

Okazało się, że za rozpoznawanie twarzy odpowiedzialny jest specjalny obszar mózgu, który nazywa się zakrętem wrzecionowatym i jest on częścią płatu skroniowego i potylicy. Ludzie uczą się rozróżniać twarze już od urodzenia — niemowlęta rozwijają tę zdolność w pierwszych dniach po narodzinach. W wieku czterech miesięcy dziecięce mózgi rozróżniają już krewnych.

Oczy, kości policzkowe, nos, usta i brwi to kluczowe cechy twarzy, które pomagają nam rozpoznawać się nawzajem. Ważna jest także skóra, zwłaszcza jej tekstura i kolor. Warto zauważyć, że nasze mózgi przetwarzają twarz jako całość — nie skupiają się na jej poszczególnych fragmentach. To dlatego możemy z łatwością rozpoznać ludzi nawet wtedy, gdy ukryją połowę swojej twarzy pod chustką czy kawałkiem papieru. Jednak jeśli ktoś wykona prosty kolaż i połączy twarze dwójki znanych ludzi, widzowie mogą potrzebować chwili, aby odpowiedzieć, kto jest na zdjęciu.

https://media.kasperskydaily.com/wp-content/uploads/sites/95/2020/07/03142542/joliepitt.gif

Efekt połączenia zdjęć portretowych Brada Pitta i Angeliny Jolie

Nasze mózgi przechowują w pamięci twarze od już urodzenia. W miarę rozwoju tworzymy ogólny wzór i używamy go do przetwarzania twarzy. Jeśli ktoś pokusiłby się o stworzenie takiego szablonu, mógłby on wyglądać mniej więcej tak:

Do przetwarzania twarzy dochodzi wtedy, gdy nasz mózg porównuje wygląd danej osoby z wewnętrznym szablonem: sprawdza, czy jej nos jest szerszy, usta pełniejsze, ton skóry cieplejszy czy chłodniejszy itp. Ci, którzy rzadko podróżują, czasami mówią, że ludzie innych ras wyglądają dosyć podobnie. Myślą tak, ponieważ ich szablony są „uwrażliwione” na cechy twarzy wspólne dla ich otoczenia.

Co ciekawe, twarze mogą także rozróżniać niektóre zwierzęta, np. psy lub małpy. Pomimo że sam zmysł węchu daje im wiele przydatnych informacji, wygląd wizualny także pomaga im rozpoznawać inne istoty żyjące. Co interesujące, najlepszy przyjaciel człowieka — pies — nie tylko łatwo odczytuje z naszej twarzy nastrój, ale może także nauczyć się uśmiechać.

Jak komputer rozpoznaje twarze?

Jakie jest połączenie pomiędzy ludzkim uśmiechem a przetwarzaniem twarzy? Są one niemal nierozdzielne, ponieważ każde uczucie zmienia nasze twarze nie do poznania, szczególnie dla algorytmów komputerowych.

Oprogramowanie może porównać dwa zdjęcia twarzy zrobione na wprost i określić, czy przedstawiają tę samą osobę. Rozwiązania te działają jak malarze portretowi: analizują tzw. punkty węzłowe na ludzkich twarzach, które z kolei są używane do określania naszych cech indywidualnych twarzy; w zależności od użytej metody na jednej twarzy można znaleźć od 80 do 150 punktów węzłowych.

Na przykład zarówno artyści, jak i oprogramowanie mierzą odległość pomiędzy oczami, szerokość nosa, głębokość osadzenia oczu, kształt kości policzkowych, długość linii szczęki itp.

Gdy zmienisz poziom swoich oczu lub poprosisz modela, aby odwrócił swoją głowę, pomiary te ulegają zmianie. Ponieważ wiele algorytmów przetwarzania twarzy analizuje obrazy tylko w dwóch wymiarach, do poprawnego rozpoznania kluczowy jest punkt wzroku. A jeśli chcę pozostać nierozpoznany? Ukryj swoje oczy i kości policzkowe pod okularami, a podbródek i usta zakryj chustą, aby zachować anonimowość. Gdy testowaliśmy usługę FindFace, potrafiła rozpoznać modeli tylko na zdjęciach wykonanych na wprost.

Tak możesz oszukać serwisy rozpoznawania twarzy, które pracują na „płaskich obrazach”. Jednak nic nie jest wieczne i bardziej zaawansowane algorytmy z pewnością już nadchodzą.

Co dalej?

Nasze mózgi trenują przetwarzanie twarzy, gdy dorastamy. Zdolność rozróżniania „nas” i „ich” to jedna z kluczowych możliwości koniecznych do przetrwania. Nowoczesne komputery mogą uczyć się tak jak ludzie. Aby poprawić wyniki komputerowego przetwarzania twarzy, twórcy używają samouczących się algorytmów i „karmią” ich setkami portretów ludzi, jak szkolny album. Nie jest trudno znaleźć te obrazy — jest ich mnóstwo w Sieci: w mediach społecznościowych, na stronach z hostingiem zdjęć, w sklepach ze zdjęciami i inne.

Identyfikacja oparta na twarzy zwiększyła swoją skuteczność, gdy algorytmy zaczęły działać na modelach 3D. Nakładanie na twarz projektu siatki oraz integracja materiałów wideo ludzi doprowadziło do tego, że oprogramowanie zaczyna rozumieć, jak dany człowiek wygląda pod różnymi kątami. Nawiasem mówiąc, szablony w ludzkich umysłach także są trzywymiarowe. Chociaż technologia ta jest wciąż w trakcie rozwoju, na rynku można już znaleźć kilka autorskich rozwiązań.

Rozwijane są także badania nad ludzką mimiką. Realistyczne renderowanie emocji to kopalnia złota dla branży zajmującej się grami, a wiele firm ciężko pracuje nad dopracowaniem swoich postaci. W tym kierunku podjęto już ważne kroki. Ta sama technologia będzie służyła programom rozpoznającym twarze.

Poza modelami 3D twórcy pracują nad innymi kątami, np. firma Identix utworzyła technologię biometryczną do rozpoznawania twarzy, o nazwie FaceIt Argus. Analizuje ona unikatową teksturę skóry: linie, pory, blizny i inne aspekty. Twórcy FaceIt Argus twierdzą, że ich produkt może wskazać różnice pomiędzy identycznymi bliźniakami, co nie jest jeszcze możliwe przy użyciu samego programu do rozpoznawania twarzy.

System ten ma być wrażliwy na zmiany w wyrazie twarzy (mruganie, marszczenie brwi czy uśmiechanie się) i posiadać możliwość dodawania wąsów czy zarostu i okularów. Dokładność rozpoznawania można zwiększyć do 20-25 procent, jeśli FaceIt Argus zostanie użyty wraz z innymi systemami przetwarzania twarzy. Z drugiej strony ta technologia zawodzi, jeśli używane są zdjęcia o niskiej rozdzielczości, zrobione w niewystarczającym oświetleniu.

Na taką ewentualność wymyślono inną technologię. Naukowcy z niemieckiej uczelni Karlsruhe Institute of Technology opracowali nową technikę rozpoznawania zdjęć wykonanych w podczerwieni, przy złym oświetleniu czy nawet w całkowitej ciemności.

Technologia ta analizuje miejsca termiczne człowieka i dopasowuje jego zdjęcia wykonane w średniej lub dalekiej podczerwieni ze zwykłymi zdjęciami z maksymalnie 80% dokładnością. Im więcej dostępnych zdjęć, tym skuteczniej działa algorytm. Gdy dostępny jest tylko jeden widoczny obraz, dokładność spada do 55%.

Wykonanie takiego dopasowania nie jest tak łatwe, jak może się wydawać na pierwszy rzut oka, bo pomiędzy twarzami w oświetleniu zwykłym i podczerwonym nie istnieją żadne korelacje liniowe. Obraz, który jest zbudowany na podstawie emisji ciepła, wygląda nieco inaczej niż regularne zdjęcie wykonane w świetle dziennym.

Intensywność emisji ciepła w dużym stopniu zależy od skóry i temperatury otoczenia, a nawet od nastroju danej osoby. Ponadto zazwyczaj obrazy wykonane w podczerwieni mają mniejszą rozdzielczość niż zwykłe zdjęcia, co dodatkowo utrudnia zadanie.

Aby rozwiązać ten problem, naukowcy wypróbowali algorytm komputerowy i „nakarmili” swój system 1586 zdjęciami 82 ludzi.

Jest wszędzie!

Dzisiaj technologie rozpoznawania twarzy są używane prawie na całym świecie. Ostatnio firma Uber pokazała podobne rozwiązanie w Chinach, służące do kontrolowania swoich taksówkarzy. NEC i Microsoft połączyli przetwarzanie twarzy i Internet rzeczy, aby specjaliści marketingu jeszcze lepiej poznali swoich klientów. Tymczasem trole z rosyjskiego forum 2ch.ru użyli usługi rozpoznawania twarzy do zaatakowania aktorek porno w internecie.

Rozwój technologii rozpoznawania twarzy zmusza nas do przemyślenia wszystkiego, co wiemy o prywatności. Skutki mogą nie dosięgnąć nas dzisiaj, ani nawet za rok, ale najwyższy czas się przygotować. W końcu nie można zastąpić swojej twarzy, prawda?

Jeśli zastanawiasz się, jaki będzie rezultat zastosowania tej technologii w obszarze prywatności, obejrzyj brytyjski miniserial „Black mirror”, a zwłaszcza epizod „Fifteen Million Merits„.