Skłonność do automatyzacji: dlaczego nadzór zawodzi

Można mieć na schemacie organizacyjnym człowieka nadzorującego AI i jednocześnie nie mieć nadzoru. Nie dlatego, że ktoś jest leniwy albo niekompetentny, lecz dlatego, że ludzki umysł ma przewidywalną słabość: kiedy maszyna podsuwa gotową odpowiedź, skłaniamy się, by ją przyjąć — nawet gdy własna wiedza lub dane na ekranie mówią co innego. Ta słabość ma nazwę i sporą literaturę naukową. Nazywa się skłonnością do automatyzacji.

Czym jest skłonność do automatyzacji (automation bias)?

Skłonność do automatyzacji to tendencja do nadmiernego zaufania podpowiedziom systemu zautomatyzowanego i traktowania ich jako trafnych, nawet wtedy, gdy dostępne informacje im przeczą. W praktyce objawia się na dwa sposoby. Pierwszy to błędy zaniechania: człowiek nie wychwytuje problemu, ponieważ system go nie zgłosił — skoro automat milczy, zakładamy, że wszystko jest w porządku. Drugi to błędy działania: człowiek robi coś błędnego, bo system tak podpowiedział, mimo że przy odrobinie własnej analizy zauważyłby pomyłkę.

Kluczowe jest to, że nie mówimy o wadzie charakteru ani o niedbalstwie. To powtarzalna, dająca się odtworzyć reakcja poznawcza, opisana po raz pierwszy w badaniach nad automatyką w kokpitach samolotów, a później potwierdzona w medycynie, wojsku i pracy biurowej. Przeglądowa praca Parasuramana i Manzeya z 2010 roku w czasopiśmie Human Factors zebrała dziesięciolecia dowodów i pokazała wyraźnie: im bardziej wiarygodnie wygląda automat, tym chętniej człowiek przerzuca na niego ciężar myślenia — zjawisko, które autorzy nazywają też „samozadowoleniem“ wobec automatyki (automation complacency).

Dlatego skłonności do automatyzacji nie da się usunąć apelem o czujność. Mówienie nadzorcom „bądźcie uważni, nie ufajcie ślepo maszynie“ działa równie dobrze co proszenie, by przestali być ludźmi. Jedyne, co naprawdę pomaga, to inaczej zaprojektować sam proces decyzyjny — tak, by nadmierne zaufanie było trudniejsze niż rzetelna ocena. To jest sedno tego tekstu.

Skąd wiadomo, że ludzie naprawdę przeceniają AI?

To nie jest intuicja ani przeczucie publicystów. W klasycznym badaniu Skitki, Mosiera i Burdick z 1999 roku uczestnicy wykonywali zadanie monitorowania, w którym wspomagał ich automatyczny asystent. Kiedy asystent się mylił — coś przeoczył albo coś błędnie zasygnalizował — duża część osób popełniała ten sam błąd za nim, choć surowe dane na ekranie pozwalały go wychwycić. Co istotne, ci sami ludzie radzili sobie lepiej bez asystenta, bo wtedy musieli patrzeć sami. Obecność wiarygodnie wyglądającej podpowiedzi pogarszała wynik.

Podobny wzór widać w dziedzinach o znacznie wyższej stawce. Systematyczny przegląd Goddarda, Roudsariego i Wyatta z 2012 roku, dotyczący systemów wspomagania decyzji w ochronie zdrowia, wykazał, że błędne podpowiedzi oprogramowania potrafiły skłonić część klinicystów do zmiany prawidłowej decyzji na błędną. Człowiek miał rację, system podpowiedział inaczej — i człowiek się ugiął. To nie znaczy, że wspomaganie decyzji jest złe; zwykle poprawia wyniki. Znaczy, że razem z korzyścią wprowadza nową klasę błędów, których wcześniej nie było.

Z życia codziennego każdy zna łagodniejszą wersję tego zjawiska: kierowcy, którzy posłusznie skręcają w nieistniejącą drogę, bo „nawigacja tak kazała“, ignorując widok za szybą. Mechanizm jest dokładnie ten sam. Gotowa instrukcja z urządzenia wygrywa z własnymi zmysłami, bo myślenie kosztuje, a zaufanie maszynie nie wymaga wysiłku.

Jak nadzór zamienia się w przyklepywanie decyzji?

Nadzór degraduje się po cichu, bez jednej dramatycznej awarii. Wygląda to mniej więcej tak. System AI działa dobrze, więc jego propozycje niemal zawsze są trafne. Nadzorca, widząc dziesiątą z rzędu poprawną rekomendację, uczy się — racjonalnie, na podstawie doświadczenia — że sprawdzanie nie ma sensu. Wskaźnik zatwierdzeń pełznie ku stu procentom. Czas namysłu spada do ułamka sekundy. Człowiek wciąż klika „akceptuj“, ale już niczego nie ocenia. Formalnie nadzór istnieje. Praktycznie zamienił się w pieczątkę.

W debacie o nadzorze nad AI nazywa się to przyklepywaniem decyzji (z angielskiego rubber-stamping). Najgorsze jest to, że proces wygląda na zdrowy aż do momentu, w którym system się myli — a wtedy okazuje się, że jedyne zabezpieczenie przed jego błędem dawno przestało działać. Najwięcej szkód robią właśnie systemy bardzo dobre: im rzadziej się mylą, tym głębiej usypiają czujność, i tym dotkliwsza jest pomyłka, gdy w końcu nadejdzie.

Najprostszy test, czy nadzór jest realny, brzmi: gdyby nadzorca chciał zdecydować inaczej niż AI, czy mógłby to zrobić bez kary, ze zrozumieniem sprawy i bez walki z systemem? Jeśli odpowiedź to „nie“, nadzoru nie ma — jest dekoracja. Szerzej rozkładam to w tekście o rzeczywistym nadzorze człowieka nad AI.

Czy AI Act w ogóle dostrzega ten problem?

Tak — i to wprost, co w przepisach prawa zdarza się rzadko. Artykuł 14 unijnego aktu o sztucznej inteligencji (AI Act), który reguluje nadzór człowieka nad systemami wysokiego ryzyka, wymienia skłonność do automatyzacji z nazwy. Osoba sprawująca nadzór ma — według litery przepisu — pozostawać świadoma możliwej tendencji do automatycznego polegania lub nadmiernego polegania na wyniku systemu. Ustawodawca uznał więc automation bias za realne ryzyko projektowe, a nie za teorię z laboratorium.

Warto jednak trzymać się faktów co do dat i nie straszyć. Obowiązki dla systemów wysokiego ryzyka, w tym artykuł 14, wdrażane są później niż obowiązki przejrzystości z artykułu 50 (stosowane od 2 sierpnia 2026 roku). Pakiet Digital Omnibus — ostatecznie przyjęty przez Parlament Europejski 16 czerwca 2026 i przez Radę UE 29 czerwca 2026 — przesunął termin stosowania wymogów dla wysokiego ryzyka na 2 grudnia 2027 roku (dla AI wbudowanej w produkty regulowane, objętej Załącznikiem I, termin to 2 sierpnia 2028 roku). To już obowiązujące prawo, nie projekt na etapie prac. Niezależnie od kalendarza i niezależnie od tego, czy dany system jest „wysokiego ryzyka“, problem poznawczy istnieje sam z siebie. RODO dokłada tu artykuł 22, który daje człowiekowi prawo, by nie podlegać decyzji opartej wyłącznie na automatycznym przetwarzaniu — a przyklepywanie sprawia, że decyzja formalnie „z człowiekiem“ jest w istocie czysto automatyczna.

Jak projektować przeciw skłonności do automatyzacji?

Skoro apel o czujność nie działa, trzeba zmienić architekturę decyzji. Poniżej cztery grupy rozwiązań, które mają oparcie w badaniach nad czynnikiem ludzkim — uporządkowane od najtańszych do najbardziej wymagających.

Wprowadź tarcie tam, gdzie stawka jest wysoka

Najskuteczniejsza obrona to celowe tarcie przy decyzjach o poważnych konsekwencjach. Nie chodzi o spowalnianie wszystkiego — to tylko przeniosłoby zmęczenie gdzie indziej — lecz o to, by przy wysokiej stawce zatwierdzenie wymagało realnego wysiłku. Dodatkowy ekran z podsumowaniem skutków, obowiązkowa pauza, wymóg wpisania własnego uzasadnienia zamiast jednego kliknięcia. Kluczowa zasada: tarcie kalibrujesz wagą decyzji. Rekomendację artykułu z bazy wiedzy przepuszczasz jednym ruchem; odmowę kredytu, zamknięcie konta czy decyzję medyczną — nie. To naturalne przedłużenie projektowania punktu decyzji: najpierw ustalasz, które decyzje naprawdę wymagają człowieka, a potem dokładasz tarcie tylko tam.

Stosuj funkcje wymuszające zamiast funkcji proszących

Funkcja wymuszająca (forcing function) to element procesu, który fizycznie uniemożliwia pójście na skróty — w odróżnieniu od ostrzeżenia, które tylko prosi. Klasyczny chwyt to wymóg, by nadzorca najpierw sformułował własną ocenę, a dopiero potem zobaczył podpowiedź AI. Gdy własny osąd jest już zapisany, znacznie trudniej bezrefleksyjnie przyjąć cudzy. Inne przykłady: konieczność zaznaczenia konkretnej przesłanki z dokumentu, a nie ogólnego „zgadzam się“; blokada zatwierdzenia, dopóki nie wypełniono pola z powodem odstępstwa. Dobra funkcja wymuszająca sprawia, że przyklepnięcie kosztuje tyle samo co rzetelna ocena — a wtedy znika sens chodzenia na skróty.

Pokazuj niepewność, a nie tylko werdykt

Systemy zaprojektowane tak, by mówiły pewnym, jednoznacznym tonem, wzmacniają skłonność do automatyzacji. Człowiek widzi gładką, zdecydowaną rekomendację i odbiera ją jako autorytatywną. Lekarstwem jest uczciwe pokazywanie niepewności: poziomu pewności modelu, rozrzutu wyników, sygnału „to przypadek nietypowy, model rzadko widywał podobne“. Kiedy interfejs jasno komunikuje, że akurat tutaj jest mniej pewny, uwaga człowieka wraca dokładnie tam, gdzie jest najbardziej potrzebna. Odwrotnie działa fałszywa pewność siebie — to ona zamienia asystenta w wyrocznię. Warto też pokazywać uzasadnienie, na jakich danych oparła się rekomendacja, bo bez kontekstu nadzorca nie ma czego oceniać poza samym werdyktem.

Rotuj recenzentów i mierz wskaźnik odrzuceń

Im dłużej ta sama osoba nadzoruje ten sam dobrze działający system, tym głębiej osuwa się w rutynę. Rotacja recenzentów odświeża spojrzenie i utrudnia wytworzenie się odruchu „klikam jak zwykle“. Tam, gdzie stawka jest najwyższa, AI Act przewiduje wręcz zasadę dwóch par oczu — w przypadku niektórych systemów biometrycznych wysokiego ryzyka decyzję musi potwierdzić co najmniej dwoje kompetentnych ludzi. Niezależnie od wymogów prawa warto mierzyć wskaźnik odrzuceń: jak często nadzorcy faktycznie zmieniają decyzję AI. Wynik bliski zeru przy zerowym czasie namysłu to nie dowód, że system jest doskonały — to najpewniej sygnał, że nadzór przestał działać i zaczęło się przyklepywanie.

Porównanie: nadzór działający kontra nadzór pozorny

Wymiar	Nadzór, który działa	Nadzór pozorny (przyklepywanie)
Kolejność	Najpierw własna ocena, potem podpowiedź AI	Najpierw werdykt AI, potem ewentualna zgoda
Czas na decyzję	Proporcjonalny do wagi sprawy	Ułamek sekundy niezależnie od stawki
Niepewność	Pokazana wprost, kieruje uwagę	Ukryta za pewnym tonem rekomendacji
Prawo do sprzeciwu	Realne, bez kary za odstępstwo	Formalne, ale kosztowne lub kłopotliwe
Wskaźnik odrzuceń	Niezerowy, śledzony w czasie	Bliski zeru, nikt go nie mierzy
Skutek pomyłki AI	Wychwycony przez człowieka	Przechodzi dalej z ludzką pieczątką

Od czego zacząć w praktyce?

Nie trzeba przebudowywać wszystkiego naraz. Sensowna kolejność wygląda tak. Po pierwsze, wskaż decyzje wysokiej stawki — te trudne do cofnięcia, dotkliwe dla ludzi albo obciążone wymogiem prawnym. Po drugie, dla każdej z nich dobierz jedną funkcję wymuszającą i jedno celowe tarcie, zamiast rozsypywać ostrzeżenia po całym procesie. Po trzecie, odsłoń niepewność modelu wszędzie tam, gdzie ją masz, i przestań projektować interfejsy mówiące nienaturalnie pewnym tonem. Po czwarte, zacznij mierzyć wskaźnik odrzuceń i traktuj jego spadek do zera jak alarm, a nie sukces.

Najważniejszy wniosek jest jeden i wart powtórzenia: skłonność do automatyzacji to nie wina konkretnego pracownika, którego można zastąpić bardziej sumiennym. To właściwość ludzkiego poznania, która ujawnia się zawsze, gdy maszyna podsuwa gotową odpowiedź. Dlatego nadzoru nie da się uratować dyscypliną — można go uratować wyłącznie projektem. Więcej wzorców współpracy człowieka z systemem zebrałem w klastrze Projektowanie współpracy człowiek–AI.