W tym tygodniu ukazała się współredagowana przeze mnie książka pt. „Zaufanie do systemów sztucznej inteligencji”: http://www.wydawnictwopw.pl/index.php?s=karta&id=3800. W jej drugim rozdziale stawiam pewne tezy, które chciałbym niniejszym poddać pod dyskusję. Dotyczą one funkcji wyjaśniających systemów SI oraz ich roli w kształtowaniu relacji zaufania użytkownika do systemu.
Bardzo proszę, aby nie mieć do tych tez zaufania :), spojrzeć na nie krytycznie i wskazać ich słabe punkty…
Tezy są następujące:
1.
Wśród czynników, które wzmacniają zaufanie człowieka do systemów sztucznej inteligencji (SI) na pierwszy plan wybijają się: a) skuteczność – system skutecznie rozwiązuje problemy wchodzące w zakres jego kompetencji, b) zdolność do wyjaśniania – system potrafi wyjaśnić, w sposób przekonujący dla człowieka, dlaczego w danej sytuacji podjął taką a nie inną decyzję; c) elastyczność i otwartość na krytykę – system może zmienić sposób podejmowania decyzji zależnie od interakcji z użytkownikiem; zwłaszcza w przypadku nieskutecznych działań czy błędnych decyzji.
2.
Istnieją systemy SI, które wykazują bardzo ograniczoną zdolność do wyjaśniania podejmowanych decyzji, wskutek czego nazywa się je czarnymi skrzynkami (ang. black boxes). Duża część takich systemów jest oparta na sztucznych sieciach neuronowych (SSN), które nabywają swoje zdolności w drodze niskopoziomowego uczenia się, polegającego na (masowym) modyfikowaniu własności neuronów i połączeń między nimi. Własności te nie przekładają się jednak wprost na wiedzę użytkownika systemu o przyczynach podjęcia przezeń konkretnej decyzji.
3.
Do ogólnych powodów słabych zdolności wyjaśniających niektórych systemów SI (niekoniecznie SSN) należą: a) zbyt duża złożoność strukturalna systemu (w tym: sterującego nim programu), b) interakcja systemu ze środowiskiem (w tym: uczenie się), c) naśladowanie naturalnych układów do przetwarzania informacji (nie dość dobrze poznanych), d) operowanie na danych niepewnych, e) brak procedur translacji operacyjnych reguł niskiego poziomu na czytelne dla człowieka reguły symboliczne.
4.
Funkcje wyjaśniające systemów SI nie są czymś zbędnym. Odpowiadają na naturalną dla człowieka – jako istoty racjonalnej – potrzebę uzasadniania żywionych i przyswajanych sądów, w tym wydawanych i przyjmowanych decyzji.
5.
W aspekcie praktycznym funkcje wyjaśniające są szczególnie ważne wtedy, gdy użytkownik przyjmuje wobec systemu SI zasadę ograniczonego zaufania (ZOZ): nie ufa mu bezgranicznie, licząc się z możliwością popełniania przezeń błędów. Zgodnie z ZOZ, zaufanie do systemu jest stopniowalne, a jego poziom musi być tym wyższy, im w większym stopniu system potrafi eliminować błędy i doskonalić swoje działanie.
6.
W świetle zasady ZOZ istotne jest, że systemy generujące wyjaśnienia, są postrzegane przez użytkowników jako systemy zawierające pewien mechanizm monitorujący, który prócz generowania wyjaśnień, pozwala rozpoznać i usunąć odpowiednie błędy. Ponadto, informacje zawarte w wyjaśnieniach, zwłaszcza te, które dotyczą wewnętrznych parametrów systemu, mogą pomóc w udoskonaleniu systemu przez człowieka, np. programistę.
Zachęcam wszystkich do dyskusji nad przytoczonymi tezami. Ich szersze omówienia można znaleźć we wspomnianej wyżej książce, w rozdziale drugim (mojego autorstwa) pod tytułem „Wyjaśnianie, zaufanie i test Turinga”.
Przytaczam niżej obszerny fragment tego rozdziału, który nieco pełniej niż powyższe punkty naświetla mój punkt widzenia.
***** FRAGMENT ROZDZIAŁU pt. „Wyjaśnianie, zaufanie i test Turinga”
Z KSIĄŻKI „Zaufanie do systemów sztucznej inteligencji” *****
(…)
Zaufanie a wyjaśnianie. Kontekst psychologiczny
Zaufanie jest relacją natury psychicznej, która polega na tym, że pewna osoba, nazwijmy ją podmiotem zaufania, żywi określonego rodzaju przekonanie co do możliwych działań drugiej strony, na przykład osoby, zwierzęcia, instytucji, urządzenia czy systemu. Jest ona mianowicie przekonana, że działania te będą zgodne z jej oczekiwaniami, które z kolei mają swoje uzasadnienie w deklaracjach, zobowiązaniach lub technicznych specyfikacjach (w przypadku artefaktów) drugiej strony. Relacja ta ma charakter kontekstowy. Znaczy to, że oczekiwania podmiotu zaufania zależą silnie od tego, czym jest druga strona relacji i jaką funkcję pełni. Na przykład, czy osoba, której podmiot miałby zaufać, jest pracodawcą, usługodawcą, współpracownikiem, partnerem życiowym etc…
Ponieważ jądrem relacji zaufania są oczekiwania wobec pewnego obiektu (np. osoby), psychologowie bardzo często określają zaufanie za pomocą pojęcia wiarygodności. Oto objaśniający tę kwestię fragment pracy psychologów poznawczych: „Decyzja o zaufaniu opiera się najczęściej na ocenie wiarygodności drugiej osoby. Wiarygodność jest więc podstawą zaufania, a także niezbędnym czynnikiem dla pełnej relacji zaufania. Wiarygodność drugiej osoby oznacza przekonanie, że osoba ta będzie zachowywać się w sposób zgodny z oczekiwaniami.” [Jaklik, Łaguna, 2015]
Kluczową dla relacji zaufania cechę wiarygodności możemy – za M. Szynkiewiczem [2014] – zróżnicować dalej na wiarygodność merytoryczną i wiarygodność etyczno-moralną. Pierwsza zależy od wiedzy, doświadczenia i kompetencji dziedzinowych adresata postawy zaufania, druga – od przejawiających się w jego działaniu norm, zasad i poglądów etycznych. Wiarygodność merytoryczna ma charakter bardziej podstawowy, ponieważ sądy i wybory etyczne muszą dotyczyć działań, które bez należytej wiedzy i bez odpowiednich kompetencji nie mogłyby zostać ani zaplanowane, ani podjęte. Ona też będzie nas interesować w sposób szczególny, ponieważ na obecnym etapie rozwoju systemów informatycznych trudno mówić o maszynach, które autentycznie dokonują samodzielnych wyborów etycznych. Ewentualna etyka czy moralność jest kwestią zewnętrzną – powiązaną z decyzjami ludzi, którzy tak a nie inaczej programują maszyny czy ich używają.
Wyróżniony typ wiarygodności jest weryfikowany w praktyce przez skuteczność działań adresata postawy zaufania. Jest to cecha wpływająca najsilniej na poziom zaufania: im bardziej efekty działań są zgodne z oczekiwaniami, czyli dają oczekiwany skutek, tym większe zaufanie. Przykładowo, jeśli pewien chirurg, stawiał w przeszłości trafne diagnozy i przeprowadził wiele udanych operacji, darzymy jego umiejętności wysokim zaufaniem i bez wahania skierujemy się do niego w potrzebie. Warto zauważyć, że wobec niemożności osiągnięcia przez jakikolwiek podmiot idealnej skuteczności działań, zaufanie do niego musi być silnie uzależnione od jego zdolności do poprawy tejże efektywności. Im dany podmiot jest bardziej otwarty na krytykę, im bardziej jest w stanie eliminować błędy w swoim działaniu i zwiększać w ten sposób swoją skuteczność, tym bardziej jest on godny zaufania.
Relacja zaufania pozostaje zatem zakotwiczona w praktyce, jest też ukierunkowana na przyszłość i stopniowalna. Skoro jest stopniowalna, to powstaje pytanie o dodatkowe czynniki, które istotnie wzmacniają jej siłę.
Twierdzimy, że oprócz kluczowej dla zaufania skuteczności działań (w tym eliminacji błędów zwiększających skuteczność), niezwykle istotną rolę odgrywa tutaj zdolność do wyjaśniania – wyjaśniania motywów działań, stojących za nimi decyzji i przyświecających im celów. Zdolność ta ma zarówno pewne walory praktyczne (o czym powiemy szerzej w kontekście systemów SI), jak i czysto psychologiczne, związane z naturalną dla człowieka potrzebą poszukiwania i uzyskiwania wyjaśnień.
W bliskim psychologii kontekście epistemologicznym kwestia druga wiąże się z samym pojęciem wiedzy, ku której człowiek – jako istota rozumna – w sposób naturalny podąża. W każdej definicji wiedzy podkreśla się czynnik uzasadnienia: jest to zbiór sądów, które oprócz innych własności, muszą posiadać dostatecznie dobre uzasadnienie (por. [Ajdukiewicz, 2006], [Chisholm 1994], [Stacewicz, 2021]). To ostatnie zaś, w formie dostępnej dla człowieka czyli intersubiektywnie komunikowalnej, przyjmuje postać wyjaśnienia, które odpowiada na pytanie „dlaczego?”. Na przykład: „Dlaczego lekarz interpretujący wyniki badań wydał sąd określający konkretną diagnozę i konkretną terapię”. Dostępności tego rodzaju wyjaśnień oczekujemy od każdego eksperta i każdego systemu, który wchodzi w jego rolę. Z samej definicji wiedzy jako czegoś intersubiektywnie dostępnego i komunikowalnego [Ajdukiewicz, 2003] wynika zatem, że wiarygodność merytoryczna – zależna od wiedzy i zdolności jej wykorzystywania – musi być weryfikowana między innymi w oparciu o wyjaśnienia adresata postawy zaufania.
Zaufanie a wyjaśnianie. Kontekst systemów sztucznej inteligencji
Relacja zaufania człowieka do systemów informatycznych – jako relacja natury psychologicznej, której główną stroną jest człowiek – musi mieć swój mentalny wzorzec w relacjach międzyludzkich. Obserwacja ta idzie w parze z ideą testu Turinga, który nakłada na program sztucznej inteligencji sztywne więzy podobieństwa systemów SI do człowieka. Wymóg podobieństwa sprawia, że na zaufanie człowieka do systemu niejako podwójnie wpływają wzorce kształtowane w kontaktach międzyludzkich: po pierwsze dlatego, że podmiotem relacji jest człowiek, po drugie zaś dlatego, że system informatyczny ma przypominać człowieka.
Mając to wszystko na uwadze, uwzględniając przy tym nowy kontekst interesującej nas relacji, możemy uwypuklić ponownie dwa czynniki wzmacniające zaufanie i dodać do nich trzeci. Są to:
-
- skuteczność – system skutecznie rozwiązuje problemy wchodzące w zakres jego kompetencji (im lepsze statystyki poprawnie realizowanych zadań, tym większe zaufanie użytkownika);
- zdolność do wyjaśniania – system potrafi wyjaśnić, w sposób przekonujący dla człowieka, dlaczego w danej sytuacji podjął taką a nie inną decyzję (jednym z możliwych sposobów wyjaśniania jest zrozumiała dla człowieka rekonstrukcja kroków, które doprowadziły do decyzji);
- elastyczność i otwartość na krytykę – system może zmienić sposób podejmowania decyzji zależnie od interakcji z użytkownikiem; zwłaszcza w przypadku nieskutecznych działań, błędnych decyzji etc…
Z dwoma ostatnimi czynnikami wiąże się coś, co moglibyśmy nazwać zasadą ograniczonego zaufania: użytkownik nie ufa systemowi bezgranicznie, licząc się z możliwością popełniania przezeń błędów. W świetle tak rozumianej zasady zaufanie do systemu jest stopniowalne, a jego poziom musi być tym wyższy, im w większym stopniu system potrafi eliminować błędy i doskonalić swoje działanie. Sprzyjają temu obecne w jego oprogramowaniu moduły uczenia się, ale ponadto, silnie powiązana z mechanizmami naprawczymi zdolność do generowania wyjaśnień.
Stawiamy tezę, że przy akceptacji zasady ograniczonego zaufania istotnie wzrasta rola zdolności do generowania wyjaśnień jako czynnika wzmacniającego wiarygodność systemu. Jeśli użytkownik akceptuje zasadę, a więc jest świadom możliwych błędów w działaniu maszyny, to w sposób naturalny łączy wiarygodność ze zdolnością do poprawy tegoż działania. Chodzi przy tym o perspektywę długoterminową, wykraczającą poza wąski horyzont aktualnie realizowanych zadań. Im większe zdolności naprawcze systemu, tym wyższy poziom zaufania do niego w długoterminowej perspektywie aktualnych i przyszłych zadań.
Mechanizm generowania wyjaśnień jest w tym kontekście niezwykle ważny. Generując wyjaśnienia, system nie tylko zaspokaja pewną epistemiczną potrzebę użytkownika (potrzebę poznania uzasadnień czy wyjaśnień), lecz dostarcza mu silnej przesłanki za tym, że w systemie istnieje pewien mechanizm monitorujący, który prócz generowania wyjaśnień, pozwala rozpoznać i usunąć odpowiednie błędy. Ponadto, informacje zawarte w wyjaśnieniach, zwłaszcza te, które dotyczą wewnętrznych parametrów systemu, mogą pomóc w udoskonaleniu systemu przez człowieka, np. programistę. W kontekście możliwej przebudowy układ taki jest więc bardziej godny zaufania niż układ nie dostarczający wyjaśnień.
Chociaż obydwa powiązane ze sobą czynniki – zdolność do generowania wyjaśnień i zdolność do uczenia się – uznaliśmy za pozytywnie wpływające na zaufanie, to trzeba zwrócić uwagę na inny, bardziej negatywny aspekt ich wzajemnej relacji. Otóż mechanizm uczenia się, a dokładniej zmiany powstające w wyniku jego działania, uznaje się za jedną z głównych przyczyn nieprzejrzystości poznawczej systemów informatycznych oraz trudnej interpretowalności uzyskiwanych przezeń wyników [Zednik 2021], [Stacewicz, Greif, 2021]. Typowy proces narastania nieprzejrzystości polega na tym, że w efekcie uczenia się do systemu są wprowadzane pewne techniczne parametry, które mają na celu dostosowanie działania systemu do wymogów realizowanego zadania, nie pozwalają natomiast uchwycić istotnej i zrozumiałej dla człowieka relacji między danymi a wynikami. Problem ten pogłębia się, gdy proces uczenia się zależy istotnie od kroków losowych, które (ponownie) mają zapewnić efektywność systemu, nie zaś przejrzystą dla człowieka formę wyjaśnienia. Okazuje się zatem, że chociaż zdolność do uczenia się skutkuje poprawą jakości działania systemu i jako taka wzmacnia relację zaufania, to w przypadku pewnych form uczenia się – takich mianowicie, które prowadzą do nieprzejrzystości poznawczej układu – relacja zaufania zostaje osłabiona.
Narzucającym się rozwiązaniem tego problemu jest powiązanie uczenia się z wyjaśnianiem w taki sposób, aby w obydwa procesy był zaangażowany ten sam mechanizm monitorowania pracy systemu. Z jednej strony, wyniki działania tego mechanizmu, czyli rejestrowane zmiany systemu, byłyby podstawą uczenia się (korzystnych zmian w systemie), a z drugiej strony, byłyby one wykorzystywane w procesie wyjaśniania (odnoszącym się również do stanów wewnętrznych systemu).
(…)
Jeszcze raz zachęcam wszystkich do dyskusji :).
W dalszej rozmowie mogą okazać się przydatne również pewne dodatkowe materiały:
1) The “black box” metaphor in machine learning
2) Fragment mojej książki, dotyczący problemu czarnej skrzynki
3) Starszy wpis w blogu o przejrzystości poznawczej systemów algorytmicznych
Paweł Stacewicz
