Technologia nie zagwarantuje równości

Jędrzej Niklas z London School of Economics w rozmowie z Bartłomiejem Kozkiem opowiada, w jaki sposób mogą dyskryminować nas algorytmy i apeluje, byśmy nie zostawiali ich w rękach informatyków.

Bartłomiej Kozek: Czym są algorytmy i w jaki sposób mogą one wpływać na nasze zachowania jako konsumentów i obywateli?

Jędrzej Niklas: Algorytmy to modele matematyczne, reguły zachowania, które mogą prowadzić do podejmowania określonych decyzji. Możemy je określić mianem silnika systemów informatycznych, dzięki któremu podejmowane są np. decyzje o naszej ocenie kredytowej czy tym, co wyświetla się na naszym Facebooku.

Są one trochę jak maszynka do mielenia mięsa, do której wrzucamy dane i z której – w zależności od tego, do czego chcemy je zastosować – wychodzi ostateczny wyrób. Ich zastosowania zaczynają być coraz bardziej zaawansowane – stosuje się je od przesiewania kandydatów w procesach rekrutacyjnych dużych, atrakcyjnych na rynku pracy korporacji czy tym, czy dany pasażer samolotu może stanowić zagrożenie terrorystyczne.

BK: Czemu warto się nimi interesować?

JN: Algorytmy stają się coraz bardziej wszechobecne – zarówno w sektorze prywatnym, jak i publicznym. Argumenty na rzecz ich stosowania obejmują kwestie efektywności, sprawności, a nawet otaczająca je (i atrakcyjna dla decydentów) aura nowoczesności. Maszynę uznaje się za bardziej obiektywną w podejmowaniu decyzji niż ludzie, co ma mieć istotne zdarzenie w wypadku ryzykownych decyzji albo gdy chcemy odsiać nasze uprzedzenia – świadome lub nie.

Maszyna ma być od nich wolna, ale tak nie jest.

BK: Dlaczego?

JN: Algorytmy znajdują zastosowanie przy zarządzaniu dużymi grupami ludzi albo dużymi pieniędzmi. Odbywające się za ich pomocą kategoryzowanie ludzi ma charakter sortowania, a to z może prowadzić do dyskryminacji.

Tworząc idealny model matematyczny kreuje się go na podstawie pewnych założeń, tworzonych przez człowieka. Trudno zatem, by miały być zupełnie wolne podzielanych przez niego założeń czy uprzedzeń (ang. biases).

Automatyczne systemy informatyczne funkcjonują w pewnym układzie – instytucji; ludzi, które je stosują i ludzi, wobec których są stosowane. Obecnie jeszcze nie wiemy jak dokładnie wyglądają interakcje między technologiami a tymi różnymi aktorami. Przykłady które docierają do opinii publicznej pozwalają jednak sądzić, że często może tutaj dochodzić do krzywdy. A skrzywdzonym będzie biedniejszy, należący do mniejszości etnicznej czy kobieta.

Znany jest przykład angielskiej szkoły St. George Medical School, w której algorytm rekrutacyjny został przygotowany na podstawie danych historycznych. Sęk w tym, że w nieproporcjonalniy sposób odsiewał on kobiety i osoby o nieeuropejsko brzmiącym nazwisku. Nieświadomie, w nadziei na stworzenie obiektywnej miary wpisano w niego dane, historyczne założenia o niedostosowaniu kobiet do wykonywania praktyki lekarskiej, które kierowały niegdyś strategią przyjmowania studentów.

Innym rażącym przykładem może tu być tu sprawa, opisana przez portal Pro Publica. Autorzy przywoła ankietę prezentowaną w niektórych stanach USA osobom podejrzanym o przestępstwo. Wywiad ten ma mierzyć ryzyko recydywy ze strony podejrzanego. Badanie tego systemu wykazało, że dyskryminował on Afroamerykanów i Latynosów

BK: W jaki sposób?

JN: Znajdowały się w nim pytania o przestępstwa w rodzinie, zażywanie narkotyków czy o miejsce zamieszkania (dzielnice). W kraju takim jak Stany miasta są mocno segregowane przestrzennie, a ryzyko trafienia do więzienia w wypadku sporej części mniejszości etnicznych jest większe niż u białych.

Odpowiedzi wprowadzano do komputera, a ten wyliczał ich punkty, wagę i wyjątki. Czasem w taki sposób, że w gronie dwóch osób – czarnej i białej – dokonującej wspólnie tego samego przestępstwa zupełnie mylił się co do oceny tego, kto w tej parze będzie bardziej skłonny znów złamać prawo.

Inny przykład wiąże się z poszukiwaniem potencjalnych i profilowaniem klientów dla konkretnych produktów. I tutaj mogą być replikowane nierówności. W Polsce taki problem jest z firmami aktywnie wyszukującymi klientów dla oferowanych przez siebie chwilówek. Na portalach społecznościowych poszukiwani są klienci gorzej sytuowani i emeryci.

Za oceanem na celowniku prywatnych szkół wyższych a la Trump University trafiają osoby ubogie czy weterani. Facebook z kolei pozwala, by reklamy wynajmu nieruchomości nie pokazywały się konkretnym grupom etnicznym.

Reklama staje się coraz bardziej stargetowana, coraz trudniej się nam jej oprzeć – choćby dlatego, że zacierają się granice między nią a treściami informacyjnymi. Komercyjne modele informatyczne pozostają poza kontrolą, objęte tajemnicą handlową.

BK: To chyba problem nie tylko algorytmów komercyjnych, ale również i tych stosowanych w administracji publicznej…

JK: Widać to było w wypadku profilowania bezrobotnych w Polsce. Trzeba było aż interwencji organizacji społecznej by dowiedzieć się, w jaki sposób odbywa się kategoryzowanie bezrobotnych. Nie dość, że reguła ich przydzielania do jednej z trzech grup była nieprzejrzysta (a zależało od niej to, czy i jakie oferty pracy lub szkoleń dostanie dana osoba), to jeszcze same reguły oceniania raz na jakiś czas zmieniane było przez Ministerstwo Pracy.

Równie nieprzejrzysty był też mocno krytykowany mechanizm wydawania decyzji o przyznaniu (lub nie) zasiłku w Australii. Automatyczny system do zarządzania zasiłkami dla bezrobotnych w stanie Michigan „błędnie” oskarżył 20 tys. osób o welfare fraud i odebrał im świadczenia. Władze stanowe musiały zapłacić ponad 5 milionów dolarów odszkodowania.

BK: Badacze tematu zaczynają w kontekście dyskusji nad algorytmami poruszać kwestie takiej jak sprawiedliwość społeczna. Patrząc się na wspomniane przez Ciebie przed chwilą przykłady widać, że staje się to coraz bardziej palącym problemem…

JK: Cathy O’Neil, autorka świetnej książki Weapons of Math Distruction, pokazała to na przykładzie USA. W tamtejszym systemie szkoły publiczne są słabo dofinansowane, chodzą do nich słabsi uczniowie. Uznano, że problemem nie mogą być nierówności, lecz… źli nauczyciele. Stworzono system ich oceny, oparty na wynikach podopiecznych.

Gdy jedna z nauczycielek w Waszyngtonie, świetnie oceniana przez rodziców i dyrekcję, za to fatalnie przez algorytm usiłowała dowiedzieć się, co było nie tak okazało się, że otrzymanie szczegółowych danych było bardzo trudne. Ostatecznie, mimo wykrycia „błędu w systemie”, straciła pracę.

Algorytm stał się sędzią, podtrzymującym niesprawiedliwy porządek. Porządek, w którym wspomniana nauczycielka przeszła do dobrej szkoły prywatnej, a i tak już zagrożeni wykluczeniem uczniowie stracili dobrą pedagożkę.

BK: Wiemy już, dlaczego warto interesować się algorytmami. W jaki sposób możemy jednak poddawać je demokratycznej kontroli?

JN: Wśród pomysłów pojawiają się idee tworzenia osobnych urzędów, zajmujących się dopuszczaniem algorytmów do obrotu rynkowego, badających konsekwencje wdrażania ich w praktyce – trochę jak w wypadku rynku farmaceutycznego albo, jak określa ją badający temat Ben Schneiderman, agencji oceny wypadków drogowych. Podobny pomysł wspiera m.in. niemiecki minister sprawiedliwości, Heiko Maas.

BK: Nie wszyscy muszą być zachwyceni pomysłem na powoływanie do życia kolejnego urzędu…

JN: Problem nie polega na tym, że wygenerowałoby to więcej biurokracji – dużo większą pułapką może tu okazać się przyjęcie podejścia „one size fits all”. Wcielane w życie przez korporacje i instytucje publiczne technologie funkcjonują w konkretnych kontekstach. Inne są praktyczne konsekwencje wykorzystywania algorytmów w sektorze finansowym, inne zaś w administracji publicznej czy usługach publicznych. Fundamentalnym pytaniem jest więc to jakiego typu algorytmy należy regulować.

Regulowanie każdego z tych sektorów wymaga posiadania specjalistycznej wiedzy. Google zmienia swoje algorytmy wielokrotnie w ciągu jednego roku – zasadne wydaje się więc pytanie o to, kto miałby mieć kompetencje do tego, by oceniać każdą z tych zmian.

BK: Jaka może być w takim razie alternatywa dla stworzenia pojedynczej instytucji regulatora rynku cyfrowego?

JN: Powinniśmy zacząć od innego punktu wyjścia. W już istniejącym systemie musimy zidentyfikować niepokojące nas elementy wymagające interwencji, związane z kwestiami takimi jak przejrzystość oraz odpowiedzialność (accountability) graczy rynkowych oraz instytucji publicznych za swoje działania. Kluczowymi zagadnieniami są tu procesy tworzenia algorytmów oraz skutki ich zastosowania w praktyce.

Potrzebna jest nam dziś przede wszystkim zmiana paradygmatu instytucji takich jak sądy, trybunały obrachunkowe, organy ochrony praw człowieka czy regulatorzy rynkowi. W szybkim tempie muszą się one nauczyć lepszej współpracy między sobą w rozwiązywaniu konkretnych, międzysektorowych problemów.

Kluczowe będą tu mechanizmy sieciujące urzędy oraz umożliwiające im lepsze wykorzystanie swoich kompetencji. Jeśli już miałby powstawać jakiś nowy urząd to po to, by zajął się koordynacją tego typu działań.

Ważne jest również by dostosować obecnie obowiązujące zasady państwa prawnego do tych fundamentalnych zmian technologicznych. Wydaje mi się, że gwarancje procesowe jednostki, zasady partycypacji społecznej czy konsultacji publicznych da się z sukcesem przyłożyć do problemów, które wprowadzają nam kwestie cyfrowe. Warto również sięgnąć do dyskusji prowadzonych w latach 80-tych i 90-tych na temat informatyki prawniczej.

BK: Wróćmy jeszcze do algorytmów. Są już kraje, które w kwestii ich regulacji zaszły dalej niż inne?

JN: W wypadku Francji doszło do otwarcia niektórych kodów różnego rodzaju kalkulatorów, stosowanych w instytucjach publicznych – tak, aby możliwe było ocenianie ich wpływu na sprawiedliwość społeczną. Z kolei holenderscy akademicy przedstawili pomysł, by sprawą zajmowała się specjalna komisja parlamentarna, w której parlamentarzyści dyskutowaliby z informatykami.

Wszystkie z tych rozwiązań dotykają fundamentalnego problemu, jakim jest potrzeba przejrzystości. Samo otwarcie kodów może zresztą nie wystarczyć – ludzie nie mają dziś narzędzi, by oceniać wpływ zastosowania tego czy innego algorytmu na rzeczywistość.

Tutaj pojawia się miejsce chociażby dla organizacji społecznych czy dziennikarzy śledczych. To właśnie oni – amerykański portal Pro Publica czy polska Fundacja Panoptykon – skutecznie walczą o przejrzystość algorytmów i potrafią dokonywać oceny ich skutków. Próbuje się także wykorzystywać do tego prawa o ochronie danych osobowych, ale są one dość słabe i wymagają uaktualnienia.

BK: Pojawiają się nawet głosy, że ochrona danych osobowych nie wystarcza…

JN: Widać, że wątek dyskryminacji nie mieści się w kategorii ochrony danych. Systemy informatyczne w wielu wypadkach mogą betonować już zastane struktury i nierówności społeczne.

To wyzwanie, wymagające szerszego spojrzenia. Trzeba sobie zdać sprawę z tego, że algorytmy to problem społeczny, a nie wyłącznie techniczny. Potrzebuje narzędzi prawnych i politycznych do ich rozwiązania, zamiast zamykania ich w obrębie dyskusji technokratów. Politycy, urzędnicy i obywatele nie powinni oddawać całej władzy w ręce informatyków.

BK: Sądząc po działaniach instytucji Unii Europejskiej można odnieść wrażenie, że dostrzegają opisane przez Ciebie problemy. Czy oferują jednak odpowiednie ich rozwiązania?

JN: W przyszłym roku wchodzi w życie duża reforma w zakresie prawa do prywatności, wprowadzająca nowe zasady ochrony danych osobowych. Ma ona być próbą uregulowania praktyk korporacji, dając instytucjom ochrony danych kompetencje do nakładania na firmy wysokich kar finansowych. Wprowadza też obowiązek oceny ryzyka dla przetwarzania danych.

Istnieje realna szansa by instrumenty te mógłby być skutecznie wykorzystywane nie tylko dla ochrony prywatności, ale i również przeciwko nierównemu traktowaniu.

Wspomniany przed chwilą obowiązek ocen ryzyka może uwzględniać np. problem przetwarzania danych prowadzącego do dyskryminacji. W podobnym celu mogą być wykorzystywane przepisy o automatycznych decyzjach czy danych wrażliwych.

Zasady ochrony danych mogą również pomagać w zdobywaniu dowodów na nierówne traktowanie. Inną kwestią mogłaby by za to być ocena systemów informatycznych ze względu na inna zagrożenia dla praw człowieka, chociażby praw socjalnych.

BK: Co zatem trzeba zrobić, by reforma ochrony danych zadziałała w przedstawiony przez Ciebie sposób?

JN: Jak już wspomniałem język ochrony danych jest dziś w kontekście algorytmów i technologii informatycznych dominujący. Nie wyczerpuje on jednak problemów powstałych w wyniku ich stosowania takich jak dyskryminacja w usługach publicznych (np. profilowanie).

Powstająca właśnie Europejska Rada Danych Osobowych powinna we współpracy z zajmującą się ochroną praw człowieka siecią instytucji antydyskryminacyjnych Equinet wypracować wspólne standardy w tej materii. Krajowe organy ochrony danych mogłyby włączyć do swojego myślenia o systemach informatycznych problem nierówności. To oczywiście wykracza poza obecne ramy prawne, jednak GDRP daje ku temu podstawy. Biznes w swoich narzędziach certyfikacji i samoregulacji mógłby z kolei uwzględniać kwestie dyskryminacji jako element oceny ryzyka dla danych osobowych.

Artykuł ukazał się na łamach Zielonego Magazynu Europejskiego

Zdj. Michał Nadolski na licencji CC BY 3.0

---

Jeśli podoba Ci się to, co robimy, prosimy, rozważ możliwość wsparcia Zielonych Wiadomości. Tylko dzięki Twojej pomocy będziemy w stanie nadal prowadzić stronę i wydawać papierową wersję naszego pisma.
Jeżeli /chciałabyś/chciałbyś nam pomóc, kliknij tutaj: Chcę wesprzeć Zielone Wiadomości.