Wyobraź sobie świat, w którym sztucznie inteligentne algorytmy podejmują decyzje wpływające na twoje codzienne życie. Teraz wyobraź sobie, że są uprzedzeni.
To świat, w którym już żyjemy, mówi naukowiec, dr Harvard i autor Cathy O'Neil. (Przeczytaj część pierwszą naszej dyskusji z dr O'Neilem tutaj). Usiedliśmy z nominowanym do nagrody National Book Award, aby dowiedzieć się, co możemy zrobić z uprzedzeniami w dobie dużych zbiorów danych. CT: Czy AI jest uprzedzone?
CO: Każdy algorytm, który nie został jawnie uznany za sprawiedliwy, powinien zostać uznany za naruszony. Ponieważ jako ludzie jesteśmy uprzedzeni. Jeśli uznamy to i tworzymy te algorytmy na podstawie naszych wartości i naszych danych, nie powinniśmy zakładać, że coś magicznie się wydarzyło, aby zapewnić uczciwość. Nie ma tam magii.
CT: Skąd algorytmy uzyskują swoje dane?
CO: To zależy od algorytmu. Czasami media społecznościowe, takie jak kierowanie na rynek polityczny lub reklama, kolegia dla zysku i drapieżne pożyczki - ale wiele danych nie jest gromadzonych w mediach społecznościowych, a nawet w Internecie.
Zbieranie danych jest coraz bardziej powiązane z rzeczywistością, np. Zdobyciem pracy, pracą w pracy, pójściem na studia lub do więzienia. Te rzeczy nie są czymś, co możemy obejść dzięki przepisom dotyczącym prywatności. Są to problemy władzy, w których ludzie, których dotyczą algorytmy, nie mają władzy, a ludzie, którzy zbierają informacje, budują i wdrażają algorytmy, mają całą moc. Nie masz żadnych praw do prywatności, jeśli jesteś oskarżonym w sprawach karnych, nie masz żadnych praw do prywatności w pracy i nie masz zbyt wiele praw do prywatności, jeśli ubiegasz się o pracę, ponieważ jeśli nie odpowiesz na pytania, które zadał ci twój przyszły pracodawca, prawdopodobnie nie dostaniesz pracy.
Powinniśmy mniej myśleć o prywatności, a więcej o sile, jeśli chodzi o algorytmy i szkody, które mogą wyrządzić.
CT: Co możemy zrobić, aby było lepiej?
CO: Możemy uznać, że te algorytmy nie są z natury doskonałe i przetestować je pod kątem wad. Powinniśmy mieć ciągłe audyty i monitory - szczególnie w przypadku ważnych decyzji, takich jak zatrudnienie, skazanie w sprawach karnych lub ocenianie osób w ich pracy - aby upewnić się, że algorytmy działają tak, jak chcemy, a nie w sposób dyskryminujący lub niesprawiedliwy.
Ailsa Johnson / © Culture Trip
CT: Jakie są najlepsze i najgorsze scenariusze dla przyszłości opartej na danych?
CO: Najgorszym scenariuszem jest to, co mamy teraz - że wszyscy ślepo oczekujemy, że algorytmy będą doskonałe, mimo że do tej pory powinniśmy wiedzieć lepiej. I propagujemy niesprawiedliwości i niesprawiedliwości z przeszłości. I nadal ignorujemy wady tych algorytmów.
Najlepszy scenariusz to uznanie, że te algorytmy nie są z natury lepsze niż ludzie. Decydujemy, czego chcemy jako ludzie, do czego dążymy. Jak chcemy, aby społeczeństwo wyglądało i uczymy tych wartości. Jeśli zrobimy to z powodzeniem, algorytmy te mogą być lepsze niż ludzie.
CT: Jaką rolę mogą odegrać codzienni ludzie?
CO: Najważniejszą rolą, jaką może odegrać jednostka, jest niejawne zaufanie do żadnego algorytmu. Mieć ogromną ilość sceptycyzmu. Jeśli oceniasz algorytm, zapytaj: „Skąd mam wiedzieć, że jest sprawiedliwy, skąd mam wiedzieć, że jest pomocny, skąd mam wiedzieć, że jest prawidłowy? Jaki jest poziom błędu? Dla kogo ten algorytm zawodzi? Czy zawodzi kobiety czy mniejszości? Zadaj tego rodzaju pytanie.
Drugą rzeczą, poza sceptycyzmem, jest to, że jeśli uważasz, że algorytm jest niesprawiedliwy wobec ciebie lub innych ludzi, to organizować się z tymi innymi ludźmi. Najnowszym przykładem są nauczyciele. Modele statystyczne dotyczące nauczycieli o wartości dodanej są okropnymi, niemal losowymi generatorami liczb. Ale byli oni wykorzystywani do decydowania, którzy nauczyciele powinni uzyskać zatrudnienie, a którzy nauczyciele powinni zostać zwolnieni w całych Stanach Zjednoczonych.
Sugeruję, aby przywrócili związek. I tak się stało w niektórych miejscach. Zaskakujące jest jednak to, jak mały był opór ze względu na matematyczny charakter systemu punktacji.
CT: Jak dostałeś się do „dużych zbiorów danych”?
CO: Pracowałem na Wall Street i byłem świadkiem kryzysu finansowego od wewnątrz. Byłem zdegustowany sposobem, w jaki matematyka była wykorzystywana do wykorzystywania ludzi lub oszukiwania ludzi. Widziałem rodzaj szkód, które mogą wynikać z kłamstw matematycznych, co nazywam „uzbrojeniem matematyki”.
Postanowiłem od tego uciec, więc dołączyłem do Occupy Wall Street i zacząłem pracować jako informatyk. Powoli zdałem sobie sprawę, że widzimy błędne i wprowadzające w błąd szumy wokół mylących algorytmów danych, które dzieją się również poza Wall Street, i że doprowadzi to do wielu szkód. Różnica polegała na tym, że chociaż ludzie na całym świecie zauważyli kryzys finansowy, nie sądziłem, że ludzie zauważą błędy tych algorytmów dużych zbiorów danych, ponieważ zwykle zdarzają się one na poziomie indywidualnym.
Przeczytaj część pierwszą naszej dyskusji z dr O'Neilem tutaj. Książka dr Cathy O'Neil, The Weapons of Math Destruction: How Big Data zwiększa nierówności i zagraża demokracji, jest już dostępna.
