Moni pitäisi tätä ajatuskoetta esimerkkinä algoritmien epäoikeudenmukaisuudesta. Esimerkissä kuvataan sitä, miten algoritmit itsessään voivat johtaa epäoikeudenmukaisiin tuloksiin, ja lisäksi sitä, miten algoritmit voivat vahvistaa jo olemassa olevia taloudellisia ja yhteiskunnallisia vinoumia.

Oikeudenmukaisuus ja vinoumat ovat luultavasti puhutuimpia eettisiä kysymyksiä, jotka liittyvät nykyisiin algoritmeihin. Miksi nämä aiheet ovat niin keskeisiä?

• Ensinnäkin oikeudenmukaisuus on sosiaalisen vakauden perustekijä. Kuten filosofi John Rawls huomauttaa, yhteiskunnan – tai minkä tahansa ryhmän – vakaus riippuu siitä, missä määrin yhteiskunnan jäsenet kokevat, että heitä kohdellaan oikeudenmukaisesti. Kun jotkut yhteiskunnan jäsenistä kokevat, että heitä kohdellaan epäoikeudenmukaisesti, se luo tavallisesti perustan yhteiskunnallisille levottomuuksille, häiriöille ja kiistoille. Sosiaalinen yhtenäisyys säilyy vain siinä määrin kuin ihmiset pitävät instituutioitaan oikeudenmukaisina.
• Toiseksi, kuten Immanuel Kant huomautti, ihmiset ovat yhtä arvokkaita. Tämän vuoksi heillä on oikeus tulla kohdelluiksi tasavertaisina. Jos yksilöitä kohdellaan epäoikeudenmukaisesti – erityisesti mielivaltaisin perustein – heidän perustavanlaatuista ihmisarvoaan loukataan. Kun tämä loukkaus toteutetaan käytännössä, se johtaa syrjintään.

Kuten esimerkki arvosanainflaatioalgoritmista osoittaa, oikeudenmukaisuus on kuitenkin monimutkainen kysymys. Algoritmi suunniteltiin korjaamaan arvosanainflaatiota, koska ajateltiin olevan epäoikeudenmukaista, jos oppilaat saisivat arvosanoihinsa liittyvää perusteetonta etua. Tämän seurauksena algoritmi päätyi paradoksisesti vahvistamaan jo olemassa olevia yhteiskunnallisia vinoumia.

Tässä luvussa keskitymme oikeudenmukaisuuteen, vinoumiin ja syrjintään. Käsittelyn kohteena ovat esimerkiksi seuraavat kysymykset: Mitä oikeudenmukaisuus tarkalleen ottaen on? Pitäisikö oikeudenmukaisuuden koostua sen varmistamisesta, että kaikilla on yhtäläinen todennäköisyys saada jokin hyöty? Vai pitäisikö oikeudenmukaisuudessa ottaa huomioon yksilölliset erot ja tunnustaa moninaisuus? Entä ovatko oikeudenmukaisuus ja syrjimättömyys synonyymejä, vai tarkoittavatko ne eri asioita?