Många skulle se det här tankeexperimentet som ett exempel på algoritmbaserad orättvisa. Det visar inte bara hur algoritmerna själva kan leda till orättvisa resultat, utan även hur de kan förstärka den befintliga ekonomiska och sociala partiskheten.

Rättvisa och partiskhet är förmodligen de mest debatterade etiska frågorna när det kommer till moderna algoritmer. Varför är de så viktiga?

• För det första är rättvisa en grundläggande faktor för social stabilitet. Filosofen John Rawls uttryckte det som att stabiliteten i ett samhälle – eller vilken grupp som helst – beror på i hur stor uträckning medborgarna känner att de behandlas rättvist. När vissa av medborgarna känner att de utsätts för orättvis behandling leder det ofta till social oro, oroligheter och stridigheter. Människor bibehåller harmonin i samhället endast så länge dess institutioner är rättvisa.
• För det andra har alla människor som Immanuel Kant påpekade samma värde. I kraft av detta värde har de rätt att behandlas som jämlika. När individer behandlas orättvist – särskilt om det sker med godtycke – kränks deras grundläggande människovärde. När denna kränkning genomförs i praktiken leder det till diskriminering.

Exemplet med betygsinflation visar oss dock att rättvisa är en komplicerad fråga. Algoritmen utformades för att kompensera för betygsinflation eftersom det ansågs att det vore orättvist om vissa elever fick ett högre betyg än de annars skulle ha fått. Resultatet blev paradoxalt nog att algoritmen i slutänden förstärkte den i samhället befintliga partiskheten.

I det här kapitlet fokuserar vi på rättvisa, partiskhet och diskriminering. Vi berör frågor som: Exakt vad är rättvisa? Innebär rättvisa att vi måste se till att alla har samma möjlighet att få en viss fördel? Eller ska rättvisa ta hänsyn till individuella skillnader och värdesätta mångfalden? Slutligen, är rättvisa och diskriminering synonyma termer, eller syftar de på olika saker?