Алгоритмични пристрастия

Определение

Алгоритъмът не е пристрастен само защото отказва на някого. Кредитен алгоритъм може да откаже заем, без да е несправедлив, ако последователно претегля относими финансови критерии; той е пристрастен, ако препоръчва заеми на една група потребители, а отказва на друга, почти идентична група въз основа на несвързани критерии, и това се повтаря^[4].

Тъй като алгоритмите често се смятат за неутрални, те могат да изглеждат по-авторитетни от човешката експертиза — отчасти заради психологическия феномен „автоматизационно пристрастие“ — и разчитането на тях понякога измества човешката отговорност за резултатите^[5].

Видове пристрастия

NIST описва системните пристрастия като резултат от процедури и практики на институции, които поставят едни социални групи в по-изгодно положение, а други — в неизгодно^[6].

Статистическите и изчислителните пристрастия произтичат от грешки, когато извадката не е представителна за съвкупността. Те се дължат на систематична, а не на случайна грешка и могат да съществуват без предразсъдък или умисъл за дискриминация^[7].

Човешките пристрастия са систематични грешки в човешкото мислене, основани на ограничен брой евристични принципи; те често са неявни и засягат начина, по който човек възприема информацията — включително резултатите на автоматизирана система — за да вземе решение^[8].

Особен случай е обратната връзка: данните, събрани за алгоритъма, предизвикват реакции в реалния свят, които отново постъпват в алгоритъма. Симулации на софтуера за предиктивна полиция PredPol в Оукланд, Калифорния, показват, че той би засилил полицейското присъствие в черните квартали въз основа на сигналите за престъпления от гражданите^[9].

История

В книгата си „Компютърна мощ и човешки разум“ от 1976 г. пионерът на изкуствения интелект Джоузеф Вайценбаум допуска, че пристрастие може да възникне както от данните, използвани от програмата, така и от начина, по който тя е написана^[10].

Ранен пример е медицинският факултет на болницата „Сейнт Джордж“ в Лондон: от 1982 до 1986 г. до 60 жени и представители на етнически малцинства годишно са били отказвани заради компютърна система за оценка, която възпроизвежда историческите тенденции при приема и отхвърля кандидати с „чуждо звучащи имена“^[11].

Известни случаи

През 2016 г. ProPublica анализира оценките на риска, дадени от алгоритъма COMPAS на над 7000 арестувани в окръг Бровард, Флорида, през 2013 и 2014 г.; само 20% от хората, за които е прогнозирано тежко престъпление, действително го извършват^[12]. Според разследването формулата греши за черни и бели обвиняеми с приблизително еднаква честота, но по различен начин: черните обвиняеми са фалшиво определяни като бъдещи престъпници почти два пъти по-често от белите^[13].

През 2018 г. Джой Буоламуини и Тимнит Гебру показват, че две широко използвани бази с лица се състоят предимно от хора със светла кожа (79,6% и 86,2%). При три търговски системи за разпознаване на пола жените с тъмна кожа са най-често грешно класифицираната група — с грешки до 34,7%, срещу най-много 0,8% при мъжете със светла кожа^[14].

През 2019 г. изследване в Science открива расово пристрастие в широко използван американски здравен алгоритъм: черни пациенти със същата оценка на риска са по-болни от белите. Причината е, че алгоритъмът използва разходите за лечение като заместител на здравните нужди, а за черни пациенти със същите нужди се харчат по-малко пари^[15]. Преформулирането на алгоритъма така, че да не използва разходите като заместител, премахва пристрастието^[16].

Тестовете на NIST на алгоритми за лицево разпознаване показват, че фалшивите положителни съвпадения често се различават между демографските групи от 10 до над 100 пъти^[17]. Според същия доклад при алгоритми, разработени в Китай, ефектът е обърнат — с ниски нива на фалшиви съвпадения при лица от Източна Азия^[18].

През 2015 г. Amazon спира система за подбор на кандидати за работа, след като установява, че тя е пристрастна срещу жени; инструментът изключва кандидати от женски колежи и автобиографии с думата „women's“^[19].

В Нидерландия данъчните власти използват от 2013 г. алгоритъм за откриване на неправомерни искания за детски надбавки, в който липсата на нидерландско гражданство е рисков фактор. Според Amnesty International десетки хиляди родители, предимно от семейства с ниски доходи, са фалшиво обвинени в измама, а скандалът сваля правителството през януари 2021 г.^[20] Системата се самообучава без смислен човешки надзор и създава „дискриминационен цикъл“^[21].

Невъзможността да се удовлетворят всички критерии

Спорът около COMPAS показва, че „справедливост“ може да означава различни неща. През 2016 г. Джон Клайнбърг, Сендил Мулайнатан и Маниш Рагаван формализират три условия за справедливост на вероятностна класификация и доказват, че освен в силно ограничени частни случаи никой метод не може да ги изпълни едновременно^[22].

Александра Хулдекова стига до сходен извод: критериите не могат да бъдат изпълнени едновременно, когато честотата на повторно престъпление се различава между групите, а несъразмерно въздействие може да възникне, ако инструментът не постига баланс на грешките^[23]. Изборът между определенията за справедливост е следователно ценностен, а не само технически въпрос.

Регулиране

Законът на ЕС за изкуствен интелект изисква за високорисковите системи данните за обучение да се проверяват за възможни пристрастия, които могат да засегнат здравето и безопасността на хората, да имат отрицателно въздействие върху основните права или да доведат до забранена дискриминация — особено когато резултатите влияят на входните данни за бъдещи операции, — както и подходящи мерки за откриването, предотвратяването и смекчаването им^[24].

Amnesty International призовава правителствата незабавно да забранят използването на данни за гражданство и етническа принадлежност при оценката на риска за правоприлагащи цели^[25].

Доказателства към твърденията

1. Algorithmic bias
   Wikipedia
   Отвори източника
2. Algorithmic bias
   Wikipedia
   Отвори източника
3. Towards a Standard for Identifying and Managing Bias in Artificial Intelligence, NIST SP 1270
   National Institute of Standards and Technology · 2022-03
   Отвори източника
4. Algorithmic bias
   Wikipedia
   Отвори източника
5. Algorithmic bias
   Wikipedia
   Отвори източника
6. Towards a Standard for Identifying and Managing Bias in Artificial Intelligence, NIST SP 1270
   National Institute of Standards and Technology · 2022-03
   Отвори източника
7. Towards a Standard for Identifying and Managing Bias in Artificial Intelligence, NIST SP 1270
   National Institute of Standards and Technology · 2022-03
   Отвори източника
8. Towards a Standard for Identifying and Managing Bias in Artificial Intelligence, NIST SP 1270
   National Institute of Standards and Technology · 2022-03
   Отвори източника
9. Algorithmic bias
   Wikipedia
   Отвори източника
10. Algorithmic bias
    Wikipedia
    Отвори източника
11. Algorithmic bias
    Wikipedia
    Отвори източника
12. Machine Bias
    ProPublica · 2016-05-23
    Отвори източника
13. Machine Bias
    ProPublica · 2016-05-23
    Отвори източника
14. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification
    Proceedings of Machine Learning Research, vol. 81 · 2018
    Отвори източника
15. Dissecting racial bias in an algorithm used to manage the health of populations
    Science · 2019-10-25
    Отвори източника
16. Dissecting racial bias in an algorithm used to manage the health of populations
    Science · 2019-10-25
    Отвори източника
17. Face Recognition Vendor Test (FRVT) Part 3: Demographic Effects, NISTIR 8280
    National Institute of Standards and Technology · 2019-12
    Отвори източника
18. Face Recognition Vendor Test (FRVT) Part 3: Demographic Effects, NISTIR 8280
    National Institute of Standards and Technology · 2019-12
    Отвори източника
19. Algorithmic bias
    Wikipedia
    Отвори източника
20. Xenophobic machines: Dutch child benefit scandal
    Amnesty International · 2021-10-25
    Отвори източника
21. Xenophobic machines: Dutch child benefit scandal
    Amnesty International · 2021-10-25
    Отвори източника
22. Inherent Trade-Offs in the Fair Determination of Risk Scores
    arXiv · 2016-09-19
    Отвори източника
23. Fair prediction with disparate impact: A study of bias in recidivism prediction instruments
    arXiv · 2017-02-28
    Отвори източника
24. Regulation (EU) 2024/1689 (Artificial Intelligence Act)
    EUR-Lex · 2024-07-12
    чл. 10, пар. 2
    Отвори източника
25. Xenophobic machines: Dutch child benefit scandal
    Amnesty International · 2021-10-25
    Отвори източника