# Алгоритмични пристрастия Алгоритмичните пристрастия са систематични и повтарящи се грешки на компютърни системи, които водят до несправедливи резултати — например привилегироване на една произволно определена група потребители пред други. Те могат да навлязат в системата чрез предварително съществуващи културни, социални или институционални очаквания, чрез избора на признаци и етикети, чрез техническите ограничения на дизайна или чрез употреба в непредвидени контексти. Американският Национален институт по стандарти и технологии (NIST) разграничава три категории пристрастия в изкуствения интелект — системни, статистически и човешки. ## Определение Алгоритъмът не е пристрастен само защото отказва на някого. Кредитен алгоритъм може да откаже заем, без да е несправедлив, ако последователно претегля относими финансови критерии; той е пристрастен, ако препоръчва заеми на една група потребители, а отказва на друга, почти идентична група въз основа на несвързани критерии, и това се повтаря[4]. Тъй като алгоритмите често се смятат за неутрални, те могат да изглеждат по-авторитетни от човешката експертиза — отчасти заради психологическия феномен „автоматизационно пристрастие“ — и разчитането на тях понякога измества човешката отговорност за резултатите[5]. ## Видове пристрастия NIST описва системните пристрастия като резултат от процедури и практики на институции, които поставят едни социални групи в по-изгодно положение, а други — в неизгодно[6]. Статистическите и изчислителните пристрастия произтичат от грешки, когато извадката не е представителна за съвкупността. Те се дължат на систематична, а не на случайна грешка и могат да съществуват без предразсъдък или умисъл за дискриминация[7]. Човешките пристрастия са систематични грешки в човешкото мислене, основани на ограничен брой евристични принципи; те често са неявни и засягат начина, по който човек възприема информацията — включително резултатите на автоматизирана система — за да вземе решение[8]. Особен случай е обратната връзка: данните, събрани за алгоритъма, предизвикват реакции в реалния свят, които отново постъпват в алгоритъма. Симулации на софтуера за предиктивна полиция PredPol в Оукланд, Калифорния, показват, че той би засилил полицейското присъствие в черните квартали въз основа на сигналите за престъпления от гражданите[9]. ## История В книгата си „Компютърна мощ и човешки разум“ от 1976 г. пионерът на изкуствения интелект Джоузеф Вайценбаум допуска, че пристрастие може да възникне както от данните, използвани от програмата, така и от начина, по който тя е написана[10]. Ранен пример е медицинският факултет на болницата „Сейнт Джордж“ в Лондон: от 1982 до 1986 г. до 60 жени и представители на етнически малцинства годишно са били отказвани заради компютърна система за оценка, която възпроизвежда историческите тенденции при приема и отхвърля кандидати с „чуждо звучащи имена“[11]. ## Известни случаи През 2016 г. ProPublica анализира оценките на риска, дадени от алгоритъма COMPAS на над 7000 арестувани в окръг Бровард, Флорида, през 2013 и 2014 г.; само 20% от хората, за които е прогнозирано тежко престъпление, действително го извършват[12]. Според разследването формулата греши за черни и бели обвиняеми с приблизително еднаква честота, но по различен начин: черните обвиняеми са фалшиво определяни като бъдещи престъпници почти два пъти по-често от белите[13]. През 2018 г. Джой Буоламуини и Тимнит Гебру показват, че две широко използвани бази с лица се състоят предимно от хора със светла кожа (79,6% и 86,2%). При три търговски системи за разпознаване на пола жените с тъмна кожа са най-често грешно класифицираната група — с грешки до 34,7%, срещу най-много 0,8% при мъжете със светла кожа[14]. През 2019 г. изследване в Science открива расово пристрастие в широко използван американски здравен алгоритъм: черни пациенти със същата оценка на риска са по-болни от белите. Причината е, че алгоритъмът използва разходите за лечение като заместител на здравните нужди, а за черни пациенти със същите нужди се харчат по-малко пари[15]. Преформулирането на алгоритъма така, че да не използва разходите като заместител, премахва пристрастието[16]. Тестовете на NIST на алгоритми за лицево разпознаване показват, че фалшивите положителни съвпадения често се различават между демографските групи от 10 до над 100 пъти[17]. Според същия доклад при алгоритми, разработени в Китай, ефектът е обърнат — с ниски нива на фалшиви съвпадения при лица от Източна Азия[18]. През 2015 г. Amazon спира система за подбор на кандидати за работа, след като установява, че тя е пристрастна срещу жени; инструментът изключва кандидати от женски колежи и автобиографии с думата „women's“[19]. В Нидерландия данъчните власти използват от 2013 г. алгоритъм за откриване на неправомерни искания за детски надбавки, в който липсата на нидерландско гражданство е рисков фактор. Според Amnesty International десетки хиляди родители, предимно от семейства с ниски доходи, са фалшиво обвинени в измама, а скандалът сваля правителството през януари 2021 г.[20] Системата се самообучава без смислен човешки надзор и създава „дискриминационен цикъл“[21]. ## Невъзможността да се удовлетворят всички критерии Спорът около COMPAS показва, че „справедливост“ може да означава различни неща. През 2016 г. Джон Клайнбърг, Сендил Мулайнатан и Маниш Рагаван формализират три условия за справедливост на вероятностна класификация и доказват, че освен в силно ограничени частни случаи никой метод не може да ги изпълни едновременно[22]. Александра Хулдекова стига до сходен извод: критериите не могат да бъдат изпълнени едновременно, когато честотата на повторно престъпление се различава между групите, а несъразмерно въздействие може да възникне, ако инструментът не постига баланс на грешките[23]. Изборът между определенията за справедливост е следователно ценностен, а не само технически въпрос. ## Регулиране Законът на ЕС за изкуствен интелект изисква за високорисковите системи данните за обучение да се проверяват за възможни пристрастия, които могат да засегнат здравето и безопасността на хората, да имат отрицателно въздействие върху основните права или да доведат до забранена дискриминация — особено когато резултатите влияят на входните данни за бъдещи операции, — както и подходящи мерки за откриването, предотвратяването и смекчаването им[24]. Amnesty International призовава правителствата незабавно да забранят използването на данни за гражданство и етническа принадлежност при оценката на риска за правоприлагащи цели[25]. ## Вижте също - [Австрия: забраненият алгоритъм на бюрото по труда AMS](https://wikib.online/article/avstria-ams-algoritam-bezrabotni) - [Машинно обучение](https://wikib.online/article/mashinno-obuchenie) - [Голям езиков модел](https://wikib.online/article/golyam-ezikov-model) - [Clearview AI и скандалът с лицевото разпознаване](https://wikib.online/article/clearview-ai-litsevo-razpoznavane) - [Китай: „умните съдилища“ и изкуственият интелект в правосъдието](https://wikib.online/article/kitay-internet-sadilishta-ai) - [„Robodebt“: австралийската автоматизирана схема за дългове по социални помощи](https://wikib.online/article/robodebt-afera-avstralia) - [SyRI: холандският алгоритъм за борба с измами, забранен от съда](https://wikib.online/article/syri-algoritam-holandia) - [MiDAS: алгоритъмът на Мичиган, който фалшиво обвини 40 000 души в измама](https://wikib.online/article/midas-algoritam-michigan-sasht) - [Algoritmeregister — нидерландският регистър на държавните алгоритми](https://wikib.online/article/niderlandia-algoritmeregister) - [Естония и „AI съдията“ за дела с малък материален интерес: съобщението от 2019 г. и опровержението](https://wikib.online/article/estonia-ai-sadia-malki-iskove) ## Доказателства към твърденията 1. Algorithmic bias — https://en.wikipedia.org/wiki/Algorithmic_bias 2. Algorithmic bias — https://en.wikipedia.org/wiki/Algorithmic_bias 3. Towards a Standard for Identifying and Managing Bias in Artificial Intelligence, NIST SP 1270 — https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.1270.pdf 4. Algorithmic bias — https://en.wikipedia.org/wiki/Algorithmic_bias 5. Algorithmic bias — https://en.wikipedia.org/wiki/Algorithmic_bias 6. Towards a Standard for Identifying and Managing Bias in Artificial Intelligence, NIST SP 1270 — https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.1270.pdf 7. Towards a Standard for Identifying and Managing Bias in Artificial Intelligence, NIST SP 1270 — https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.1270.pdf 8. Towards a Standard for Identifying and Managing Bias in Artificial Intelligence, NIST SP 1270 — https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.1270.pdf 9. Algorithmic bias — https://en.wikipedia.org/wiki/Algorithmic_bias 10. Algorithmic bias — https://en.wikipedia.org/wiki/Algorithmic_bias 11. Algorithmic bias — https://en.wikipedia.org/wiki/Algorithmic_bias 12. Machine Bias — https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing 13. Machine Bias — https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing 14. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification — https://proceedings.mlr.press/v81/buolamwini18a.html 15. Dissecting racial bias in an algorithm used to manage the health of populations — https://www.science.org/doi/10.1126/science.aax2342 16. Dissecting racial bias in an algorithm used to manage the health of populations — https://www.science.org/doi/10.1126/science.aax2342 17. Face Recognition Vendor Test (FRVT) Part 3: Demographic Effects, NISTIR 8280 — https://nvlpubs.nist.gov/nistpubs/ir/2019/NIST.IR.8280.pdf 18. Face Recognition Vendor Test (FRVT) Part 3: Demographic Effects, NISTIR 8280 — https://nvlpubs.nist.gov/nistpubs/ir/2019/NIST.IR.8280.pdf 19. Algorithmic bias — https://en.wikipedia.org/wiki/Algorithmic_bias 20. Xenophobic machines: Dutch child benefit scandal — https://www.amnesty.org/en/latest/news/2021/10/xenophobic-machines-dutch-child-benefit-scandal/ 21. Xenophobic machines: Dutch child benefit scandal — https://www.amnesty.org/en/latest/news/2021/10/xenophobic-machines-dutch-child-benefit-scandal/ 22. Inherent Trade-Offs in the Fair Determination of Risk Scores — https://arxiv.org/abs/1609.05807 23. Fair prediction with disparate impact: A study of bias in recidivism prediction instruments — https://arxiv.org/abs/1703.00056 24. Regulation (EU) 2024/1689 (Artificial Intelligence Act) — Място: чл. 10, пар. 2 — https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng 25. Xenophobic machines: Dutch child benefit scandal — https://www.amnesty.org/en/latest/news/2021/10/xenophobic-machines-dutch-child-benefit-scandal/ ## Метаданни - Каноничен URL: https://wikib.online/article/algoritmichni-pristrastia - Лиценз: CC BY-SA 4.0 (https://creativecommons.org/licenses/by-sa/4.0/) - Ревизия: 1 - Статус: published - Език: bg - JSON: https://wikib.online/api/public/articles/algoritmichni-pristrastia