Алгоритмични пристрастия ======================== Алгоритмичните пристрастия са систематични и повтарящи се грешки на компютърни системи, които водят до несправедливи резултати — например привилегироване на една произволно определена група потребители пред други. Те могат да навлязат в системата чрез предварително съществуващи културни, социални или институционални очаквания, чрез избора на признаци и етикети, чрез техническите ограничения на дизайна или чрез употреба в непредвидени контексти. Американският Национален институт по стандарти и технологии (NIST) разграничава три категории пристрастия в изкуствения интелект — системни, статистически и човешки. Определение ----------- Алгоритъмът не е пристрастен само защото отказва на някого. Кредитен алгоритъм може да откаже заем, без да е несправедлив, ако последователно претегля относими финансови критерии; той е пристрастен, ако препоръчва заеми на една група потребители, а отказва на друга, почти идентична група въз основа на несвързани критерии, и това се повтаря. Тъй като алгоритмите често се смятат за неутрални, те могат да изглеждат по-авторитетни от човешката експертиза — отчасти заради психологическия феномен „автоматизационно пристрастие“ — и разчитането на тях понякога измества човешката отговорност за резултатите. Видове пристрастия ------------------ NIST описва системните пристрастия като резултат от процедури и практики на институции, които поставят едни социални групи в по-изгодно положение, а други — в неизгодно. Статистическите и изчислителните пристрастия произтичат от грешки, когато извадката не е представителна за съвкупността. Те се дължат на систематична, а не на случайна грешка и могат да съществуват без предразсъдък или умисъл за дискриминация. Човешките пристрастия са систематични грешки в човешкото мислене, основани на ограничен брой евристични принципи; те често са неявни и засягат начина, по който човек възприема информацията — включително резултатите на автоматизирана система — за да вземе решение. Особен случай е обратната връзка: данните, събрани за алгоритъма, предизвикват реакции в реалния свят, които отново постъпват в алгоритъма. Симулации на софтуера за предиктивна полиция PredPol в Оукланд, Калифорния, показват, че той би засилил полицейското присъствие в черните квартали въз основа на сигналите за престъпления от гражданите. История ------- В книгата си „Компютърна мощ и човешки разум“ от 1976 г. пионерът на изкуствения интелект Джоузеф Вайценбаум допуска, че пристрастие може да възникне както от данните, използвани от програмата, така и от начина, по който тя е написана. Ранен пример е медицинският факултет на болницата „Сейнт Джордж“ в Лондон: от 1982 до 1986 г. до 60 жени и представители на етнически малцинства годишно са били отказвани заради компютърна система за оценка, която възпроизвежда историческите тенденции при приема и отхвърля кандидати с „чуждо звучащи имена“. Известни случаи --------------- През 2016 г. ProPublica анализира оценките на риска, дадени от алгоритъма COMPAS на над 7000 арестувани в окръг Бровард, Флорида, през 2013 и 2014 г.; само 20% от хората, за които е прогнозирано тежко престъпление, действително го извършват. Според разследването формулата греши за черни и бели обвиняеми с приблизително еднаква честота, но по различен начин: черните обвиняеми са фалшиво определяни като бъдещи престъпници почти два пъти по-често от белите. През 2018 г. Джой Буоламуини и Тимнит Гебру показват, че две широко използвани бази с лица се състоят предимно от хора със светла кожа (79,6% и 86,2%). При три търговски системи за разпознаване на пола жените с тъмна кожа са най-често грешно класифицираната група — с грешки до 34,7%, срещу най-много 0,8% при мъжете със светла кожа. През 2019 г. изследване в Science открива расово пристрастие в широко използван американски здравен алгоритъм: черни пациенти със същата оценка на риска са по-болни от белите. Причината е, че алгоритъмът използва разходите за лечение като заместител на здравните нужди, а за черни пациенти със същите нужди се харчат по-малко пари. Преформулирането на алгоритъма така, че да не използва разходите като заместител, премахва пристрастието. Тестовете на NIST на алгоритми за лицево разпознаване показват, че фалшивите положителни съвпадения често се различават между демографските групи от 10 до над 100 пъти. Според същия доклад при алгоритми, разработени в Китай, ефектът е обърнат — с ниски нива на фалшиви съвпадения при лица от Източна Азия. През 2015 г. Amazon спира система за подбор на кандидати за работа, след като установява, че тя е пристрастна срещу жени; инструментът изключва кандидати от женски колежи и автобиографии с думата „women's“. В Нидерландия данъчните власти използват от 2013 г. алгоритъм за откриване на неправомерни искания за детски надбавки, в който липсата на нидерландско гражданство е рисков фактор. Според Amnesty International десетки хиляди родители, предимно от семейства с ниски доходи, са фалшиво обвинени в измама, а скандалът сваля правителството през януари 2021 г. Системата се самообучава без смислен човешки надзор и създава „дискриминационен цикъл“. Невъзможността да се удовлетворят всички критерии ------------------------------------------------- Спорът около COMPAS показва, че „справедливост“ може да означава различни неща. През 2016 г. Джон Клайнбърг, Сендил Мулайнатан и Маниш Рагаван формализират три условия за справедливост на вероятностна класификация и доказват, че освен в силно ограничени частни случаи никой метод не може да ги изпълни едновременно. Александра Хулдекова стига до сходен извод: критериите не могат да бъдат изпълнени едновременно, когато честотата на повторно престъпление се различава между групите, а несъразмерно въздействие може да възникне, ако инструментът не постига баланс на грешките. Изборът между определенията за справедливост е следователно ценностен, а не само технически въпрос. Регулиране ---------- Законът на ЕС за изкуствен интелект изисква за високорисковите системи данните за обучение да се проверяват за възможни пристрастия, които могат да засегнат здравето и безопасността на хората, да имат отрицателно въздействие върху основните права или да доведат до забранена дискриминация — особено когато резултатите влияят на входните данни за бъдещи операции, — както и подходящи мерки за откриването, предотвратяването и смекчаването им. Amnesty International призовава правителствата незабавно да забранят използването на данни за гражданство и етническа принадлежност при оценката на риска за правоприлагащи цели. Вижте също ----------- Австрия: забраненият алгоритъм на бюрото по труда AMS: https://wikib.online/article/avstria-ams-algoritam-bezrabotni Машинно обучение: https://wikib.online/article/mashinno-obuchenie Голям езиков модел: https://wikib.online/article/golyam-ezikov-model Clearview AI и скандалът с лицевото разпознаване: https://wikib.online/article/clearview-ai-litsevo-razpoznavane Китай: „умните съдилища“ и изкуственият интелект в правосъдието: https://wikib.online/article/kitay-internet-sadilishta-ai „Robodebt“: австралийската автоматизирана схема за дългове по социални помощи: https://wikib.online/article/robodebt-afera-avstralia SyRI: холандският алгоритъм за борба с измами, забранен от съда: https://wikib.online/article/syri-algoritam-holandia MiDAS: алгоритъмът на Мичиган, който фалшиво обвини 40 000 души в измама: https://wikib.online/article/midas-algoritam-michigan-sasht Algoritmeregister — нидерландският регистър на държавните алгоритми: https://wikib.online/article/niderlandia-algoritmeregister Естония и „AI съдията“ за дела с малък материален интерес: съобщението от 2019 г. и опровержението: https://wikib.online/article/estonia-ai-sadia-malki-iskove Доказателства към твърденията ----------------------------- 1. Algorithmic bias https://en.wikipedia.org/wiki/Algorithmic_bias 2. Algorithmic bias https://en.wikipedia.org/wiki/Algorithmic_bias 3. Towards a Standard for Identifying and Managing Bias in Artificial Intelligence, NIST SP 1270 https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.1270.pdf 4. Algorithmic bias https://en.wikipedia.org/wiki/Algorithmic_bias 5. Algorithmic bias https://en.wikipedia.org/wiki/Algorithmic_bias 6. Towards a Standard for Identifying and Managing Bias in Artificial Intelligence, NIST SP 1270 https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.1270.pdf 7. Towards a Standard for Identifying and Managing Bias in Artificial Intelligence, NIST SP 1270 https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.1270.pdf 8. Towards a Standard for Identifying and Managing Bias in Artificial Intelligence, NIST SP 1270 https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.1270.pdf 9. Algorithmic bias https://en.wikipedia.org/wiki/Algorithmic_bias 10. Algorithmic bias https://en.wikipedia.org/wiki/Algorithmic_bias 11. Algorithmic bias https://en.wikipedia.org/wiki/Algorithmic_bias 12. Machine Bias https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing 13. Machine Bias https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing 14. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification https://proceedings.mlr.press/v81/buolamwini18a.html 15. Dissecting racial bias in an algorithm used to manage the health of populations https://www.science.org/doi/10.1126/science.aax2342 16. Dissecting racial bias in an algorithm used to manage the health of populations https://www.science.org/doi/10.1126/science.aax2342 17. Face Recognition Vendor Test (FRVT) Part 3: Demographic Effects, NISTIR 8280 https://nvlpubs.nist.gov/nistpubs/ir/2019/NIST.IR.8280.pdf 18. Face Recognition Vendor Test (FRVT) Part 3: Demographic Effects, NISTIR 8280 https://nvlpubs.nist.gov/nistpubs/ir/2019/NIST.IR.8280.pdf 19. Algorithmic bias https://en.wikipedia.org/wiki/Algorithmic_bias 20. Xenophobic machines: Dutch child benefit scandal https://www.amnesty.org/en/latest/news/2021/10/xenophobic-machines-dutch-child-benefit-scandal/ 21. Xenophobic machines: Dutch child benefit scandal https://www.amnesty.org/en/latest/news/2021/10/xenophobic-machines-dutch-child-benefit-scandal/ 22. Inherent Trade-Offs in the Fair Determination of Risk Scores https://arxiv.org/abs/1609.05807 23. Fair prediction with disparate impact: A study of bias in recidivism prediction instruments https://arxiv.org/abs/1703.00056 24. Regulation (EU) 2024/1689 (Artificial Intelligence Act) Място: чл. 10, пар. 2 https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng 25. Xenophobic machines: Dutch child benefit scandal https://www.amnesty.org/en/latest/news/2021/10/xenophobic-machines-dutch-child-benefit-scandal/ Каноничен URL: https://wikib.online/article/algoritmichni-pristrastia Ревизия: 1 Статус: published Език: bg Лиценз: CC BY-SA 4.0 (https://creativecommons.org/licenses/by-sa/4.0/)