{"id":"e502f264-7aa9-4a36-8d55-a0ca1ed0a7e5","slug":"algoritmichni-pristrastia","title":"Алгоритмични пристрастия","category":"Технологии · Алгоритмична отчетност","tags":["алгоритмични пристрастия","справедливост","машинно обучение","дискриминация","лицево разпознаване","Закон на ЕС за изкуствен интелект"],"lead":"Алгоритмичните пристрастия са систематични и повтарящи се грешки на компютърни системи, които водят до несправедливи резултати — например привилегироване на една произволно определена група потребители пред други[^wp-def]. Те могат да навлязат в системата чрез предварително съществуващи културни, социални или институционални очаквания, чрез избора на признаци и етикети, чрез техническите ограничения на дизайна или чрез употреба в непредвидени контексти[^wp-entry]. Американският Национален институт по стандарти и технологии (NIST) разграничава три категории пристрастия в изкуствения интелект — системни, статистически и човешки[^nist-three].","sections":[{"id":"opredelenie","title":"Определение","paragraphs":["Алгоритъмът не е пристрастен само защото отказва на някого. Кредитен алгоритъм може да откаже заем, без да е несправедлив, ако последователно претегля относими финансови критерии; той е пристрастен, ако препоръчва заеми на една група потребители, а отказва на друга, почти идентична група въз основа на несвързани критерии, и това се повтаря[^wp-credit].","Тъй като алгоритмите често се смятат за неутрални, те могат да изглеждат по-авторитетни от човешката експертиза — отчасти заради психологическия феномен „автоматизационно пристрастие“ — и разчитането на тях понякога измества човешката отговорност за резултатите[^wp-automation]."]},{"id":"vidove-pristrastiya","title":"Видове пристрастия","paragraphs":["NIST описва системните пристрастия като резултат от процедури и практики на институции, които поставят едни социални групи в по-изгодно положение, а други — в неизгодно[^nist-systemic].","Статистическите и изчислителните пристрастия произтичат от грешки, когато извадката не е представителна за съвкупността. Те се дължат на систематична, а не на случайна грешка и могат да съществуват без предразсъдък или умисъл за дискриминация[^nist-stat].","Човешките пристрастия са систематични грешки в човешкото мислене, основани на ограничен брой евристични принципи; те често са неявни и засягат начина, по който човек възприема информацията — включително резултатите на автоматизирана система — за да вземе решение[^nist-human].","Особен случай е обратната връзка: данните, събрани за алгоритъма, предизвикват реакции в реалния свят, които отново постъпват в алгоритъма. Симулации на софтуера за предиктивна полиция PredPol в Оукланд, Калифорния, показват, че той би засилил полицейското присъствие в черните квартали въз основа на сигналите за престъпления от гражданите[^wp-feedback]."]},{"id":"istoriya","title":"История","paragraphs":["В книгата си „Компютърна мощ и човешки разум“ от 1976 г. пионерът на изкуствения интелект Джоузеф Вайценбаум допуска, че пристрастие може да възникне както от данните, използвани от програмата, така и от начина, по който тя е написана[^wp-weizenbaum].","Ранен пример е медицинският факултет на болницата „Сейнт Джордж“ в Лондон: от 1982 до 1986 г. до 60 жени и представители на етнически малцинства годишно са били отказвани заради компютърна система за оценка, която възпроизвежда историческите тенденции при приема и отхвърля кандидати с „чуждо звучащи имена“[^wp-stgeorge]."]},{"id":"izvestni-sluchai","title":"Известни случаи","paragraphs":["През 2016 г. ProPublica анализира оценките на риска, дадени от алгоритъма COMPAS на над 7000 арестувани в окръг Бровард, Флорида, през 2013 и 2014 г.; само 20% от хората, за които е прогнозирано тежко престъпление, действително го извършват[^pp-7000]. Според разследването формулата греши за черни и бели обвиняеми с приблизително еднаква честота, но по различен начин: черните обвиняеми са фалшиво определяни като бъдещи престъпници почти два пъти по-често от белите[^pp-twice].","През 2018 г. Джой Буоламуини и Тимнит Гебру показват, че две широко използвани бази с лица се състоят предимно от хора със светла кожа (79,6% и 86,2%). При три търговски системи за разпознаване на пола жените с тъмна кожа са най-често грешно класифицираната група — с грешки до 34,7%, срещу най-много 0,8% при мъжете със светла кожа[^gs].","През 2019 г. изследване в Science открива расово пристрастие в широко използван американски здравен алгоритъм: черни пациенти със същата оценка на риска са по-болни от белите. Причината е, че алгоритъмът използва разходите за лечение като заместител на здравните нужди, а за черни пациенти със същите нужди се харчат по-малко пари[^obermeyer]. Преформулирането на алгоритъма така, че да не използва разходите като заместител, премахва пристрастието[^obermeyer-fix].","Тестовете на NIST на алгоритми за лицево разпознаване показват, че фалшивите положителни съвпадения често се различават между демографските групи от 10 до над 100 пъти[^nist-frvt]. Според същия доклад при алгоритми, разработени в Китай, ефектът е обърнат — с ниски нива на фалшиви съвпадения при лица от Източна Азия[^nist-frvt-china].","През 2015 г. Amazon спира система за подбор на кандидати за работа, след като установява, че тя е пристрастна срещу жени; инструментът изключва кандидати от женски колежи и автобиографии с думата „women's“[^wp-amazon].","В Нидерландия данъчните власти използват от 2013 г. алгоритъм за откриване на неправомерни искания за детски надбавки, в който липсата на нидерландско гражданство е рисков фактор. Според Amnesty International десетки хиляди родители, предимно от семейства с ниски доходи, са фалшиво обвинени в измама, а скандалът сваля правителството през януари 2021 г.[^amnesty] Системата се самообучава без смислен човешки надзор и създава „дискриминационен цикъл“[^amnesty-loop]."]},{"id":"nevazmozhnostta-da-se-udovletvoryat-vsichki-kriterii","title":"Невъзможността да се удовлетворят всички критерии","paragraphs":["Спорът около COMPAS показва, че „справедливост“ може да означава различни неща. През 2016 г. Джон Клайнбърг, Сендил Мулайнатан и Маниш Рагаван формализират три условия за справедливост на вероятностна класификация и доказват, че освен в силно ограничени частни случаи никой метод не може да ги изпълни едновременно[^kleinberg].","Александра Хулдекова стига до сходен извод: критериите не могат да бъдат изпълнени едновременно, когато честотата на повторно престъпление се различава между групите, а несъразмерно въздействие може да възникне, ако инструментът не постига баланс на грешките[^chouldechova]. Изборът между определенията за справедливост е следователно ценностен, а не само технически въпрос."]},{"id":"regulirane","title":"Регулиране","paragraphs":["Законът на ЕС за изкуствен интелект изисква за високорисковите системи данните за обучение да се проверяват за възможни пристрастия, които могат да засегнат здравето и безопасността на хората, да имат отрицателно въздействие върху основните права или да доведат до забранена дискриминация — особено когато резултатите влияят на входните данни за бъдещи операции, — както и подходящи мерки за откриването, предотвратяването и смекчаването им[^aiact-10].","Amnesty International призовава правителствата незабавно да забранят използването на данни за гражданство и етническа принадлежност при оценката на риска за правоприлагащи цели[^amnesty-ban]."]}],"sources":[{"key":"wp","title":"Algorithmic bias","url":"https://en.wikipedia.org/wiki/Algorithmic_bias","note":"","publisher":"Wikipedia","language":"en","retrieved_at":"2026-10-24"},{"key":"nist","title":"Towards a Standard for Identifying and Managing Bias in Artificial Intelligence, NIST SP 1270","url":"https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.1270.pdf","note":"","publisher":"National Institute of Standards and Technology","published_at":"2022-03","language":"en","retrieved_at":"2026-10-24"},{"key":"nist-frvt","title":"Face Recognition Vendor Test (FRVT) Part 3: Demographic Effects, NISTIR 8280","url":"https://nvlpubs.nist.gov/nistpubs/ir/2019/NIST.IR.8280.pdf","note":"","publisher":"National Institute of Standards and Technology","published_at":"2019-12","language":"en","retrieved_at":"2026-10-24"},{"key":"pp","title":"Machine Bias","url":"https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing","note":"","publisher":"ProPublica","published_at":"2016-05-23","language":"en","retrieved_at":"2026-10-24"},{"key":"gs","title":"Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification","url":"https://proceedings.mlr.press/v81/buolamwini18a.html","note":"","publisher":"Proceedings of Machine Learning Research, vol. 81","published_at":"2018","language":"en","retrieved_at":"2026-10-24"},{"key":"obermeyer","title":"Dissecting racial bias in an algorithm used to manage the health of populations","url":"https://www.science.org/doi/10.1126/science.aax2342","note":"","publisher":"Science","published_at":"2019-10-25","language":"en","retrieved_at":"2026-10-24"},{"key":"kleinberg","title":"Inherent Trade-Offs in the Fair Determination of Risk Scores","url":"https://arxiv.org/abs/1609.05807","note":"","publisher":"arXiv","published_at":"2016-09-19","language":"en","retrieved_at":"2026-10-24"},{"key":"chouldechova","title":"Fair prediction with disparate impact: A study of bias in recidivism prediction instruments","url":"https://arxiv.org/abs/1703.00056","note":"","publisher":"arXiv","published_at":"2017-02-28","language":"en","retrieved_at":"2026-10-24"},{"key":"amnesty","title":"Xenophobic machines: Dutch child benefit scandal","url":"https://www.amnesty.org/en/latest/news/2021/10/xenophobic-machines-dutch-child-benefit-scandal/","note":"","publisher":"Amnesty International","published_at":"2021-10-25","language":"en","retrieved_at":"2026-10-24"},{"key":"aiact","title":"Regulation (EU) 2024/1689 (Artificial Intelligence Act)","url":"https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng","note":"","publisher":"EUR-Lex","published_at":"2024-07-12","language":"en","retrieved_at":"2026-10-24"}],"citations":[{"id":"wp-def","source_key":"wp","locator":"","excerpt":"The term algorithmic bias describes systematic and repeatable errors that create unfair outcomes, such as privileging one arbitrary group of users over others.","note":""},{"id":"wp-entry","source_key":"wp","locator":"","excerpt":"Bias can enter into algorithmic systems as a result of pre-existing cultural, social, or institutional expectations; by how features and labels are chosen; because of technical limitations of their design; or by being used in unanticipated contexts or by audiences who are not considered in the software's","note":""},{"id":"nist-three","source_key":"nist","locator":"","excerpt":"identifies three categories of bias in AI — systemic, statistical, and human — and describes how and where they contribute to harms","note":""},{"id":"wp-credit","source_key":"wp","locator":"","excerpt":"For example, a credit score algorithm may deny a loan without being unfair, if it is consistently weighing relevant financial criteria. If the algorithm recommends loans to one group of users, but denies loans to another set of nearly identical users based on unrelated criteria, and if this behavior can be repeated across multiple occurrences, an algorithm can be described as biased.","note":""},{"id":"wp-automation","source_key":"wp","locator":"","excerpt":"Because algorithms are often considered to be neutral and unbiased, they can inaccurately project greater authority than human expertise (in part due to the psychological phenomenon of automation bias), and in some cases, reliance on algorithms can displace human responsibility for their outcomes","note":""},{"id":"nist-systemic","source_key":"nist","locator":"","excerpt":"Systemic biases result from procedures and practices of particular institutions that operate in ways which result in certain social groups being advantaged or favored and others be- ing disadvantaged","note":""},{"id":"nist-stat","source_key":"nist","locator":"","excerpt":"Statistical and computational biases stem from errors that result when the sample is not representative of the population. These biases arise from systematic as opposed to random error and can occur in the absence of prejudice, partiality, or discriminatory intent","note":""},{"id":"nist-human","source_key":"nist","locator":"","excerpt":"Human biases reflect systematic errors in human thought based on a limited number of heuristic principles and predicting values to simpler judgmental operations [98]. These biases are often implicit and tend to relate to how an individual or group perceives infor- mation (such as automated AI output) to make a decision or fill in missing or unknown information.","note":""},{"id":"wp-feedback","source_key":"wp","locator":"","excerpt":"Emergent bias may also create a feedback loop, or recursion, if data collected for an algorithm results in real-world responses which are fed back into the algorithm.[74][75] For example, simulations of the predictive policing software (PredPol), deployed in Oakland, California, suggested an increased police presence in black neighborhoods based on crime data reported by the public.","note":""},{"id":"wp-weizenbaum","source_key":"wp","locator":"","excerpt":"In his 1976 book Computer Power and Human Reason, artificial intelligence pioneer Joseph Weizenbaum suggested that bias could arise both from the data used in a program, but also from the way a program is coded.","note":""},{"id":"wp-stgeorge","source_key":"wp","locator":"","excerpt":"An early example of algorithmic bias resulted in as many as 60 women and ethnic minorities denied entry to St. George's Hospital Medical School per year from 1982 to 1986, based on implementation of a new computer-guidance assessment system that denied entry to women and men with \"foreign-sounding names\" based on historical trends in admissions.","note":""},{"id":"pp-7000","source_key":"pp","locator":"","excerpt":"We obtained the risk scores assigned to more than 7,000 people arrested in Broward County, Florida, in 2013 and 2014 ... Only 20 percent of the people predicted to commit violent crimes actually went on to do so.","note":""},{"id":"pp-twice","source_key":"pp","locator":"","excerpt":"the algorithm made mistakes with black and white defendants at roughly the same rate but in very different ways. The formula was particularly likely to falsely flag black defendants as future criminals, wrongly labeling them this way at almost twice the rate as white defendants.","note":""},{"id":"gs","source_key":"gs","locator":"","excerpt":"We find that these datasets are overwhelmingly composed of lighter-skinned subjects (79.6% for IJB-A and 86.2% for Adience) ... We evaluate 3 commercial gender classification systems using our dataset and show that darker-skinned females are the most misclassified group (with error rates of up to 34.7%). The maximum error rate for lighter-skinned males is 0.8%.","note":""},{"id":"obermeyer","source_key":"obermeyer","locator":"","excerpt":"Obermeyer et al. find evidence of racial bias in one widely used algorithm, such that Black patients assigned the same level of risk by the algorithm are sicker than White patients ... Bias occurs because the algorithm uses health costs as a proxy for health needs. Less money is spent on Black patients who have the same level of need","note":""},{"id":"obermeyer-fix","source_key":"obermeyer","locator":"","excerpt":"Reformulating the algorithm so that it no longer uses costs as a proxy for needs eliminates the racial bias in predicting who needs extra care.","note":""},{"id":"nist-frvt","source_key":"nist-frvt","locator":"","excerpt":"Across demo- graphics, false positives rates often vary by factors of 10 to beyond 100 times.","note":""},{"id":"nist-frvt-china","source_key":"nist-frvt","locator":"","excerpt":"However, with a number of algorithms developed in China this effect is re- versed, with low false positive rates on East Asian faces.","note":""},{"id":"wp-amazon","source_key":"wp","locator":"","excerpt":"In 2015, Amazon.com turned off an AI system it developed to screen job applications when they realized it was biased against women.[97] The recruitment tool excluded applicants who attended all-women's colleges and resumes that included the word \"women's\".","note":""},{"id":"amnesty","source_key":"amnesty","locator":"","excerpt":"Tens of thousands of parents and caregivers from mostly low-income families were falsely accused of fraud by the Dutch tax authorities as a result, with people from ethnic minorities disproportionately impacted. While the scandal brought down the Dutch government in January ... the algorithmic system introduced in 2013 by the Dutch tax authorities to detect incorrect applications for child benefits and potentially fraud. The tax authorities used information on whether an applicant had Dutch nationality as a risk factor","note":""},{"id":"amnesty-loop","source_key":"amnesty","locator":"","excerpt":"design flaws were reproduced by a self-learning mechanism that meant the algorithm adapted over time based on experience, with no meaningful human oversight. The result was a discriminatory loop","note":""},{"id":"kleinberg","source_key":"kleinberg","locator":"","excerpt":"We formalize three fairness conditions that lie at the heart of these debates, and we prove that except in highly constrained special cases, there is no method that can satisfy these three conditions simultaneously.","note":""},{"id":"chouldechova","source_key":"chouldechova","locator":"","excerpt":"We demonstrate that the criteria cannot all be simultaneously satisfied when recidivism prevalence differs across groups. We then show how disparate impact can arise when a recidivism prediction instrument fails to satisfy the criterion of error rate balance.","note":""},{"id":"aiact-10","source_key":"aiact","locator":"чл. 10, пар. 2","excerpt":"(f) examination in view of possible biases that are likely to affect the health and safety of persons, have a negative impact on fundamental rights or lead to discrimination prohibited under Union law, especially where data outputs influence inputs for future operations; (g) appropriate measures to detect, prevent and mitigate possible biases identified according to point (f)","note":""},{"id":"amnesty-ban","source_key":"amnesty","locator":"","excerpt":"Amnesty International is calling on all governments to implement an immediate ban on the use of data on nationality and ethnicity when risk-scoring for law enforcement purposes","note":""}],"status":"published","featured":false,"revision":1,"created_at":"2026-10-24T10:23:47.894Z","updated_at":"2026-10-24T10:23:47.894Z"}