SyRI: холандският алгоритъм за борба с измами, забранен от съда
System Risk Indication (SyRI) е алгоритмична система на нидерландското правителство, която свързва данни от различни държавни агенции — данъчни, трудови и социални — за да „изчислява“ риска от измами с обезщетения. На 5 февруари 2020 г. Окръжният съд в Хага я забранява, като приема, че нарушава правото на неприкосновеност на личния живот.[1]
#Нидерландия #алгоритмична отчетност #поверителност #социални помощи
Как работеше системата
SyRI анализираше комбинирани набори от лични данни на жители на определени „проблемни“ квартали, за да генерира тайни рискови профили за социални измами, без засегнатите хора да знаят кои показатели се използват срещу тях.
Съдът установи, че нито гражданите, нито дори съдиите могат да проверят как точно алгоритъмът стига до заключенията си — на практика „черна кутия“ в основата на решения с реални правни последици.
there is no insight into the risk indicators and the operation of the risk model
Решението на съда
Съдът се позова на член 8 от Европейската конвенция за правата на човека (право на зачитане на личния и семейния живот) и заключи, че законодателството зад SyRI е „недостатъчно ясно и проверимо“.
Съдиите отбелязаха и риск от дискриминация — прилагането на системата само в бедни квартали можеше да „стигматизира и дискриминира“ жителите им, без това да е оправдано от предполагаемата полза за борбата с измамите.
it cannot be ruled out that the deployment of the SyRI in 'problem areas' will discriminate and stigmatize the citizens in such areas
Вижте също
- „Robodebt“: австралийската автоматизирана схема за дългове по социални помощи
- Нидерландия: алгоритъмът, който събори правителство
- Великобритания: алгоритъмът за матурите, отменен след масов протест
- Франция: Конституционният съвет и прозрачността на алгоритъма „Parcoursup“
- Нова Зеландия: първата национална харта за алгоритмите в управлението
- COMPAS: алгоритъмът за риск от рецидив и разследването на ProPublica
- Worldcoin: биометричната „орб“ на Сам Алтман за цифрова идентичност
- „Blueprint for an AI Bill of Rights“: необвързващата рамка на Белия дом
- Perspective API: AI срещу токсичност в политическия дебат
- „Nexus“ на Юval Ноа Харари: AI и бъдещето на демокрацията
Доказателства към твърденията
-
Netherlands: Court Prohibits Government's Use of AI Software to Detect Welfare Fraud
обобщение на делото
мотиви на съда
Отвори източника -
Netherlands: Court Prohibits Government's Use of AI Software to Detect Welfare Fraud
анализ на системата
непрозрачност на алгоритъма
Отвори източника -
Netherlands: Court Prohibits Government's Use of AI Software to Detect Welfare Fraud
правни основания
риск от дискриминация
Отвори източника