SyRI: холандският алгоритъм за борба с измами, забранен от съда
System Risk Indication (SyRI) е алгоритмична система на нидерландското правителство, която свързва данни от различни държавни агенции — данъчни, трудови и социални — за да „изчислява“ риска от измами с обезщетения. На 5 февруари 2020 г. Окръжният съд в Хага я забранява, като приема, че нарушава правото на неприкосновеност на личния живот.[1]
Как работеше системата
SyRI анализираше комбинирани набори от лични данни на жители на определени „проблемни“ квартали, за да генерира тайни рискови профили за социални измами, без засегнатите хора да знаят кои показатели се използват срещу тях.
Съдът установи, че нито гражданите, нито дори съдиите могат да проверят как точно алгоритъмът стига до заключенията си — на практика „черна кутия“ в основата на решения с реални правни последици.
„няма яснота относно рисковите показатели и начина, по който работи рисковият модел“[3]
Решението на съда
Съдът се позова на член 8 от Европейската конвенция за правата на човека (право на зачитане на личния и семейния живот) и заключи, че законодателството зад SyRI е „недостатъчно ясно и проверимо“.
Съдиите отбелязаха и риск от дискриминация — прилагането на системата само в бедни квартали можеше да „стигматизира и дискриминира“ жителите им, без това да е оправдано от предполагаемата полза за борбата с измамите.
it cannot be ruled out that the deployment of the SyRI in 'problem areas' will discriminate and stigmatize the citizens in such areas[2]
Вижте също
- Алгоритми в държавното управление
- Нидерландия: алгоритъмът, който събори правителство
- „Robodebt“: австралийската автоматизирана схема за дългове по социални помощи
- MiDAS: алгоритъмът на Мичиган, който фалшиво обвини 40 000 души в измама
- Австрия: забраненият алгоритъм на бюрото по труда AMS
- Великобритания: първата успешна съдебна атака срещу държавен алгоритъм
- Нова Зеландия: първата национална харта за алгоритмите в управлението
- Великобритания: алгоритъмът за матурите, отменен след масов протест
- Algoritmeregister — нидерландският регистър на държавните алгоритми
- Полша: конституционният край на профилирането на безработните
Доказателства към твърденията
-
Netherlands: Court Prohibits Government's Use of AI Software to Detect Welfare Fraud
обобщение на делото
мотиви на съда
Отвори източника -
Netherlands: Court Prohibits Government's Use of AI Software to Detect Welfare Fraud
правни основания
риск от дискриминация
Отвори източника - Netherlands: Court Prohibits Government's Use of AI Software to Detect Welfare Fraud Отвори източника