INTRODUCTION TO CODED DISCRIMINATION
Keywords:
coded discrimination, proxy discrimination, personal characteristic, algorithm, artificial intelligence, Law on Artificial Intelligence
Abstract
Discrimination is defined as an unjust distinction based on personal characteristics and is prohibited by all relevant international documents related to the protection of human rights. The definition, forms, prevalence, and protection mechanisms against discrimination have garnered the attention of legal theorists, policymakers, and practitioners alike. While it may seem that there is nihil novum sub sole regarding this topic, the rapid expansion of artificial intelligence in various sectors of society brings forth a myriad of new questions. Artificial intelligence systems, particularly those based on machine learning, are prone to creating what is known as technical bias, which can further evolve into "coded discrimination." This term refers to discrimination that arises from the decisions made by computer programs operating based on predefined parameters. This paper aims to analyze the concept of "coded discrimination," present the relevant international framework for regulating artificial intelligence—focusing on provisions related to human rights and discrimination—and examine the applicability of domestic anti-discrimination regulations to instances of discrimination stemming from the use of artificial intelligence in the Republic of Serbia.
References
Публикације/Publications
De Luca, S. (2025). Algorithmic discrimination under the AI Act and the GDPR. European Parliament.
Gender equality commission (GEC) and the Steering committee on anti-discrimination, diversity and inclusion (CDADI). (2023). Study on the impact of artificial intelligence systems, their potential for promoting equality, including gender equality, and the risks they may cause in relation to non-discrimination (Prepared by: Bartoletti, I. Xenidis, R). Council of Europe. Strasbourg.
Federal Anti-Discrimination Agency. (2023). Coded bias: The General Equal Treatment Act and protection against discrimination by algorithmic decision-making systems (Presented by: Spiecker gen. Döhmann, I. V. Towfigh, E).
Zuiderveen Borgesius, F. (2018). Discrimination, artificial intelligence, and algorithmic decision-making. Council of Europe. Strasbourg.
Mihajlović, A. Ćorić, V. (2024). Artificial intelligence and discrimination – strengths and weaknesses of the current European anti-discrimination legal framework. Regional Law Review. Institut za uporedno pravo. Beograd. DOI: 10.56461/iup_rlrc.2024.5.ch2
Pedreschi, D. Giannotti, F. Guidotti, R. Monreale, A. Ruggieri, S. Turini, F. (2019). Meaningful Explanations of Black Box AI Decision Systems. Association for the Advancement of Artificial Intelligence (www.aaai.org).
Петрушић, Н. Обрадовић, Г. Раичевић, Н. Миладиновић Стефановић, Д. Тасић, А. (2017). Антидискриминационо право – прописи, пракса и стварност. Правни факултет Универзитета у Нишу: Ниш.
Тасић, А. (2016). Поступак у парницама за заштиту од дискриминације (докторска дисертација). Ниш.
Тоскић Цветиновић, А. (2024). Улога независних институција и цивилног друштва у развоју и контроли примене вештачке интелигенције са аспекта људских права и слободе изражавања (ажурирана верзија). ОЕБС.
Цветковић, П. (2024). Типологија правних принципа у дигиталном окружењу: уводна разматрања. Зборник радова: Правни принципи у савременом праву. Ниш: Центар за публикације. DOI: 10.5281/zenodo.14514370
Прописи, одлуке и веб сајтови/Legal acts, decisions and websites
Artificial Intelligence Act (Regulation (EU) 2024/1689). Official Journal version of 13 June 2024. (EU AI ACT).
General Data Protection Regulation (Regulation (EU) 2016/679), Official Journal version of L 119, 04.05.2016.
European Declaration on Digital Rights and Principles for the Digital Decade. 2023/C 23/01.
Explanatory Report to the Council of Europe Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law.
Explanatory Report to the Protocol No. 12 to the Convention for the Protection of Human Rights and Fundamental Freedoms.
Закључак о усвајању Етичких смерница за развој, примену и употребу поуздане и одговорне вештачке интелигенције, Сл. гласник РС. Бр. 23.23.
Закон о забрани дискриминације. Сл. гласник РС. Бр. 22.09. и 52.21.
Закон о Повељи УН, Сл. гласник ДФЈ, Бр. 69.45.
Закон о спречавању дискриминације особа са инвалидитетом. Сл. гласник РС. Бр. 33. 06. и 13.16.
Закон о парничном поступку. Сл. гласник РС. 72.11, 49.13 - одлука УС, 74.13 - одлука УС, 55.14, 87.18, 18.20 и 10.23 - др. закон.
Закона о раду. Сл. гласник РС. Бр. 24.05. 61.05. 54.09. 32.13. 75.14. 13.17 – одлука УС, 113.17. и 95.2018 – аутентично тумачење.
Закон о ратификацији Европске конвенције за заштиту људских права и основних слобода и пратећи протоколи. Сл. лист СЦГ – Међународни уговори. Бр. 9.03, 5.05 и 7.05 – испр. и Сл. гласник РС - Међународни уговори. Бр. 12.10 и 10.15.
Закон о ратификацији Конвенције о правима особа са инвалидитетом. Сл. гласник РС – Међународни уговори, Бр. 42.09.
Закон о ратификацији Конвенције о укидању свих облика дискриминације жена. Сл. гласник СФРЈ, Бр. 11.81.
Закон о ратификацији Међународне конвенције о укидању свих облика расне дискриминације, Сл. гласник СФРЈ, Бр. 31.67.
Закон о ратификацији Пакта о грађанским и политичким правима, Сл. гласник СФРЈ, Бр. 7.71.
Закон о ратификацији Пакта о економским, социјалним и културним правима, Сл. гласник СФРЈ, Бр. 7.71
Закон о родној равноправности. Сл. гласник РС. Бр. 52. 01.
Закон о уређењу судова. Сл. гласник РС, Бр. 10.23.
Кривични законик. Сл. гласник РС. Бр. 85.05, 88.05 - испр., 107.05 – испр., 72.09, 111.09, 121.12, 104.13, 108.14, 94.16, 35.19 и 94.24.
Општа декларација о правима човека усвојена је на Генералној скупштини УН 10. децембра 1948. године.-
Препоруке о етици система вештачке интелигенције, УНЕСКО, 2021 (Recommendation on the Ethics of AI).
Притужба В. Р. против банке 07-00-115/2015-02 од 19.7.2015.
Притужба Д.А. против К. банке Б. бр. 07-00-299/2015-02 од 10.9.2015.
Стратегије развоја вештачке интелигенције у Републици Србији за период 2025-2030. године Сл. гласник РС. 5.25.
Решење IУз-85/2021 Уставног суда Србије.
Устав Републике Србије. Службени гласник РС. Бр. 98.06. и 115.21.
Council of Europe Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law, Council of Europe Treaty Series - No. 225, Vilnius, 5.IX.2024.
IУз-299/2018 од 22.12.2022.
Уж-1384/2008. од 2.12.2010. године.
https://algorithmwatch.org/en/finnish-credit-score-ruling-raises-questions-about-discrimination-and-how-to-avoid-it/, приступ сајту 6.3.2025
https://nitra.gov.rs/cir/ministarstvo/vesti/odrzan-prvi-sastanak-radne-grupe-za-izradu-nacrta-zakona-o-vestackoj-inteligenciji-republike-srbije, приступ сајту 10.3.2025.
https://oxfordinsights.com/ai-readiness/ai-readiness-index/, приступ сајту 15.3.2025.
https://ravnopravnost.gov.rs/poverenica-na-konferenciji-uticaj-vestacke-inteligencije-na-slobodu-informisanja-misljenja-i-izrazavanja/, приступ сајту 11.3.2025.
https://ravnopravnost.gov.rs/poverenica-o-nadzoru-i-etici-u-upotrebi-vestacke-inteligencije/, приступ сајту 11.3.2025.
De Luca, S. (2025). Algorithmic discrimination under the AI Act and the GDPR. European Parliament.
Gender equality commission (GEC) and the Steering committee on anti-discrimination, diversity and inclusion (CDADI). (2023). Study on the impact of artificial intelligence systems, their potential for promoting equality, including gender equality, and the risks they may cause in relation to non-discrimination (Prepared by: Bartoletti, I. Xenidis, R). Council of Europe. Strasbourg.
Federal Anti-Discrimination Agency. (2023). Coded bias: The General Equal Treatment Act and protection against discrimination by algorithmic decision-making systems (Presented by: Spiecker gen. Döhmann, I. V. Towfigh, E).
Zuiderveen Borgesius, F. (2018). Discrimination, artificial intelligence, and algorithmic decision-making. Council of Europe. Strasbourg.
Mihajlović, A. Ćorić, V. (2024). Artificial intelligence and discrimination – strengths and weaknesses of the current European anti-discrimination legal framework. Regional Law Review. Institut za uporedno pravo. Beograd. DOI: 10.56461/iup_rlrc.2024.5.ch2
Pedreschi, D. Giannotti, F. Guidotti, R. Monreale, A. Ruggieri, S. Turini, F. (2019). Meaningful Explanations of Black Box AI Decision Systems. Association for the Advancement of Artificial Intelligence (www.aaai.org).
Петрушић, Н. Обрадовић, Г. Раичевић, Н. Миладиновић Стефановић, Д. Тасић, А. (2017). Антидискриминационо право – прописи, пракса и стварност. Правни факултет Универзитета у Нишу: Ниш.
Тасић, А. (2016). Поступак у парницама за заштиту од дискриминације (докторска дисертација). Ниш.
Тоскић Цветиновић, А. (2024). Улога независних институција и цивилног друштва у развоју и контроли примене вештачке интелигенције са аспекта људских права и слободе изражавања (ажурирана верзија). ОЕБС.
Цветковић, П. (2024). Типологија правних принципа у дигиталном окружењу: уводна разматрања. Зборник радова: Правни принципи у савременом праву. Ниш: Центар за публикације. DOI: 10.5281/zenodo.14514370
Прописи, одлуке и веб сајтови/Legal acts, decisions and websites
Artificial Intelligence Act (Regulation (EU) 2024/1689). Official Journal version of 13 June 2024. (EU AI ACT).
General Data Protection Regulation (Regulation (EU) 2016/679), Official Journal version of L 119, 04.05.2016.
European Declaration on Digital Rights and Principles for the Digital Decade. 2023/C 23/01.
Explanatory Report to the Council of Europe Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law.
Explanatory Report to the Protocol No. 12 to the Convention for the Protection of Human Rights and Fundamental Freedoms.
Закључак о усвајању Етичких смерница за развој, примену и употребу поуздане и одговорне вештачке интелигенције, Сл. гласник РС. Бр. 23.23.
Закон о забрани дискриминације. Сл. гласник РС. Бр. 22.09. и 52.21.
Закон о Повељи УН, Сл. гласник ДФЈ, Бр. 69.45.
Закон о спречавању дискриминације особа са инвалидитетом. Сл. гласник РС. Бр. 33. 06. и 13.16.
Закон о парничном поступку. Сл. гласник РС. 72.11, 49.13 - одлука УС, 74.13 - одлука УС, 55.14, 87.18, 18.20 и 10.23 - др. закон.
Закона о раду. Сл. гласник РС. Бр. 24.05. 61.05. 54.09. 32.13. 75.14. 13.17 – одлука УС, 113.17. и 95.2018 – аутентично тумачење.
Закон о ратификацији Европске конвенције за заштиту људских права и основних слобода и пратећи протоколи. Сл. лист СЦГ – Међународни уговори. Бр. 9.03, 5.05 и 7.05 – испр. и Сл. гласник РС - Међународни уговори. Бр. 12.10 и 10.15.
Закон о ратификацији Конвенције о правима особа са инвалидитетом. Сл. гласник РС – Међународни уговори, Бр. 42.09.
Закон о ратификацији Конвенције о укидању свих облика дискриминације жена. Сл. гласник СФРЈ, Бр. 11.81.
Закон о ратификацији Међународне конвенције о укидању свих облика расне дискриминације, Сл. гласник СФРЈ, Бр. 31.67.
Закон о ратификацији Пакта о грађанским и политичким правима, Сл. гласник СФРЈ, Бр. 7.71.
Закон о ратификацији Пакта о економским, социјалним и културним правима, Сл. гласник СФРЈ, Бр. 7.71
Закон о родној равноправности. Сл. гласник РС. Бр. 52. 01.
Закон о уређењу судова. Сл. гласник РС, Бр. 10.23.
Кривични законик. Сл. гласник РС. Бр. 85.05, 88.05 - испр., 107.05 – испр., 72.09, 111.09, 121.12, 104.13, 108.14, 94.16, 35.19 и 94.24.
Општа декларација о правима човека усвојена је на Генералној скупштини УН 10. децембра 1948. године.-
Препоруке о етици система вештачке интелигенције, УНЕСКО, 2021 (Recommendation on the Ethics of AI).
Притужба В. Р. против банке 07-00-115/2015-02 од 19.7.2015.
Притужба Д.А. против К. банке Б. бр. 07-00-299/2015-02 од 10.9.2015.
Стратегије развоја вештачке интелигенције у Републици Србији за период 2025-2030. године Сл. гласник РС. 5.25.
Решење IУз-85/2021 Уставног суда Србије.
Устав Републике Србије. Службени гласник РС. Бр. 98.06. и 115.21.
Council of Europe Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law, Council of Europe Treaty Series - No. 225, Vilnius, 5.IX.2024.
IУз-299/2018 од 22.12.2022.
Уж-1384/2008. од 2.12.2010. године.
https://algorithmwatch.org/en/finnish-credit-score-ruling-raises-questions-about-discrimination-and-how-to-avoid-it/, приступ сајту 6.3.2025
https://nitra.gov.rs/cir/ministarstvo/vesti/odrzan-prvi-sastanak-radne-grupe-za-izradu-nacrta-zakona-o-vestackoj-inteligenciji-republike-srbije, приступ сајту 10.3.2025.
https://oxfordinsights.com/ai-readiness/ai-readiness-index/, приступ сајту 15.3.2025.
https://ravnopravnost.gov.rs/poverenica-na-konferenciji-uticaj-vestacke-inteligencije-na-slobodu-informisanja-misljenja-i-izrazavanja/, приступ сајту 11.3.2025.
https://ravnopravnost.gov.rs/poverenica-o-nadzoru-i-etici-u-upotrebi-vestacke-inteligencije/, приступ сајту 11.3.2025.
Published
2025/05/12
Section
Original Scientific Paper