Игор Гошев
Вовед
Машинското учење (ML) претставува гранка на вештачката интелигенција која овозможува на алгоритмите да учат од податоци и да донесуваат одлуки без експлицитно програмирање. Овие системи сè почесто се применуваат во различни сфери, како што се здравството, финансиите, човечките ресурси и криминологијата, со цел да се подобрат процесите на одлучување и ефикасноста.
Сепак, машинското учење не е ослободено од недостатоци, особено кога станува збор за пристрасноста (bias) во податоците. Бидејќи алгоритмите учат од историски податоци, тие можат да ги репродуцираат и засилат постојните родови нееднаквости во општеството. Ова може да резултира со дискриминација во различни аспекти, како што се вработување, одобрување на кредити, препознавање лица и таргетирање на реклами. [1]
Родовата еднаквост, како фундаментално човеково право, бара праведен третман на сите лица, без разлика на нивниот пол. Доколку моделите за машинско учење несвесно фаворизираат една група во однос на друга, тоа може да ја влоши постојната нееднаквост. Поради ова, клучно е да се истражат причините за пристрасноста во ML системите и да се развијат стратегии за праведна и инклузивна вештачка интелигенција.
Во оваа семинарска ќе истражиме како машинското учење може да биде пристрасно во однос на родовата еднаквост, кои се потенцијалните последици и кои методи можат да помогнат во намалување на ваквата пристрасност.
3
Пристрасноста во машинско учење (bias)
Пристрасноста (bias) во машинското учење се јавува кога моделите донесуваат одлуки што наклонети за одредена група луѓе, особено кога станува збор за чувствителни карактеристики како што се пол, раса или возраст. Оваа пристрасност најчесто произлегува од податоците што ги користат моделите за тренирање, начинот на кој тие податоци се обработуваат, како и од самите алгоритми што ги анализираат и интерпретираат информациите. [2]
1. Пристрасност во податоците за тренирање
Главниот извор на пристрасност во машинското учење доаѓа од податочните множества што се користат за тренирање на моделите. Ако податоците содржат историски нееднаквости, тие автоматски се пренесуваат во алгоритмите. На пример:
• Историски дискриминациски практики – Доколку податоците за вработување содржат податоци од минатото, каде што мажите биле претпочитани за одредени работни позиции, моделот може да научи дека мажите се „подобри“ кандидати и да продолжи да ги фаворизира.
• Нерепрезентативни податоци – Ако модел за препознавање лица се тренира со слики на кои доминираат мажи, неговата точност ќе биде значително помала за жените. Вакви примери се забележани кај системите за препознавање лица на некои технолошки компании, каде што точноста кај жените и кај луѓето со потемна кожа е значително пониска. [1]
2. Пристрасност во обработката и означувањето на податоците
Често пати, податоците што се користат за машинско учење се означени (labeled) од луѓе, а овој процес може несвесно да воведе пристрасност. На пример, во модели за
4
автоматско детектирање на професии, жените можат почесто да бидат поврзувани со занимања како медицинска сестра или учителка, додека мажите со инженерски и менаџерски позиции. Ако овие модели се користат за автоматско рангирање на кандидати за работа, тие можат да ги потиснат жените при изборот за одредени професии. [3] [4]
3. Пристрасност во алгоритмите и начинот на донесување одлуки
Дури и ако податоците се релативно неутрални, алгоритмите што ги обработуваат може да воведат пристрасност. На пример, некои модели оптимизираат за најголема точност без да обрнат внимание на фер распределба на резултатите. Тоа значи дека моделот може да приоретизира точност за една група, но не и за друга, што доведува до неправедни исходи. [5]
4. Пристрасност во интерпретацијата и користењето на моделите
Дури и ако моделот е добро обучен, начинот на кој неговите резултати се толкуваат и применуваат може да доведе до пристрасност. На пример, системите за предвидување на криминал користат историски полициски податоци кои можат да имаат пристрасност кон одредени заедници. Ако алгоритмот се користи за одредување на полициски патроли, тој може несвесно да ја засили таа пристрасност. [6]
Примери на родова пристрасност во машинското учење
Родовата пристрасност во машинското учење е еден од најсериозните предизвици што може да доведе до нееднаквост во различни области. Иако алгоритмите се развиени со цел да бидат објективни, тие често го рефлектираат пристрасното однесување кое постои во податоците со кои се тренирани како што дискутиравме
5
погоре. [6] Во продолжение се наведени неколку реални примери каде што машинското учење покажало родова пристрасност.
1. Пристрасност во системите за вработување [7]
Amazon HR AI (2014-2017)
Еден од најпознатите примери на родова пристрасност во машинското учење е системот за автоматизирано рангирање на кандидати што го развиваше Amazon. Компанијата користеше модел за вработување кој ги анализираше биографиите на кандидатите за технолошки позиции.
Појавата на пристрасност
• Моделот беше трениран со податоци од претходните апликации за работа во Amazon, каде што повеќето вработени биле мажи.
• Со оглед на тоа дека во ИТ секторот традиционално доминираат мажи, системот несвесно ги фаворизираше кандидатите од машки пол.
• Жени што наведувале „женски“ термини во своите биографии (како „женски инженерски клуб“ или „капетан на женски тим“) биле автоматски рангирани пониско.
Последица:
Amazon го укина овој систем во 2017 година, бидејќи не успеа да ја елиминира пристрасноста, што покажа колку е тешко да се направат праведни алгоритми ако податоците од минатото содржат дискриминација.
2. Родова пристрасност во системите за препознавање лица [8] Разлики во точноста на идентификација
Истражувањата покажаа дека многу алгоритми за препознавање лица имаат значителни разлики во точноста кога идентификуваат мажи во споредба со жени. [1]
6
Пример:
• Истражувањето на Joy Buolamwini од MIT откри дека системите за препознавање лица на компании како IBM, Microsoft и Face++ имале стапка на грешка помала од 1% за бели мажи, но над 34% за темнокожи жени.
• Оваа разлика во точноста е резултат на фактот дека податоците за тренинг вклучуваат многу повеќе слики од мажи, особено од белата раса.
Последица:
• Ваквата пристрасност може да доведе до проблеми во системите за безбедност, каде што жените може да бидат неправедно одбиени или погрешно идентификувани.
• Ова исто така има влијание врз алгоритмите што се користат за автоматизирани проверки на идентитет, полициски истраги и други критични апликации.
3. Родова пристрасност во финансиските алгоритми [9] Пристрасност при доделување на кредити
Во 2019 година, алгоритамот што се користеше во Apple Card, производ на компанијата Apple во соработка со Goldman Sachs, покажа значителна родова пристрасност.
Како се манифестираше пристрасноста?
• Жените добиваа значително пониски кредитни лимити во споредба со мажите, иако имаа исти финансиски услови и кредитна историја.
• Дури и кога жените имаа подобри финансиски параметри од своите сопрузи, тие добиваа полоши понуди за кредити.
7
Резултат:
• Apple и Goldman Sachs беа критикувани од јавноста и истражувани од регулаторните органи.
• Ова покажа дека алгоритмите кои обработуваат финансиски податоци може да ја засилат родовата нееднаквост ако не се контролираат внимателно.
4. Родова пристрасност во онлајн рекламирањето [10] Google Ads и Facebook Ads
Алгоритмите за рекламирање често таргетираат корисници според податоците што ги обработуваат, но ова може да доведе до дискриминација.
Пример:
• Истражување од 2019 година покажа дека Google Ads почесто им прикажува високо платени работни позиции на мажи отколку на жени.
• Facebook Ads беше обвинет дека користи пристрасни алгоритми за рекламирање на работни места, каде што градежни позиции најчесто биле прикажувани на мажи, а административни работи на жени.
Резултат:
• Оваа форма на пристрасност може да влијае на кариерата на жените и нивните можности за вработување.
• Во некои случаи, компаниите мораа да ги променат своите алгоритми за да осигурат подеднаква распределба на рекламите.
8
Како може да се намали
пристрасноста?
За да се намали родовата пристрасност во алгоритмите за машинско учење, потребни се неколку клучни чекори:
• Подобрување на податоците – Користење балансирани, неутрални и разновидни податочни множества кои ги претставуваат сите групи подеднакво. • Редовно тестирање и евалуација – Континуирана проверка на алгоритмите за да се открие и коригира пристрасноста.
• Транспарентност во развојот – Обезбедување јасни критериуми за одлуки и објаснување на моделите.
• Регулации и етички насоки – Воведување законски мерки што ќе спречат дискриминација во алгоритмите.
Со овие мерки и со голема работа, машинското учење може да стане поправедно и да придонесе за зголемување на родовата еднаквост.
9
Заклучок
Родовата пристрасност во машинското учење е сериозен проблем што може да доведе до дискриминација во вработувањето, финансиите, безбедноста и многу други области. Како што покажуваат бројни примери, алгоритмите несвесно ја рефлектираат нееднаквоста што постои во општеството, особено ако се тренирани со пристрасни податоци.
За да се намали оваа пристрасност, потребно е подобрување на податочните множества, редовно тестирање на алгоритмите, транспарентност во развојот итн. Со овие чекори, машинското учење може да стане поправедна технологија што ќе придонесе кон зголемување на родовата еднаквост, наместо да ја одржува или засилува нееднаквоста. Само со заеднички напори можеме да осигураме дека вештачката интелигенција работи во корист на сите, без разлика на родот.
10
Библиографија
[1] , Deborah & Asif, Alina & Kinney, Kaelin & Brandt, Tiffany & Cecil, Rhiannon & Himes, Paul & Cashon, Cara & Hopp, Rachel & Ross, Edna, Racial, skin tone, and sex disparities in automated proctoring software, 2022.
[2] G. &. M. M. Monko, From Bias to Balance: Navigating Gender Inclusion in AI, 2024.
[3] Cui, Hao & Yasseri, Taha, Gender Bias in Perception of Human Managers Extends to AI Managers., 2025.
[4] Y. Chaerunissa, The Construction of History Learning Oriented to Gender Equality., 2017.
[5] F. Lütz, Gender equality and artificial intelligence in Europe. Addressing direct and indirect impacts of algorithms on gender-based discrimination, 2022.
[6] Allen, Robin & Masters, Dee, Artificial Intelligence: the right to protection from discrimination caused by algorithms, machine learning and automated decision making, 2019.
[7] J. Dastin, “Insight – Amazon scraps secret AI recruiting tool that showed bias against women,” Reuters, 11 October 2018. [Мрежен]. Available:
https://www.reuters.com/article/world/insight-amazon-scraps-secret-ai-recruiting tool-that-showed-bias-against-women-idUSKCN1MK0AG/.
[8] L. Hardesty, “Study finds gender and skin-type bias in commercial artificial intelligence systems,” MIT, 11 February 2018. [Мрежен]. Available:
https://news.mit.edu/2018/study-finds-gender-skin-type-bias-artificial-intelligence systems-0212.
[9] “The Apple Card didn’t ‘See’ Gender – and That’s the problem,” WIRED, 19 November 2019. [Мрежен]. Available: https://www.wired.com/story/the-apple-card-didnt-see genderand-thats-the-problem/.
[10] Clare Duffy & Carlotta Dotto, “People are missing out on job opportunities on Facebook because of gender, research suggests,” CNN, [Мрежен]. Available:
11
https://edition.cnn.com/2023/06/12/tech/facebook-job-ads-gender-discrimination asequals-intl-cmd/index.html.
12