Вештачката интелигенција и родовиот јаз во ИТ: Дали  алгоритмите ги продлабочуваат или ги ублажуваат  предрасудите?

Published by

on

1546996980683

Автор Дарко Бутевски

l. Вовед 

Вештачката интелигенција (ВИ) сè повеќе станува дел од нашето секојдневие – од тоа како  се вработуваме, до начинот на кој добиваме кредити, учиме или добиваме правна  поддршка. Иако ВИ има потенцијал да донесе поголема објективност во многу процеси, се  покажува дека не е имуна на предрасудите кои веќе постојат во општеството. Родовиот јаз,  особено во технолошките сектори, е еден од најзначајните аспекти каде што оваа  пристрасност може да се манифестира. 

ИТ-секторот веќе со години се соочува со недостаток на родова разновидност – според  UNESCO, жените сочинуваат само околу 25% од вработените. Оваа реалност добива  дополнителна димензија кога вештачката интелигенција се користи во процесите како што  се регрутација или проценка на способности. Иако технологијата може да помогне во  намалување на човечката пристрасност, ако алгоритмите се „нахранети“ со пристрасни  податоци, тие може несвесно да продолжат да ги исклучуваат жените и другите  маргинализирани групи. 

Во овој текст ќе се осврнеме на неколку клучни прашања: 

• На кој начин алгоритмите за машинско учење ги рефлектираат или дури и засилуваат  родовите разлики – на пример, при вработување или доделување кредити; 

• Дали навистина постојат „неутрални“ системи на ВИ или тие секогаш носат некаков  отпечаток од културниот контекст на нивните креатори; 

• Кои се можните решенија и политики за ублажување на овие проблеми – како што  се вклучување на разновидни податоци за обука или редовни етички проверки на  алгоритмите. 

Ќе разгледаме конкретни примери, како што е случајот со алатката за регрутирање на  Amazon, која дискриминирала кандидатки, но и случаи на иницијативи за создавање  родово неутрални дигитални асистенти. Освен тоа, ќе се повикаме на најновите  истражувања во оваа област, со цел да се предложат практични чекори за развој на  технологија што е инклузивна и фер за сите.

ll. Главен дел 

1. Длабинска анализа на родовата пристрасност во вештачката  интелигенција 

1.1. Техничките корени на алгоритмичката пристрасност  

Родовата пристрасност во вештачката интелигенција (ВИ) не се појавува од никаде — таа е  резултат на долг синџир од одлуки кои се донесуваат во текот на целиот процес на развој  на еден AI систем. Од самиот почеток, кога се собираат податоци за тренирање, па сѐ до  начинот на кој се мерат перформансите на моделот, постојат точки на кои може да влезе (и  остане) пристрасноста. 

На пример, ако за обука на еден алгоритам за регрутирање се користат податоци од минати  децении, кога жените ретко добивале технички позиции, алгоритмот автоматски учи од тие  „трендови“. Па така, без директна намера, се создава систем што ги повторува старите  предрасуди. И уште полошо, тој тоа го прави под превезот на „објективност“. 

Дури и во фазата на анализа на податоци, развивачите можат несвесно да исклучат фактори  кои се важни за родовата еднаквост. На пример, некои „неутрални“ променливи можат  индиректно да носат родови разлики – како типот на универзитет или траењето на  професионалната пауза (која често се однесува на мајчинство). 

Уште една важна точка е дека критериумите за „успешност“ на AI моделите ретко  вклучуваат ферност како мерка. Студија од 2022 година покажа дека речиси 80% од  комерцијалните AI системи не ја мерат ефикасноста по пол, што значи дека пристрасноста  може да остане скриена и незабележана. 

1.2. Комплексни случаи на дискриминација  

Иако често ја замислуваме технологијата како нешто неутрално, вистината е дека системите  што ги користиме денес можат да донесуваат одлуки кои реално имаат негативно влијание  врз одредени групи – особено жени. Најдобар пример за тоа е случајот со Amazon.  Компанијата развила AI систем кој требало да им помогне во преселекција на кандидати.  Наместо тоа, тој започнал да ги „казнува“ биографиите што содржеле термини како  „women’s chess club“ или „women’s university“. Причината? Податоците од кои учел  алгоритмот биле доминирани од мажи – и тој го „научил“ тоа како предност. 

Друг пример се системите за препознавање говор. Истражувања покажуваат дека ваквите  системи имаат и до 40% поголема стапка на грешки кога идентификуваат женски гласови.  Причината повторно е едноставна – системите биле тренирани главно на машки гласови. 

Замислете како тоа влијае кога жените користат дигитални асистенти или комуницираат со  автоматизирани услуги. 

Финансискиот сектор исто така не е имун. Некои алгоритми за кредитна оценка досега  одобрувале значително помали суми на кредит на жени, иако нивните финансиски  профили биле идентични со оние на мажите. Ова укажува дека проблемот не е само во  технологијата, туку и во начинот на кој таа е поврзана со длабоко вкоренети општествени  шаблони. 

2. Комплексни Решенија за Намалување на Пристрасноста 2.1. Напредни Технички Пристапи 

Иако е лесно да се посочи проблемот на пристрасност, многу потешко е да се најде  вистинското решение – особено кога се работи за алгоритми кои сами учат од податоци.  Меѓу најактуелните решенија се техниките што ја вклучуваат т.н. „adversarial debiasing“. Тоа  значи дека се создаваат две невронски мрежи кои функционираат како натпреварувачи:  едната се обидува да направи што поточни предвидувања (на пр., кој кандидат е  најсоодветен за некоја работа), а другата се обидува да „погоди“ дали исходот зависи од  заштитен атрибут, како полот. Ако втората мрежа успее, тоа значи дека има пристрасност, и  првата мрежа мора да се прилагоди. Овој процес е итеративен и сложен, но ветувачки. 

Дополнително, се користат „fairness constraints“, што едноставно значи дека при развојот на  моделот, се вметнуваат математички ограничувања кои осигуруваат дека одлуките не се  нефер кон одредени групи. На пример, може да се постави правило дека успешноста на  моделот за машки и женски корисници не смее да се разликува повеќе од 5%. Секако, овие  методи бараат поголем технички напор, вклучително и подобро селектирани податоци,  поголема пресметковна моќ и време. 

Она што особено ми остави впечаток при истражувањето е колку е тенка границата помеѓу  “објективен” и “пристрасен” модел. Дури и кога се стремиме кон еднаквост, самото  дефинирање што значи “фер” може да варира зависно од културниот контекст, па затоа не  постои универзално решение. 

2.2 Улогата на образованието и јавната свест 

Иако техничките решенија како алгоритамско „дебајсинг“ се неопходни, долгорочната  промена не е можна без паралелен развој на јавната свест и образованието. Родовата 

еднаквост во ВИ не се постигнува само со подобри модели, туку и со подобро разбирање  на проблемот од страна на оние што ги создаваат и користат тие модели. 

Воведувањето на родова перспектива во образованието – особено во STEM дисциплините  – е суштинско. Кога студентите по информатика, инженерство или податоци се запознаени  со концепти како алгоритамска пристрасност, стереотипи и структурна дискриминација, се  создава генерација на професионалци кои имаат сензибилитет за фер дизајн. 

Покрај тоа, улогата на медиумите и јавните институции е клучна во ширењето на  информации за оваа тема. Колку повеќе се зборува јавно за родовата пристрасност во  технологијата, толку поголема е веројатноста за притисок кон етичко и инклузивно  технолошко создавање. На тој начин, образованието и јавната свест стануваат темел за  создавање општество во кое вештачката интелигенција навистина служи на сите, без  исклучок. 

2.3 Улогата на етичките комитети и интердисциплинарни тимови 

Во развојот на системи со вештачка интелигенција, особено оние што се користат во  општествено чувствителни области како здравство, образование или вработување,  неопходно е вклучување на етички комитети и интердисциплинарни тимови. Техничките  експерти, сами по себе, често немаат доволна перспектива за социјалните и културните  импликации на технологијата што ја развиваат. Токму затоа, тимовите во кои се вклучени  социолози, правници, психолози и експерти за родови прашања се клучни за препознавање  и предвидување на можната пристрасност. 

Етичките комитети можат да служат како механизам за надзор, поставување на стандарди  и проверка на одговорност при донесување одлуки поврзани со дизајнот, тестирањето и  имплементацијата на алгоритмите. Нивната работа не треба да биде формална процедура,  туку активен процес на анализа, прашување и предизвикување на претпоставките кои се  вградени во технологијата. 

Интердисциплинарниот пристап овозможува пошироко разбирање на тоа што значи  „ферност“ и како таа може да се постигне не само преку код, туку и преку културна и  општествена одговорност.

3. Идни Перспективи и Сложени Предизвици 

3.1. Етички Дилеми во AI Развојот 

Етичките прашања во ВИ не се само академска дебата – тие директно влијаат врз животите  на луѓето. Една од најкомплицираните дилеми е балансирањето помеѓу точност и ферност.  На пример, во здравствени апликации, може да се случи еден модел да биде попрецизен ако ги земе предвид биолошките разлики помеѓу мажи и жени. Но тоа автоматски носи  опасност од генерализирање и потенцијално погрешно лекување на поединци кои не се  вклопуваат во просекот. 

Овие прашања не се само технички, туку и морални. Кога креираме системи кои носат  одлуки за луѓе – дали некој ќе добие работа, кредит или дијагноза – треба да се прашаме:  дали правиме разлика што е навистина неопходна, или само ги следиме општествените  шаблони што постојат со децении? 

Често, како потенцијално решение се предлага развој на посебни модели за различни  групи, на пример – еден за мажи, друг за жени. Но тоа ги зголемува трошоците, и не секогаш  е одржливо. Дополнително, се поставува прашањето: што со луѓето кои не се  идентификуваат со бинарен род? 

3.2. Регулаторни Сценарија  

Во последните години, се гледа зголемен интерес кај институциите да воведат правила за  ВИ. Еден од најзначајните чекори во таа насока е Европскиот „AI Act“, кој предвидува четири  нивоа на ризик за ВИ системите: од минимален до „висок ризик“. Системи што се користат  во областа на вработувањето, правдата или здравството се сметаат за високо-ризични и  мора да исполнат строги критериуми за транспарентност и ферност, вклучувајќи анализи по  пол и етничка припадност. 

Во САД, состојбата е покомплицирана поради тоа што нема единствена федерална  регулатива, туку различни држави имаат различни закони. На пример, Калифорнија има  многу посилни правила за заштита на личните податоци и дискриминација во ВИ, додека  други држави сè уште немаат регулирано ништо конкретно. 

Кина, пак, има поинаков пристап: не толку фокусиран на етички димензии, туку на контрола  и безбедност. Сите овие разлики покажуваат колку е глобално предизвикот комплексен – не постои универзално правило, а технолошкиот развој оди многу побрзо од законите.

3.3 Технологија и родова инклузија во земјите во развој 

Иако глобалната дискусија за родова еднаквост и вештачка интелигенција често се  фокусира на развиените земји, важно е да се земе предвид и состојбата во земјите во  развој. Во овие контексти, технолошкиот напредок може да има двоен ефект: од една  страна, може да понуди нови можности за жените, особено преку пристап до образование,  е-трговија или дигитално здравство; но од друга страна, ако се имплементира без свест за  родовиот контекст, технологијата може да ги продлабочи постојните нееднаквости. 

На пример, ако системите за препознавање говор или преведувачи не го поддржуваат  локалниот јазик или не ги препознаваат културните и родови разлики, жените од руралните  средини можат да бидат дополнително маргинализирани. Исто така, ниската дигитална  писменост, ограничениот пристап до интернет и социјалните норми можат да претставуваат  бариери за користење на AI-платформи од страна на жените. 

Затоа, развојот на ВИ во глобален контекст мора да вклучува родова анализа специфична  за секоја средина. Поддршката на иницијативи за дигитална инклузија, локализирана обука  и развој на јазично и културно сензитивни системи е клучна за да не се дозволи  технологијата да биде привилегија на малкумина, туку алатка за проширување на  можностите за сите. 

4. Економски и Социјални Импликации 

4.1. Бизнис Перспектива  

Од бизнис гледна точка, воведувањето инклузивни и правични ВИ системи не е само етички  императив – тоа е и економски паметна одлука. Истражување од McKinsey покажа дека  компании со разновидни тимови имаат 35% поголема шанса да постигнат финансиски  резултати над индустрискиот просек. Причината? Разновидноста носи различни идеи, нови  перспективи и поголема креативност во решавање проблеми. 

Исто така, студијата покажува дека тие компании имаат 21% поголема веројатност да бидат  иновативни, а 27% се подобри во привлекување и задржување на таленти. Тоа значи дека  инклузивноста не е само „политичка коректност“ – туку реален фактор за успех на пазарот. 

Сепак, овие промени доаѓаат со цена. Развивање фер ВИ модели бара повеќе ресурси: 15- 20% повисоки трошоци за собирање и селекција на квалитетни, разновидни податоци; 10-

15% повеќе време за развој, тестирање и проверка на модели; како и вработување на  специјализирани тимови со експертиза во етика, родова студија, и правна регулатива. 

Но, од она што го научив при пишувањето на овој труд, станува јасно дека оваа  „инвестиција“ вреди. Не само што технологијата ќе биде поправедна, туку и посоодветна за  глобално општество што е сè повеќе чувствително на прашања на различност и еднаквост. 

4.2 Последици од родовата пристрасност во вештачката  интелигенција 

Родовата пристрасност во вештачката интелигенција не е само технички недостаток – таа  има реални последици за животите на луѓето, особено жените и родово  маргинализираните групи. Кога алгоритмите се донесуваат врз основа на податоци што не  ја одразуваат комплексноста на општеството, може да се случи да ги дискриминираат оние  што веќе се наоѓаат во понеповолна положба. 

На пример, системи за автоматска селекција на кандидати може несвесно да ги игнорираат  биографиите на жени поради тоа што се потпираат на историски обрасци каде мажите биле  доминантни во одредени професии. Ова може да доведе до дополнително зголемување на  родовиот јаз во секторите каде тој и онака е изразен. Слично, при здравствени дијагнози,  алгоритмите кои се базирани на податоци добиени претежно од машки пациенти може да  дадат помалку точни резултати за жените, со што се загрозува нивното здравје. 

На општествено ниво, ова создава затворен круг во кој пристапот до ресурси, можности и  поддршка се одредува од алгоритми што несвесно ја репродуцираат дискриминацијата. Во  ваков контекст, вештачката интелигенција, наместо да придонесе кон еднаквост, станува  средство што ја зацврстува нееднаквоста. 

4.3 Препораки за намалување на родовата пристрасност во ВИ 

За да се намали ризикот од родова пристрасност во вештачката интелигенција, потребен е  холистички пристап кој ги опфаќа и техничките и општествените аспекти на проблемот.  Првиот и најважен чекор е вклучувањето на разновидни тимови во дизајнирањето и  развојот на ВИ системите. Кога жени и други маргинализирани групи се дел од процесот, се  зголемува шансата системот да ги препознае и нивните потреби и реалности.

Дополнително, неопходно е користење на балансирани и инклузивни податочни  множества при тренирање на алгоритми. Бази на податоци што ги одразуваат различните  искуства по род, раса, класа и возраст се клучни за да се избегне пристрасноста. 

Институционалните политики и законската рамка, како што е Европскиот AI Act, исто така  имаат важна улога. Преку воведување на обврски за транспарентност, проверка на  пристрасност и регуларни етички ревизии, се создава основа за одговорно користење на  технологијата. 

Конечно, неопходна е континуирана едукација – како на оние што ги развиваат овие  системи, така и на оние што ги користат – за да се развие свест за потенцијалната штета од  пристрасните ВИ решенија и да се негува критички однос кон технологијата. 

5. Родовата перспектива во дизајнот на вештачка интелигенција 

Во основата на секој систем со вештачка интелигенција стои процесот на дизајн – кој  учествува во неговото креирање, кои вредности се вградени во него, и како се дефинира  „успешен резултат“. Родовата перспектива е често отсуна токму во оваа почетна фаза. Ако  на масата каде се донесуваат технолошките одлуки нема застапеност на жени или други  родово маргинализирани групи, тогаш и најнапредниот алгоритам може да биде ограничен  и неполноцен. 

Воведувањето на родова перспектива во дизајнот значи размислување од самиот почеток  за тоа како технологијата ќе влијае на различни корисници. Тоа вклучува не само родова  еднаквост во тимовите, туку и практики како вклучување на жени кориснички во процесот на тестирање, анализа на родови импликации при користење на системот, и дефинирање  на ферност како клучен критериум во евалуацијата на моделите. 

Овој пристап станува сè поактуелен и во рамки на меѓународните иницијативи за „етичка  ВИ“, каде се бара дизајн што ги рефлектира потребите на сите луѓе, а не само на оние со  привилегиран пристап до технологија. Интегрирањето на родовата перспектива во фазата  на концептуализација и развој е чекор напред кон создавање технологии кои се инклузивни  по своја природа, а не само накнадно прилагодени.

lll. Заклучок 

Родовата пристрасност во вештачката интелигенција не е случајна грешка – таа е резултат  на длабоки структурни нееднаквости што се пренесуваат од општеството во податоците, и  од податоците во алгоритмите. Техничките аспекти на овој проблем, како што се  селекцијата на податоци и метриките за евалуација, се само дел од сложената слика која  вклучува културни, историски и економски фактори. Од случајот со Amazon до разликите во  препознавање на говор по пол, гледаме дека дури и најнапредните технологии можат да ги  повторуваат старите предрасуди ако не сме внимателни. 

Истовремено, анализата покажа дека постојат реални и применливи решенија, иако тие  често се технички сложени и скапи. Напредните пристапи како adversarial debiasing и fairness  constraints отвораат можности за посложени, но и пофер ВИ системи. Но, дури и најдобрите  технички решенија нема да бидат доволни без соодветна регулаторна поддршка и  посветеност на вклученост и разновидност на сите нивоа – од развојот до  имплементацијата. 

Клучната порака што ја извлеков од ова истражување е дека вештачката интелигенција не  е независна од општеството што ја создава. Ако сакаме таа да биде праведна и инклузивна,  мораме свесно да ја моделираме со вредности кои го рефлектираат тоа. За да постигнеме  технолошка иднина која работи за сите, не смее да ја гледаме ВИ само како алатка, туку и  како општествен актер кој има потенцијал – како за правда, така и за дискриминација.

lV. Библиографија 

1. UNESCO (2023). Women in AI: Where Do We Stand? https://unesdoc.unesco.org/ark:/48223/pf0000385380 

2. Buolamwini, J., & Gebru, T. (2018). Gender Shades: Intersectional Accuracy Disparities in  Commercial Gender Classification. https://proceedings.mlr.press/v81/buolamwini18a.html 

3. Obermeyer, Z., Powers, B., Vogeli, C., & Mullainathan, S. (2019). Dissecting racial bias in  an algorithm used to manage the health of populations. Science. https://www.science.org/doi/10.1126/science.aax2342 

4. Raji, I. D., & Buolamwini, J. (2019). Actionable Auditing: Investigating the Impact of  Publicly Naming Biased Performance Results of Commercial AI Products. https://dl.acm.org/doi/10.1145/3287560.3287596 

5. European Commission (2021). Proposal for a Regulation Laying Down Harmonised Rules  on Artificial Intelligence (Artificial Intelligence Act). https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A52021PC0206 

6. McKinsey & Company (2020). Diversity Wins: How Inclusion Matters. https://www.mckinsey.com/capabilities/people-and-organizational-performance/our insights/diversity-wins-how-inclusion-matters 

7. Binns, R. (2018). Fairness in Machine Learning: Lessons from Political Philosophy. https://dl.acm.org/doi/10.1145/3278721.3278732 

8. U.S. Government Accountability Office (GAO). (2021). Artificial Intelligence: An  Accountability Framework for Federal Agencies and Other Entities. https://www.gao.gov/products/gao-21-519sp