Автор Дамјан Митровски

Содржина

Вовед

Во современиот дигитален свет, вештачката интелигенција (ВИ) стана фактор кој не само што го обликува технолошкиот напредок, туку сè подлабоко се вкоренува во општествените структури и одлуки, вклучувајќи ги оние што директно влијаат врз животите на луѓето. ВИ се почесто ја среќаваме да се применува во здравството, образованието, финансиите, маркетинг и безбедност. Притоа, нејзината „неутралност“ често се прикажува како основен квалитет. Но не треба да го занемариме фактот дека ВИ сепак е алгоритам кој е производ на човечки избори, вредности и претходни општествени условености, вклучително и оние кои се темелат на родови принципи.

Родот во општествените науки се однесува на социјалните и културните разлики меѓу мажите и жените, како и на родовите улоги и идентитети. Токму затоа, проблематизирањето на родовата пристрасност во ВИ претставува не само технички, туку и длабоко политички и социолошки чин, преку кој се отвораат прашања за пристапот до моќ, признание и социјална правда во дигиталното доба.

Историски контекст на родови пристапи во технологијата

Прашањата околу родот и технологијата не се појавија со современите ВИ системи – тие имаат подлабоки историски корени. Во текот на изминатата деценија, јавноста беше сведок на низа настани на родовата пристрасност во алгоритмите. На пример, еден од нив е пристрасноста во машински преводи: услугите како Google Translate често преведуваа родово неутрални изрази на начин што ги рефлектира традиционалните стереотипи (на пр., од турски јазик „тој е доктор“ наспроти „таа е медицинска сестра“). Во 2019 година, UNESCO објави влијателен извештај со наслов “I’d Blush If I Could”, кој укажува дека дигиталните гласовни асистенти (како Siri и Alexa), речиси секогаш се поставени со женски глас и карактер, даваат субмисивни и понекогаш флертувачки одговори дури и на навредливи барања, со што се зацврстуваат штетни родови стереотипи (UNESCO, 2024). Извештајот нагласил дека овие системи биле развивани од претежно машки инженерски тимови, што резултирало со функционалности кои имплицитно промовираат слика на жената како услужна и трпелива подредена. Ваквите примери од блиското минато ја подигнаа свеста дека технологијата не е имуна на општествените пристрасности – напротив, таа често ги пресликува и засилува. 

Родовата пристрасност во ВИ

Моделите на машинско учење се тренираат врз огромни збирки на податоци па со тоа и историските родови нееднаквости во општеството. Ако податоците содржат систематски разлики базирани на род (или други категории), алгоритмот ќе ги „научи“ тие разлики како нормални обрасци. Алгоритмите немаат сопствена свест или морал за да ги „коригираат“ овие пристрасности, па затоа, доколку не се превенира, постои потенцијал со секоја наредна итерација ВИ системот да ги засили веќе постоечките нееднаквости.

Покрај податоците, голема улога игра и човечкиот фактор во развојот на ВИ, односно недостатокот на разновидност во тимовите кои ги дизајнираат и програмираат алгоритмите. Хомогените тимови – на пример, составени претежно од машки инженери од слични демографски групи – може несвесно да интегрираат сопствени претпоставки и пристрасности во дизајнот на системите. Родовата нерамнотежа во технолошкиот сектор значи дека перспективите на жените и маргинализираните заедници често не се доволно застапени при креирањето на ВИ. Дополнително жените сочинуваат помал процент меѓу софтверските инженери во ИКТ-сферата. Родовата пристрасност во ВИ не е само технички проблем, туку и одраз на општествените односи на моќ: кој ги гради овие системи и со каква визија за крајните корисници.

Примери на родова пристрасност во вештачката интелигенција

За подобро да се разбере апстрактниот концепт на алгоритамска пристрасност, во продолжение се наведени конкретни примери каде што ВИ-системите пројавиле родова пристрасност. 

Пристрасност во системите за автоматизирано вработување: случајот на Amazon

Еден од првите високо-профилирани случаи на алгоритамска родова пристрасност е експерименталниот систем за автоматизирано оценување на биографии развиен од компанијата Amazon (Amazon, 2018). Во периодот од 2014 до 2017 година, Amazon изградил интерна алатка за филтрирање и рангирање на кандидати за вработување со помош на машинско учење. Целта била да се забрза и подобри процесот на селекција, меѓутоа во 2018 година проектот бил напуштен откако компанијата открила дека алгоритмот покажува систематска пристрасност против жените. Системот бил обучен на податоци од биографии на претходни успешни кандидати, собрани во период од десет години – податоци во кои доминирале машки апликанти, одразувајќи ја машката доминација во техничките професии во минатото. Како последица на тоа, алгоритмот „научил“ дека машките кандидати се претпочитани, па ги рангирал женските кандидати пониско. Конкретно, откриено е дека програмот ги казнува биографиите кои содржеле термини како „women’s” – на пример, ако некој наведел учество во „женски шаховски клуб“ или диплома од претежно женски колеџ, системот го намалувал скорот на таа биографија. Алгоритмот, значи, имплицитно го третирал родот како фактор за квалитет, и покрај тоа што тоа не било експлицитно програмирано. На крај, проектот бил целосно укинат. Овој случај јасно укажува на опасноста од користење историски податоци како „неутрална“ основа – ако историјата е пристрасна, алгоритамскиот систем може да ја автоматизира таа пристрасност во процесите на вработување. 

Пристрасност во системите за препознавање на лица: студијата Gender Shades

Друг значаен пример се однесува на комерцијалните системи за препознавање на лица (Face recognition). Истражувањето со наслов “Gender Shades” (2018), спроведено од Џој Буоламвини (Joy Buolamwini) и Тимнит Гебру (Timnit Gebru) во MIT Media Lab, открива драматични родови и расни пристрасности во алгоритмите за класификација на лица по пол. Анализирани биле три комерцијално достапни системи (меѓу кои и на Microsoft, IBM итн.), при што било утврдено дека сите покажуваат значително повисоки стапки на грешка при класификација на лица на жени со потемна кожа, во споредба со мажи со посветла кожа. aclu-mn.org. Конкретно, стапката на грешка за препознавање на темнокожи жени достигнувала до 34,7%, додека за светлокожи мажи изнесувала само 0,8%. Овие бројки јасно ја илустрираат родовата и расната пристрасност: ризик од погрешна идентификација трпеле жени од малцински расни групи. Причината, утврдена од истражувачите, е едноставна – системите биле тренирани на збирки слики во кои имало диспропорционално повеќе светлокожи мажи, па нивната точност била највисока за таа категорија, додека за другите групи драстично опаѓала. 

Овој пример покажува дека без внимателно оценување на податоците и перформансите низ различни демографски категории, дури и големите играчи во ВИ можат ненамерно да креираат технологии што ги продлабочуваат постоечките нееднаквости.

Пристрасност во големите јазични модели: студијата на UNESCO (2024)

Со подемот на т.н. големи јазични модели LLM  (Large Language Model) – модели како GPT-3.5, GPT-4, PaLM, LLaMA и сл. кои се тренирани на огромни количини текст – се поставува прашањето дали и тие во себе инкорпорираат родови стереотипи. Одговорот, за жал, е потврден, како што покажува една студија објавена од UNESCO во 2024 година. Во оваа студија биле анализирани повеќе напредни LLM модели, при што била согледана тенденцијата на моделите да ги поврзуваат жените со традиционални домашни улоги и контексти, додека мажите почесто ги поврзуваат со професионални улоги и атрибути на моќ. Mоделите многу почесто споменувале жени во врска со зборови како „дом“, „семејство“ или „деца“, додека машките ликови и имиња ги поврзувале со термини како „бизнис“, „директор“, „плата“ или „кариера“. Важно е да се нагласи дека LLM моделите немаат знаење за вистинскиот свет – тие само статистички ги имитираат шаблоните кои преовладуваат во базите на податоци со кој биле тренирани. 

Пристрасност во генеративните ВИ алатки за слики: примери од DALL·E 2 и Stable Diffusion

Големите модели не оперираат само со текст – генеративните ВИ алатки како DALL·E 2, Stable Diffusion и Midjourney можат да креираат слики врз основа на текстуални побарувања (prompts). Студија објавена во 2023 година анализирала повеќе од 5.000 слики генерирани со Stable Diffusion и открила дека моделот систематски ги подрепрезентира жените во одредени професии и улоги. На пример, за текстуалниот опис „судија“ (judge), Stable Diffusion прикажувал жена во само околу 3% од генерираните слики – иако реалните статистики покажуваат дека околу 34% од судиите во САД се жени (Our Secure Future, 2023). Слично на тоа, за улоги поврзани со менаџмент и извршна власт (директор, менаџер и сл.), генеративните модели непропорционално често продуцираат слики на бели мажи. Една анализа покажа дека DALL·E 2 генерирал бел маж во 97% од сликите за пребарувања од типот „CEO“ (генерален директор). Наспроти тоа, за зборови како „секретарка“ или „медицинска сестра“, моделите речиси по правило прикажуваат женски ликови. Ова укажува дека моделите ги „научиле“ општествените клишеа од податоците – на пример, online слики и описи каде што директорите најчесто биле прикажувани како мажи – и слепо ги повторуваат. Ваквите резултати не се само статистика, туку имаат импликации: доколку генерираните слики се користат во медиумски содржини, маркетинг или образовни материјали, тие можат да придонесат кон зацврстување на стереотипите (на пр., дека судија „по дифолт“ е маж, а медицинска сестра „по дифолт“ е жена).

Погоре споменатите примери ни покажуваат дека без претпазлив дизајн и постојано тестирање, ВИ системите можат да манифестираат родова пристрасност во различни форми. Потребно е да се подигне свеста во технолошката индустрија и пошироко, истакнувајќи ја важноста и на родовата правичност. 

Последици од родовата пристрасност во ВИ

Родовата пристрасност во алгоритмите не е само техничко прашање – таа има конкретни општествени последици. Ако системите на вештачка интелигенција носат одлуки или препораки кои се пристрасни, тие можат да влијаат врз животните шанси на луѓето, да ги засилат постоечките стереотипи и неправди или да доведат до нееднаква распределба на ресурси и услуги. Во овој дел, ќе разгледаме три клучни категории на последици: 

• неправедни одлуки при вработување и селекција, 
• зацврстување на родовите стереотипи во културата и општеството, и 
• неправедна распределба на ресурси и квалитет на услуга.

Неправедни одлуки при вработување и селекција

Како што беше потенцирано во примерот со Amazon, пристрасните ВИ системи за регрутација можат директно да наштетат на правичноста при вработување. Кандидатки со одлични квалификации може да бидат одбиени при вработување од алгоритам кој „научил“ дека успешен работник во технологијата треба да е од машки пол. На тој начин се исклучуваат групи таленти од можности за работа само врз основа на демографија. Истражувачите од Универзитетот во Вашингтон (University of Washington, 2024) во 2024 година тестирале три водечки јазични модели (LLM) за автоматско рангирање на биографии и откриле значајна пристрасност во зависност од името на кандидатот. (washington.edu). Во анализа на 550 вистински биографии, моделите 85% од времето давале предност на имиња кои асоцираат на бели мажи, додека имињата кои сугерираат женски пол биле преферирани во само 11% од случаите. Уште позагрижувачки, ниту во еден единствен случај алгоритмите не дале предност на биографија со „црно машко“ име во однос на биографија со „бело машко“ име. Резултатот е очигледен – доколку ваквите модели се користат без надзор, тие би генерирале листи на „најдобри кандидати“ каде жените и одредени етнички групи се систематски потценети, што претставува форма на автоматизирана дискриминација. Со други зборови, ВИ може да изврши филтрирање на кандидати врз основа на ирелевантни фактори, со што компаниите би отфрлиле квалитетни личности и би се изложиле на правни ризици за дискриминација.

Зацврстување на родовите стереотипи во културата и општеството

ВИ системите со родови пристрасности можат да ги нормализираат и засилат стереотипите во културата и секојдневната комуникација. На пример, ако еден голем јазичен модел постојано генерира текстови каде што женските ликови се прикажани како негувателки или асистентки, а машките како лидери и стручњаци, тој модел активно учествува во обликување на наративите што корисниците ги консумираат. Еден извештај на UNESCO од 2024 год. покажал токму таков тренд: анализирајќи ги LLM моделите, истражувачите заклучиле дека жените речиси четири пати почесто се споменуваат во домашен контекст отколку мажите, кои пак преовладуваат во контекст на бизнис и професии (unesco.org). Кога ваквите модели се применуваат во сервисите што ги користиме – на пример, за автоматско сугерирање вести, составување на е-пораки или генерирање содржини на социјалните мрежи – тие можат имплицитно да ги засилат очекувањата дека „местото“ на жената е дома, а на мажот на работа. Ова е особено проблематично во образованието и воспитувањето на идните генерации: ако девојчињата постојано гледаат ВИ-системи кои професиите научник, инженер, програмер „ги замислуваат“ како мажи, тоа може да влијае на нивната сопствена перцепција на способностите и кариерните аспирации.

На општествено ниво, ваквото засилување на стереотипите придонесува кон одржување на статус-квото во родовите односи. И покрај децениските напори за унапредување на улогата на жените во науката, технологијата, политиката и др., ако новите алатки на дигиталната доба продолжат да ги повторуваат старите предрасуди, напредокот може да биде забавен или дури изместен наназад. Затоа сè почесто се зборува за потребата од „родово свесна“ вештачка. Доколку таков пристап изостане, последиците можат да бидат долгорочни, бидејќи технологијата станува сè поприсутна во секојдневието и има моќ да дефинира наративи во колективната свест.

Неправедна распределба на ресурси и услуги

Родовата пристрасност во ВИ може да доведе до неправедна распределба на ресурси, различен квалитет на услуга и нееднаков пристап за различни групи. Еден илустративен пример е технологијата за препознавање на говор. Системите за автоматско препознавање на говор (на пример, на мобилните телефони, паметните звучници или автомобилските командни системи) во минатото покажале разлики во точноста во зависност од полот на говорникот. Истражувања објавени во Harvard Business Review и Stanford Social Innovation Review (Stanford Social Innovation Review, 2021) забележале дека комерцијалните решенија за препознавање говор (вклучително и услугите на Google) имале околу 13% повисока точност за машки гласови отколку за женски. Со други зборови, виртуелните асистенти подобро „ги слушале“ и разбирале мажите. Ако на ова се надоврзе и друг фактор, како на пр. акцентот или бојата на кожата, прецизноста драстично опаѓа – жените од малцинските заедници се соочуваат со најлоши резултати во препознавањето говор. Последиците од ова не се само неудобност при користење на технологијата, туку и потенцијално посериозни: замислете систем во автомобил кој гласовно препознава команди за итна помош, но помалку успешно ја распознава наредбата од жена возач во критична ситуација; или пак медицинска апликација која дава совети врз основа на гласовни одговори, но погрешно ги толкува кажаните симптоми бидејќи корисничката има повисок тон на глас. Ваквите сценарија покажуваат пристрасна услуга, каде жените добиваат послаб квалитет од технологијата само поради биолошки или гласовни разлики.

Неправедната распределба се забележува и во други домени. Алгоритмите за распределба на ресурси во заедницата – на пример, одлучување кои области да добијат поголема полициска патрола, кои групи да таргетираат одредени социјални услуги, или кој тип на содржини да добие поголема видливост на платформи – исто така можат да имаат родови импликации. Ако податоците што ги користат покажуваат историски дека одредени ресурси повеќе ги користеле мажите, алгоритмот може непропорционално да им ги доделува нив и во иднина, игнорирајќи ја потенцијалната потреба кај женските групи. Една студија објавена во Stanford Social Innovation Review анализирала десетици ВИ системи во јавниот сектор и заклучила дека над 60% од нив произвеле исходи кои биле неправедни за жените, во смисла на пристап до информации, можности или услуги (например, кампањи за јавно здравје што преку алгоритам биле насочени главно кон машка публика, и слично). Дополнително, пристрасностите во препораките на социјалните мрежи или пребарувачите можат да придонесат за “родов јаз во информациите” – сценарио во кое, да речеме, жените поретко добиваат препораки за подобро платени работни позиции или технички курсеви, бидејќи алгоритмите заклучиле (на база на претходни податоци) дека помалку жени се интересираат за тие полиња.

Накратко, кога ВИ системите не се правични, тие можат активно да креираат две различни реалности за корисниците: една привилегирана, каде одлуките и услугите се оптимизирани според потребите на доминантната група (во многу случаи, машката), и друга – маргинализирана, каде другите групи добиваат потценувачки третман. Ваквата дигитална сегрегација е спротивна на фундаменталните начела на еднаквост и инклузија. Затоа, последиците од родовата пристрасност во ВИ се прашање на дигитална правда: дали технологијата ќе служи еднакво на сите или ќе креира нови облици на општествена нееднаквост.

Мерки за намалување на родовата пристрасност во ВИ

Соочени со доказите дека алгоритмите можат да манифестираат родова пристрасност, природно се наметнува прашањето: што може да се преземе за да се ублажи или елиминира ваквата пристрасност? Решението мора да биде мултидимензионално, опфаќајќи технички, организациски и општествени мерки. 

Бидејќи „пристрасноста влегува преку податоците“, еден од најдиректните начини за подобрување на правичноста е внимателна селекција и обработка на податочните множества. Тоа значи при прибирањето на податоци за тренирање треба да се осигура застапеност на различни групи (по род, раса, возраст, географија итн.) пропорционално и без систематски празнини. Во контекст на родот, ова подразбира да се избегнува, на пример, збирка на биографии што е 90% машка – наместо тоа, да се соберат податоци кои ја рефлектираат реалната (или посакуваната) родова дистрибуција. Дополнително, потребно е чистење на податоците од очигледни маркери на пристрасност: отстранување или балансирање на термините кои сигнализираат пол без потреба, како и на примерите што експлицитно содржат дискриминаторски јазик. Еден конкретен случај на успех е споменатата реакција на IBM и Microsoft по студијата Gender Shades: тие ги ревидирале своите бази на податоци за препознавање лица за да вклучат повеќе слики на жени со различен тон на кожа, и на тој начин значително ја намалиле разликата во перформансите на нивните модели. Исто така, Google преведувачот вовел измена во која за некои родово двосмислени преводи нуди два резултати (машки и женски) наместо автоматски да избере еден – директна техничка интервенција за да се избегне наметнување на пол кога оригиналот не го специфицира. Сето ова покажува дека со свесно управување на податоците, може значајно да се ублажи проблемот пред воопшто да се појави во моделот

Вклучување на жени и маргинализирани групи во развојот на ВИ е мерка која може да помогне во намалувањето на родовата пристарсност во ВИ. Ова е долгорочна стратегија – да се привлечат и оспособат повеќе жени (и други потпретставени групи) како машински инженери, научници за податоци, проект-менаџери, дизајнери на производи. Ако тимовите кои ги градат алгоритмите се разновидни, поголема е веројатноста некој член на тимот да воочи потенцијален проблем. На пример, жените инженери може побрзо да забележат дека нивниот гласовен асистент потфрла со женски гласови, бидејќи тие самите ќе се соочат со тој проблем при тестирањето. Слично, интердисциплинарните тимови – каде покрај технички лица има и социолози, психологови, експерти за родови студии – можат да донесат поширока перспектива при креирањето на системите. 

Покрај превентивните мерки, важни се и реактивните – кога системот е веќе изграден, да постојат начини да се тестира и поправи. Во академската заедница и индустријата се појавија бројни алатки за ферност и отчетност на ВИ. На пример, „IBM AI Fairness 360“ е open-source библиотека која нуди сет од метрики за мерење на пристрасност (разлика во точност меѓу групи, однос на лажно позитивни случаи меѓу групи итн.), како и алгоритми за намалување на пристрасноста. Слично, „Google What-If Tool“ им овозможува на девелоперите да прават „what-if“ анализи – да видат како би се сменил излезот на моделот ако промениме одредени атрибути (на пр., ако Марија ја преименуваме во Мартин во даден input, дали излезот ќе се промени?). Овие алатки можат да се интегрираат во процесот на развој како стандарден чекор, слично како што се користат тестови за безбедност или перформанси. Некои организации воведуваат и „bias bounties“, по аналогија на bug bounty во сајбер-безбедноста – нудат награди за истражувачи или вработени кои ќе откријат и документираат пристрасност во нивните ВИ системи. На овој начин, се охрабрува активно барање на проблемите наместо нивно прикривање. За јавните институции и критичните системи, експертите препорачуваат и надворешни ревизии: независни тела (државни агенции или сертифицирани компании) да ги проверуваат ВИ алатките пред нивна употреба, слично на технички преглед. 

На крај, од најширока перспектива, општеството може да постави норми и правила кои ќе осигураат дека принципот на родова еднаквост е вграден во дигиталните системи. Еден начин е преку етички принципи и саморегулација – бројни организации (ODI, IEEE, UNESCO итн.) веќе имаат изработено насоки за етичка ВИ, каде ферноста е централна компонента. На пример, UNESCO во 2021 г. усвои глобална препорака за етика на вештачката интелигенција, каде се истакнува потребата од спречување на родова дискриминација преку ВИ и се повикува на почитување на човековите права во целиот lifecycle на технологијата. Сепак, етиката без закон може да остане само на хартија. Затоа, сè повеќе држави и наднационални тела се движат кон регулативи. ЕУ AI Act, кој се очекува наскоро, ќе бара од системите класифицирани како висок ризик (меѓу кои спаѓаат и системите за биометриска идентификација, за образование, вработување, кредитирање и сл.) да демонстрираат усогласеност со одредени стандарди за ферност и недискриминација, при што неспроведувањето може да резултира со високи казни. Њујорк веќе донесе закон кој бара компаниите кои користат автоматизирани алатки за наем да вршат годишни аудити за пристрасност и да ги објавуваат резултатите. 

Во суштина, мерките за намалување на родовата пристрасност во ВИ мора да дејствуваат синергично. Техничките подобрувања се неопходни, но не и доволни ако не се придружени со културна промена и надворешен притисок (стандардизација, регулација). Како што истакнува едно глобално набљудување, за ВИ да биде етичка и „во служба на општото добро“, таа мора да ги елиминира експлицитните и имплицитните пристрасности, вклучувајќи ги родовите. Ова можеби не може да се оствари совршено, но со сплотени напори од инженерите, преку организациите, до законодавците, можно е да се изгради ВИ која ќе ја намалува, наместо да ја зголемува родовата нееднаквост.

Библиографија:

1. Amazon scraps secret AI recruiting tool that showed bias against women. (2018, October 10). Reuters. https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G
2. Buolamwini, J., & Gebru, T. (2018). Gender shades: Intersectional accuracy disparities in commercial gender classification. Proceedings of Machine Learning Research, 81, 1–15. https://proceedings.mlr.press/v81/buolamwini18a.html
3. Crescendo AI. (2023). Bias in Generative AI Tools: Gender Representation in Image Synthesis Systems. https://crescendo.ai/research/bias-in-generative-tools
4. European Commission. (2021). Proposal for a Regulation laying down harmonised rules on artificial intelligence (Artificial Intelligence Act). https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A52021PC0206
5. Frontiers in Artificial Intelligence. (2022). Gender Bias in Healthcare Algorithms: A Systematic Review. https://www.frontiersin.org/articles/10.3389/frai.2022.795004/full
6. Stanford Social Innovation Review. (2021). How AI is Biased Against Women. https://ssir.org/articles/entry/how_ai_is_biased_against_women
7. UNESCO. (2024). AI and Gender: Addressing Bias in Large Language Models. Paris: United Nations Educational, Scientific and Cultural Organization. https://unesdoc.unesco.org/ark:/48223/pf0000382244
8. University of Washington. (2024). Racial and Gender Bias in AI Hiring Tools: Empirical Evidence from Resume Screening Models. https://cs.washington.edu/research/aibiasreport2024
9. Wikipedia contributors. (2023). Gender Shades. Wikipedia. https://en.wikipedia.org/wiki/Gender_Shades
10. The Gradient. (2023). The Biases of Generative Models. https://thegradient.pub/generative-models-and-bias/
11.  Our Secure Future – AI and Gender Biases (Stable Diffusion analysis) https://oursecurefuture.org/our-secure-future/