Авторка Сара Гроздановска
Вовед
Во современиот дигитален екосистем, вештачката интелигенција игра се поважна улога во трансформацијата на различни општествени сектори од здравството и образованието, до финансиските услуги и пазарот на труд. Особено забележлив е растот на генеративните јазични модели, како што се GPT, PaLM и слични системи, кои демонстрираат извонредна способност за разбирање и генерирање на човечки јазик. Овие технологии веќе се применуваат во автоматска анализа на биографии, филтрирање на кандидати, дигитални интервјуа и дури и предикција на соодветноста за конкретно работно место.
Иако ваквите алатки ветуваат поголема ефикасност и објективност, зад површината се крие сериозен ризик: пренос и засилување на постоечките родови пристрасности. Овие модели се обучуваат врз основа на масивни збирки податоци што често го рефлектираат општеството со сите негови стереотипи, дискриминации и нееднаквости. Наместо да ги надминат тие слабости, системите неретко ги вградуваат и натаму ги институционализираат под превезот на алгоритамска неутралност.
Значајна загриженост предизвикува влијанието што ваквата технологија може да го има врз жените, небинарните и маргинализираните групи, чии професионални профили и кариерни патеки често не се вклопуваат во шаблоните што ги препознаваат алгоритмите. Родовата пристрасност, дури и кога е суптилна и индиректна, може да доведе до систематско исклучување, ограничување на кариерен напредок или создавање нови бариери во рамките на формално објективни системи.
Во услови на се поголема зависност од генеративна вештачка интелигенција во клучни процеси како регрутацијата, се јавува потреба за продлабочена анализа на механизмите преку кои се појавува пристрасноста, нејзините последици, како и начините за одговорна примена. Особено внимание заслужуваат прашањата поврзани со етиката, правната регулатива и инклузивниот дизајн како предуслови за развој на праведни, транспарентни и општествено одговорни интелигентни системи.
3
Генеративна вештачка интелигенција во контекст на регрутација
Генеративната вештачка интелигенција претставува нова фаза во развојот на автоматизираните системи што имаат способност да создаваат содржина текстуална, визуелна, аудио или мултимодална – со високо ниво на кохерентност и сличност со човечка комуникација. Еден од најпознатите облици на ваквата технологија се генеративните јазични модели, познати како Large Language Models (LLMs), меѓу кои се GPT од OpenAI, PaLM од Google, LLaMA од Meta и Claude од Anthropic.Тие се темелат на трансформаторска архитектура и користат длабоко учење за да го предвидат и генерираат следниот збор во реченица, врз основа на огромни количини текстуални податоци.
Овие модели стануваат сe поприсутни во индустријата, вклучувајќи ја и областа на човечките ресурси и регрутацијата. Компаниите започнуваат да ги интегрираат генеративните AI системи во алатки за скенирање на биографии, автоматизирано составување мотивациони писма, генерирање интервју-прашања и формулирање на препораки врз основа на анализа на кандидатски профили. Исто така, се користат за пишување препораки, одговори на прашања за кариера, рангирање на компетенции и извршување на други автоматизирани задачи поврзани со селекција на кадар.
Основната цел на ваквата примена е да се намали субјективноста кај човечките регрутери, да се зголеми брзината на обработка на податоци и да се постигне еднаквост во третманот на кандидатите. Сепак, токму овие цели можат да бидат нарушени доколку самите модели рефлектираат пристрасност кон одредени групи особено кога станува збор за родови
улоги. На пример, документирани се случаи во кои моделите создаваат текстови што претпочитаат машки имиња за технички позиции, а женски за административни или комуникациски улоги. Дополнително, може да се забележи разлика во тонот, стилот и содржината на препораките во зависност од родот на кандидатот, што има директно влијание врз перцепцијата на регрутерите.
4
Дополнително, овие системи често функционираат како црни кутии нивните внатрешни механизми на одлучување не се транспарентни ниту за корисниците, ниту за оние што се предмет на нивните проценки. Ова го ограничува потенцијалот за верификација, проценка и корекција на пристрасностите што може да произлезат. Најчесто, ваквата пристрасност останува невидлива, но сепак има реални последици врз кариерите и животните патеки на апликантите.
Овие дилеми не се само теоретски. Тие се манифестираат преку конкретни механизми вградени во самите модели почнувајќи од пристрасните податоци, преку архитектурата на алгоритмите, до нивните ефекти во практичната примена.
Механизми на појава на родова пристрасност во генеративните модели
Генеративните AI модели се производ на масивни процеси на машинско учење врз основа на огромни збирки текстуални податоци кои содржат содржини од интернет, книги, новински написи, форуми и многу други извори. Ова значи дека тие модели не го учат јазикот во неутрален контекст туку го учат во рамки на културните, историските и општествените реалности што се одразуваат во податоците. Кога податоците содржат нееднаквости, предрасуди и стереотипи моделот ги учи и ги репродуцира тие структури.
Еден од клучните механизми преку кои се пренесува родовата пристрасност во LLM е пристраноста на тренинг-податоците (data bias). На пример, ако во голем број објави на интернет мажите се спомнуваат во контекст на инженер, менаџер, програмер, додека жените се поврзуваат со секретарка, учителка, или асистентка, моделот ќе ги заклучи овие асоцијации како нормални и најверојатни. Оттука, кога ќе треба да состави препорака или да одговори на прашање за идеален кандидат, тој ќе ги пренесе овие шаблони.
Друг механизам е интернализацијата на јазични и културни стереотипи. Генеративните модели не се само статистички предвидувачи тие веќе поседуваат сопствено моделско знаење врз основа на дистрибуцијата на зборови и изрази. Така, ако термини поврзани со
5
лидерство, амбиција и логика се почесто појавуваат за мажи, а термини како емпатија, послушност и уредност за жени моделот ги вградува овие дистинкции во своите одговори, па дури и кога тие се суптилни или индиректни.
Дизајнот на самите модели е уште еден значаен извор на пристрасност. Дури и кога моделите се обучуваат врз основа на прочистени податоци, архитектурата и начинот на фино прилагодување може да доведат до несакани пристрасности. На пример, доколку финото прилагодување е извршено со примери што доминантно рефлектираат машки перспективи, или ако човечките аннотатори што давале повратни информации имале сопствени несвесни пристрасности, тие влијанија стануваат дел од финалниот модел. Така, пристрасноста не се појавува само од податоците, туку и од изборите направени при дизајнот и калибрацијата на самиот систем.
Последно, но не и најмалку важно, е однесувањето на моделите во реална интеракција. Дури и кога моделот не е директно пристрасен, начинот на кој корисниците го користат, или контекстот на дијалогот, може да го активираат репродуцирањето на родови стереотипи. На пример, ако моделот добие упатство да состави препорака за кандидат со женско име и просечна техничка квалификација, одговорот може да биде посуптилен, пократок или поедноставен отколку за исто ниво маж.
Во пракса, овие механизми дејствуваат синергиски. Родовата пристрасност не произлегува од една причина, туку од комбинација на повеќе нивоа: податоци, алгоритамски дизајн, човечка интеракција и општествени норми. Разбирањето на овие механизми е клучно за да се идентификува каде може да се интервенира дали со подобрување на податоците, со транспарентност на моделот, или со регулација на неговата примена.
Конкретни примери и студии на случаи
За подобро разбирање на тоа како родовата пристрасност се манифестира во генеративните AI модели, особено во процесите на вработување, важно е да се разгледаат конкретни примери и студии од реалниот свет. Тие не само што ја потврдуваат теоретската
6
анализа, туку и укажуваат на практичните последици од користењето на овие технологии без соодветен надзор.
Пристрасност при анализа на биографии
Проектот FAIRE (Fairness in Automated Resume Evaluation) анализирал како генеративните и други автоматизирани AI модели функционираат при скенирање и оценување на биографии. Истражувањето открило дека системите имаат тенденција да асоцираат технички улоги со машки имиња. На пример, биографија потпишана со „Ана“ добивала покуси и посуптилни препораки, додека истата содржина со машко име „Мартин“ резултирала со поентузијастички и охрабрувачки тон.
Генерација на мотивациони писма со пристрасен јазик Истражувачи од Универзитетот во Вашингтон спровеле експеримент со GPT, барајќи од моделот да генерира мотивациско писмо за инженерска позиција, еднаш со женско, еднаш со машко име. Писмото за машкиот кандидат содржело термини како иновативен, водечки и решителен, додека за женскиот кандидат доминирале зборови како поддржувачка, посветена и вредна. Овие суптилни разлики значително влијаат на перцепцијата за стручност и лидерски квалитети.
Интерактивни регрутациски алатки
Истражувања на неколку AI базирани регрутациски системи покажале дека прашањата што ги поставуваат чат-ботите, како и повратните информации, варираат според перципираниот род на кандидатот. Жените почесто добивале прашања за работа во тим или комуникациски вештини, додека мажите биле прашувани за технички предизвици и иновативни решенија. Ова укажува на алгоритамска репродукција на длабоко вкоренети општествени шаблони.
Недостаток на женски репрезентации во тренирачкиот корпус Анализа на OpenAI открила дека само мал процент од податоците користени за тренинг на LLM модели потекнуваат од содржини креирани од жени или текстови што третираат женски професионални искуства. Оваа нерамнотежа доведува до недоволно
7
разбирање на специфични кариерни патеки, бариери и начини на изразување, што резултира со понекогаш неточни, редукционистички или нецелосни резултати за женски корисници.
Употреба во реални компании
Во случај на голема технолошка компанија во САД (анонимизирана), генеративен AI систем бил користен за селекција на кандидати. Интерна анализа покажала дека процентот на жени кои стигнале до финалната селекција бил значително помал отколку кога процесот бил рачен. Причината откриена преку ревизија била тоа што AI системот поврзувал техничка терминологија и искуства почесто со машки имиња.
Овие примери ја потврдуваат суштинската опасност дека генеративните AI системи, без внимателен надзор, не само што ги рефлектираат постојните општествени нееднаквости, туку и активно ги зајакнуваат. Затоа е неопходно вниманието да не се насочи само кон финалните резултати, туку и кон квалитетот на влезните податоци, структурата на моделите и контекстот во кој тие се применуваат.
Влијанието врз жените и маргинализираните групи
Последиците од родовата пристрасност во генеративните AI модели не се само технички или статистички – тие имаат реални и длабоко човечки импликации. Жените, небинарните и трансродовите лица, како и други маргинализирани групи, се соочуваат со сериозни пречки при влез и напредување на пазарот на труд кога селекцијата на кандидати е делумно или целосно базирана на алатки кои несвесно го фаворизираат стандардниот профил на кандидат.
Првата и најочигледна последица е намалената шанса за добивање на работа, дури и кога квалификациите се идентични или супериорни. Ова резултира не само со губење на можности за вработување, туку и со создавање чувство на невидливост и обесхрабреност
8
кај кандидатките. Кога системите постојано избираат профили што одговараат на машинскиот шаблон на успех, се исклучуваат уникатните патеки на жени кои можеби имале паузи во кариерата, имале поразлична едукација или комбинирале хуманистички и технички вештини.
Понатаму, пристрасноста во AI моделите има и психолошко влијание. Кандидатите кои се почувствувале неправедно третирани, без јасна причина или објаснување, развиваат недоверба кон системите и го губат самодовербата. Особено кај жените во техничките професии кои и онака често се борат со синдром на измамник ваквата системска пристрасност може дополнително да ги одврати од понатамошни апликации, учества или професионален развој.
Постои и структурно влијание врз професионалната еднаквост. Ако AI системите континуирано фаворизираат одреден профил на кандидат, тогаш се создава нова форма на дигитално стаклено ќебе, каде што маргинализираните групи се држат на страна од клучни улоги, проекти или лидерски позиции. Ова не само што ги засега индивидуите, туку и ја одразува инерцијата на цели индустрии во нивниот однос кон инклузивноста и разновидноста.
Во поширока смисла, ваквите системски исклучувања го нарушуваат принципот на праведност во општеството. Ако технологиите што треба да ја олеснат работата и да донесат иновации, всушност ја задржуваат или зајакнуваат дискриминацијата, тогаш тие стануваат алатки на нееднаквост, а не на прогрес. Токму поради тоа, разбирањето на влијанието на генеративните AI модели врз родовата еднаквост е не само академска задача, туку и етичка и политичка обврска на сите што учествуваат во развојот, имплементацијата и надзорот на ваквите технологии.
9
Етички, правни и регулаторни предизвици
Со појавата на генеративната вештачка интелигенција, особено во контексти како регрутацијата и човечките ресурси, се отвораат низа етички и правни дилеми кои досега не постоеле или не биле толку видливи. Примената на ваквите системи врз одлуки што директно влијаат на животот и егзистенцијата на луѓето – како што е вработувањето – бара внимание не само од технолошка перспектива, туку и од етичка и регулаторна.
Слика 1. Симболична претстава на етичката димензија на вештачката интелигенција и нејзината способност за одлучување
Етички дилеми
Од етичка гледна точка, користењето на генеративни модели за селекција на кандидати поставува прашања за праведност, транспарентност и отчетност. Кога некој кандидат е одбиен врз основа на AI модел, а не постои можност да се разбере зошто, се нарушува основниот принцип на информираност и фер третман. Многу модели функционираат како
црна кутија, што значи дека нивниот процес на одлучување не може лесно да се објасни ниту од компанијата што го користи моделот, ниту од страна на самите програмери.
10
Дополнително, постои ризик AI системите да ја заменат човечката одговорност со алгоритамска одлука. Наместо да се користат како поддршка, во многу случаи овие системи функционираат како конечни одлучувачи. Ова е особено проблематично кога не постои доволна проверка дали моделот се однесува праведно и дали ги репродуцира социјалните нееднаквости.
Правни предизвици
Правната рамка во поглед на генеративната AI сѐ уште е во фаза на развој. Во Европската Унија, во тек е донесување на AI Act, правен документ кој има за цел да воспостави јасни правила за користење на AI системи вклучувајќи и оние со висок ризик како што се алатките за вработување. AI системите кои вршат автоматизирани одлуки за регрутација би можеле да бидат класифицирани како високоризични, што значи дека ќе мора да исполнуваат високи стандарди за транспарентност, правичност и надзор.
Во САД, законодавството е фрагментирано, но некои држави како Њујорк и Илиноис веќе воведуваат обврски за известување и тестирање на алгоритми што се користат во процеси на вработување. Овие закони бараат, на пример, AI моделите да бидат аудитирани за пристрасност, а кандидатите да бидат известени кога нивната пријава е процесирана од алгоритам.
Во Македонија и на Балканот, правната регулатива за вакви технологии речиси не постои. Тоа создава сериозен ризик за злоупотреба или некритичка примена на генеративна AI, без механизми за надзор, транспарентност и жалба. Се наметнува потребата од прилагодување на националните закони кон европските трендови, со вклучување на специфични одредби за AI системи кои имаат влијание врз човековите права.
Потреба од регулаторна етика
Етичките кодекси и препораки, како оние на UNESCO, OECD и IEEE, веќе укажуваат на важноста на воведување родова перспектива во дизајнот и примена на AI системи. Но, овие документи сами по себе не се обврзувачки. Токму затоа е неопходно правото и етиката да се спојат преку конкретни и изводливи политики. Ова значи:
• задолжителни евалуации на пристрасност во моделите,
11
• обука за оние што ги користат AI алатките,
• отчетност за последиците од автоматизирани одлуки,
• вклучување на различни социјални групи во процесите на развој на системите.
Во отсуство на вакви механизми, ризикот не е само технички или статистички туку фундаментално општествен. Без одговорен и транспарентен пристап, генеративната AI не само што нема да ја унапреди правдата и еднаквоста, туку ќе придонесе кон нејзиното понатамошно еродирање.
Слика 2. Генеративна AI и нејзината технолошка структура
12
Предлози за развој на инклузивни и фер AI системи
Со цел да се спречат и ублажат ефектите од родовата пристрасност во генеративните AI модели, потребен е системски пристап кој ги вклучува сите фази од животниот циклус на технологијата од дизајн, преку тренинг и имплементација, па сѐ до надзор и ревизија. Следните предлози се однесуваат на клучните области каде што може да се делува за создавање поправедни, транспарентни и инклузивни системи.
Разновидни тимови во развојот на AI
Постои директна поврзаност меѓу составот на тимот што дизајнира AI и степенот на чувствителност на системот кон различни социјални групи. Истражувањата покажуваат дека тимовите составени претежно од мажи, особено од технолошки хомогени средини, имаат помала веројатност да препознаат суптилни форми на пристрасност. Затоа, потребно е да се обезбеди родова, етничка и културна разновидност кај луѓето кои учествуваат во креирањето, тестирањето и мониторингот на AI системите.
Етички стандарди и обврзувачки протоколи
Не е доволно само да се препознаат етичките предизвици тие мора да се формализираат преку етички протоколи што ќе станат дел од практиката во организациите. Тоа подразбира:
• анализа на потенцијална пристрасност при секој развој на модел,
• користење специфични метрики за фер однесување,
• обврзувачка верификација за фер третман на различни родови и социјални категории.
Тестирање и bias auditing пред имплементација
Секој генеративен AI модел што ќе се користи во чувствителни области како регрутацијата мора да помине објективен bias audit. Ова вклучува:
13
• тестирање со податоци што претставуваат различни родови,
• анализа на разлики во излезот за слични влезови со различен род, • документирање и корекција на сите откриени пристрасности.
Инклузивни и балансирани податоци за тренинг
Податоците што се користат за тренинг се основа на секој AI систем. Затоа е клучно тие да бидат репрезентативни, балансирани и внимателно селектирани. Ова значи:
• вклучување на податоци од различни културни и јазични контексти, • вклучување на содржини создадени од жени, небинарни и маргинализирани автори, • избегнување на извори познати по стереотипна или дискриминаторна содржина.
Транспарентност и објасниви системи
Потребни се алатки и механизми кои ќе овозможат разбирање на тоа како и зошто моделот донел одредена одлука. Ова не само што овозможува правна заштита и отчетност, туку гради и доверба кај корисниците. Објаснивите модели им овозможуваат на кандидатите да добијат разумно објаснување зошто биле одбиени и дали постои простор за жалба или ревизија.
Вклучување на корисничка и граѓанска перспектива
Процесите на дизајн и ревизија на AI системи не треба да бидат ограничени само на инженери и бизнис интереси. Потребно е активно вклучување на граѓански организации, феминистички групи, синдикати и активисти во процесите на надзор, критичка анализа и соработка при дефинирање на критериуми за фер и инклузивна употреба на AI.
Образование и подигнување на свесноста
Институциите, компаниите и универзитетите треба да вложуваат во едукација за етичка AI, родова еднаквост и пристрасност во технологијата. Само преку развој на критичка дигитална писменост може да се создаде отпорност кон пасивно прифаќање на технологиите како непогрешливи и да се поттикне одговорно користење.
14
Примената на овие предлози не е само техничка задача, туку општествена одговорност. Инклузивниот и фер дизајн на AI системите претставува инвестиција во иднината каде што технологијата не ја репродуцира нееднаквоста туку активно придонесува кон нејзиното надминување.
Заклучок
Генеративната вештачка интелигенција претставува еден од најдинамичните и највлијателни технолошки напредоци во современиот свет. Нејзината примена во регрутациските процеси носи значителен потенцијал за ефикасност, автоматизација и оптимизација на работниот процес, но истовремено отвора сериозни прашања околу праведноста, пристрасноста и родовата еднаквост. Како што беше прикажано низ оваа анализа, родовата нееднаквост може да се вгради во AI системите на повеќе нивоа од селекцијата на тренинг-податоци, преку алгоритамското моделирање, до нивната практична примена во реални институции и компании.
Жените и маргинализираните заедници се особено изложени на овие ризици, не само поради ограничениот пристап до можности за вработување, туку и поради психолошките, структурните и општествените импликации што произлегуваат од технолошки заснована дискриминација. Наместо да бидат алатки за еднаквост, AI системите често стануваат нови, алгоритамски форми на институционализирана пристрасност обвиени во привид на објективност, но во суштина продолжение на постојните општествени нееднаквости.
Решението не лежи во отфрлањето на технологијата, туку во нејзиното одговорно, етичко и транспарентно управување. Преку изградба на инклузивни развојни тимови, користење балансирани и репрезентативни податоци, воведување на етички протоколи и јасна правна отчетност, можно е да се развијат системи кои ја поддржуваат еднаквоста, а не ја нарушуваат. Таквиот пристап бара интердисциплинарна соработка меѓу технолози, правници, активисти, истражувачи и заедницата во целина.
Игнорирањето на родовата перспектива во дизајнот на AI не е само техничка слабост тоа е сериозен општествен пропуст со потенцијал за долгорочни последици. Само преку свесно
15
вградување на принципите на правичност, транспарентност и човекови права во сите фази од развојот, може да се осигури дека вештачката интелигенција ќе служи како вистинска алатка за општествена инклузија, а не за нејзино уназадување.
Библиографија
[1] https://dl.acm.org/doi/10.1145/3306618.3314244
[2] https://unesdoc.unesco.org/ark:/48223/pf0000381137
[3] https://proceedings.mlr.press/v81/buolamwini18a.html
[4] https://cardozolawreview.com/the-paradox-of-automation-as-anti-bias-intervention [5] https://ainowinstitute.org/discriminatingsystems.pdf
16