Автор Михаил Рибароски
Вовед
Во последно време, вештачката интелегенција претставува дел кој е од големо значење за модерниот технолошки напредок. Компаниите се почесто праваат транзиција кон автоматизација и креирање на соодветни алгоритми за да ја подобрат ефикасноста и да направат оптимизација на ресурсите.
Оваа технологија се користи во многу од области од кои човечките ресурси е една од нив – тоа значи подобра селекција,вработување на кандидати и евалуација. Но оваа област каде што човечките одлуки се од големо значење, вештачката интелегенција може да преставува проблем така што може да направи неправди ако остане без некаква контрола или е не е соодветно дизајнирана.
Пример за не соодветно користење на вештачката интелегенција претставува Amazon и нивниот обид на имплементација на автоматизиран систем за селекција на кандидати. Системот наместо да резултира со правичност и висока ефикасност, овој алгоритам резултирал со пристрасност при извршување на селекцијата на женски кандидати.
Алгоритмот, обучен врз податоци кои на некој начин претставувале дисбаланс во технолошкиот сектор, фаворизирал машки апликанти. По човечка интервенција да се реши овој проблем алгоритамот сепак ги заобикувал на некој начин тие измени и како резултат на тоа бил пристрасен во селекцијата.
Со анализа на примерот со Amazon, целта на оваа семинарска работа е да се даде поширока слика за тоа како вештачката интелегенција може несвесно да ја продлабочи родовата нееднаквост. Ќе бидат разгледани последиците од овој алгоритам, последиците од несоодветна примена на ВИ како и препораки како да се избегне овој проблем. Целта е да се истакне важноста од вклучување на етиката во процесот на иновација.
3
AI алатка за вработување од Амазон
Алатката за вработување од Амазон користејќи вештачка интелегенција беше проект чија цел била автоматизација на процесот за вработување на кандидатите.
Оваа алатка е развиена во периодот околу 2014 година која користеше машинско учење за да ги рангира апликантите според одредени метрики, особено во инженерски и технолошки области.
Алатката за вработување имaше неколку фази а тоа се:
-Обучување на алгоритмот:
Алгоритмот беше обучен на податоци од претходните апликации за работа. Голем дел од тие апликанти биле мажи и поради тоа алгоритмот почна да ги третира машките карактеристики како стандард и тоа како резултат дава ненамерна дискриминација на жените
-Оценување на биографии:
Ова алатка ги примаше биграфии (CV) и давал оценки од 1-5. При овој процес нема човечка интервенција, што значи дека алгоритмот имал целосна контрола врз селекцијата на апликанти.
-Автоматско филтрирање и отфрлање:
Алатката автоматски ги филтрираше и отфрлаше биографиите што имале одредени зборови или фрази кои биле поретко присутни во податоците кои се користеле во обука на алгоритмот.
Овие сигнали биле толкувани на недостаток бидејќи не се сметале како пример на успешен апликант.
4
Обука на алгоритмот
Во машинското учење “Обука” на алгоритмот значи дека тој учи од голем број на податоци. Во случајот на Амазон податоци претставувале биографиите од сите кандидате кои што аплицирале за разни позиции во компанијата во одреден период.
Целта на оваа обука била алгоритмот да се научи:
– Кои биле карактеристиките кои што ги поседуваат добрите кадндидати – Кои биографии биле успешни во минатото
– Да се препознае што е “пожелно” во новите апликации
За време на обуката Амазон наидува на проблем со тоа што довело до несвесна дискриминација на жените. Со збирање на сите податоци од биографиите од апликантите алгоритмот научил да ги препознава машките апликанти како поуспешни кандидати а при обработка на апликациите од женските апликанти според одредени зборови напишани во нивните биографии тие биле пониско оценети од алгоритмот.
Како пример може да го земеме следното:
– Алгоритмот при обработка на биографијата на женски апликант наидува на зборот “women’s “ и тој збор го идентификува како негативен сигнал бидејќи тој збор ретко се појавувал во успешни машки биографии.
Ова претставувало проблем за Амазон бидејќи зборот во горе наведениот пример не би требало да го зема како лош сигнал и дека алгоритмот работи според одредени статистички врски, одредени работи поретко се појавувале кај успешни кандидати и автоматски тој ги сметка како лоши апликанти доведувајќи до пониско оценети апликации.
5
Оценување на биографии
Целта на оваа алатка е да ги рангира кандидатите автоматски за да го забрза процесот на селекција на кандидати за интервјуа.
Секој кандидат бил оценет од 1 до 5 ѕвезди според тоа колку нивната биографија се совпаѓа со профилот за успешни кандидати од минатото.
Процесот на оценување вклучувал неколку автоматизирани чекори:
1. Екстрактирање на текст
Алгоритмот прави конверзија на биографијата на кандидатот во текстуален формат така што одвојува повеќе сегменти како образование, претходно работно искуство, изработени проекти и останати клучни зборови
2. Пронаоѓање карактеристики
Алгоритмот при обработка на податоците идентификувал одредени карактеристики кои се појавувале кај успешни вработени. Тука се зборува за каде се школувал кандидатот за кои технологии има знаење и какви достигнувања имал во својата кариера како и стаж.
Важното во овој процес е да се каже дека овој алгоритам не го знае значењето на одредени зборови во биографиите туку ги споредува со бројот на појавувања кај биографиите кај успешните вработени
3. Користење на математички модел
Алгоритмот употребува модел кој користи математичка формула кој дава тежини на секој елемент како на пример некој кандидат има 5 години искуство има диплома тоа резултира со подобра оценка.
4. Финална оценка
Алгоритмот генерира оценка од 1 до 5 ѕвезди за секој кандидат. Сите кандидати кои биле оценети од 4-5 биле повикувани на дополнително интервју од страна на човечки ресурси додека кандидатите со помалку од 4 ѕвезди биле отфрлани без разлика дали кандидатите ги поседувале сите квалитети за позицијата.
Како резултат на овој процес алгоритмот научил да преферира машки биографии наспроти женски биографии затоа што според обуката на самиот алгоритам тој имал голем број на машки апликанти и според тоа тие биле земени како стандард за успешен кандидат и одредени зборови кои се појавувале кај женските кандидати а не се појавувале кај машките тие автоматски биле отфрлани, сметани како лош кандидат без разлика на тоа дали тие биле квалификувани за таа позиција.
6
Автоматско филтрирање и отфрлање
Како што кажавме во претходната фаза сите кандидати биле оценети со ѕвезди од 1 до 5 според одреден стандард за успешен кандидат.
Во оваа фаза вештачката интелегенција делува како филтер, ги селектирал кандидатите кои биле оценети од 4-5 ѕвезди додека останатите биле автоматски отфрлени и важно е да се напомене дека при овој процес на филтрирање немало човечка интервенција. Исто така при овој процес алгоритмот често отфрлал кандидати врз основа на (често пристрасна) оценка.
Алгоритмот според статистиките често ги отфрлам биографиите кои содржеле зборови поврзани со “жени”. Системот не бил во сотобја да се корегира сам бидејќи обидите да се реши овој проблем, алгоритмот наоѓал нови начини да отфрла кандидати поради истата пристрасност.
При појава на овој проблем требало да се реши на начин така што
– Вклучување на човечки надзор при отфрлање. Ова би претставувало уште еден чекор во овој процес така што би се оттстранила секаква можност за погрешна проценка на кандидатите така што тие кандидати што ги задоволуваат сите предуслови за работа во компанијата би имале шанса за интервју.
– Учење и од етички насоки. Со овој тип на учење не би се гледала историјата на кандидатите кои се пријвавувале за работа со тоа што базата на податоци би се зголемила и алгоритамот би учел и од етички насоки.
– Валидно тестирање. Компанијата би вовела одредени тестови за пристрасност така што алгоритмот треба да ги помине тие тестови пред да се имплементира.
7
Последици
По спроведување на внатрешна анализа и тестирање, Amazon откриле дека нивната алатка за вработување иако наменета за да го зголеми квалитетот и ефикасноста на процесот на селекција, работела на начин така што постојано правела пристрасни проценки во корист на кандидатите од машкиот пол.
Алгоритмот обучен врз историски податоци кои доминирале машки апликанти, почнал да ги вреднува машките карактеристика како индикатор за успех. Со тоа, автоматски ја репродуцирал постоечката родова нееднаквост, наместо да ја надмине. Ова му претставувало голем проблем на компанијата, особено во делот од етиката и иновацијата. Решението на компанијата било автоматизирањето и подобрување на ефикасноста додека во пракса се појавиле посериозни проблеми со правичноста и непристрасноста.
Повлекување на алатката
По неуспешните обиди од Amazon да ја корегира грешката на алгоритмот што доведува до пристрасност, во 2017 година Amazon одлучил целосно да ја повлече алатката од употреба. Целта на оваа алатка била автоматизација на процесот на вработување но се покажало дека алгоритмот селекцијата ја прави врз основа на дискриминација на жените. Дури и по модификациите на истиот, тој продолжил да користи одредени индикатори за пол како метрика за селекција. Тоа укажува дека пристрасноста не била само вградена во податоците туку и во самата логика на алгоритмот.
Компанијата јавно објавила дека алатката никагош не била имплементирана на глобално ниво, ниту довела до конечна одлука за вработување. Човечките ресурси имале улога во вработувањето на кандидатите, што до некој степен ја ублажува штетата направена од алгоритмот но за време на овој алгоритам се додека бил во употреба доста добри кандидати биле оштетени.
Јавна реакција
Овој настан предизвика широка дебата во јавноста и академската заедница за етичкити импликации од примената на вештачката интелегенција во човечки ресурси. Во овој настана стана јасно дека системите за машинско учење може да рекреираат нееднаквости, особено кога нема некој сигурносен механизам да препознае вакви нерегуларности.
Amazon беше изложен на голем број на критики од јавноста како и активисти за родова еднаквост и организации за човекови права, се ова како последица од
8
грешка во алгоритамот. Компанијата како резултат од критиките од јавноста беше повикана да направи измени во нејзините политики за транспарентност како и да креират и имплементираат нови алатки да спречат било каква пристрасност во иднина.
Овој проблем на Amazon исто така служи како пример за другите компании – дека автматизација без етички надзор и соодветна база на податоци може да доведе до одредени неправди.
Родова нееднаквост и технолошкиот сектор
До ден денес родовата нееднаквост претставува значителен проблем особено во технолошкиот сектор, каде што жените се во значително помал број застапени во споредба со мажите. Жените покрај тоа што се застапени во помал број исто така тоа се однесува на позицијата како и платата и влијаните кои го имаат врз донесување одредени одлуки. Според извештаи на одредени организации, во најголемите технолошки компании( Google, Apple, Amazon) бројот на жени на технички позиции изнесува помалку од 25% од вкупниот број додека во повисоките позиции ( раководни улоги ) бројот на жени од вкупниот број е помал во споредба со бројот на техничките позиции, најчесто тој број е под 15%.
Родовиот дисбаланс покрај тоа што има влијание на работната култура, има импликации и во развојот на технологијата. Системите базирани на вештачката интелегенција учат од историски податоци, во овај случај алгоритмите се учат на пристрасност. Како пример може да се земе следното – Во минатото голем број на програмери биле мажи и со тоа алгоритамот ќе креира стандард каде што ќе ги земаат како модел за успех додека останатите кандидати во кои се вклучени жени ќе бидат занемарени.
Покрај тоа, жените кои се на позиција во технолошкиот сектор наидуваат на одредени бариери кои го спречуваат нивниот напредок, како што се недостаток на менторство, предрасуди и може да се каже ддека постојат несоодветни политики за баланс помеѓу работа и приватниот живот. Овие се пречките кои се соочуват жените и поради истите нивното учество во развојот на алгоритмите е намален од кое може да се заклучи дека нивните мислења не се рефлектирани во технолошките решенија.
Покрај тоа што жените биле предмет на алгоритамска дискриминација во делот на регрутација, тие биле дискриминирани и во делот за препораки за образование, здравствени дијагнози како и во кредитирање. Важно е да се напомене важноста да се препознае нееднаквоста како проблем што се пренесува во алгоритамскиот свет.
9
Позитивен напредок се гледа преку иницијативи како Women in Tech, Girls who Code и TechWomen, чија цел е да ги мотивираат жените бидат по присутни во одредени области како што се науката,технологијата,математиката и инженерство.
Сите овие програми,иницијативи се доста важен чекор за да се достигне вистинска еднаквост но треба да се посвети внимание дека за да се надмине длабоко вкоренетата нееднаквост потребна е системска промена.
Препораки и решенија за иднина
Алгоритамската пристрасност претставува сериозен проблем во многу компании, дел биле изложени на голем број на критики од јавноста. Да се намали ризикот од ваква пристрасност треба да се овозможи посоодветна употреба на вештачката интелегенција во делот на вработување за сите да имаат еднакви можности за истото. Следно ке видиме неколку сегменти кои се клучни за да се избегне ваков проблем:
1. Разновидност на податоците во обуката
Алгоритмите учат од историски податоци, а во тие податоци мажите претставуваат пример за успех. За да се избегне тоа треба да се креираат нови бази каде што ќе бидат вклучени различни родови, етнички групи итн. Ова значи и ажурирање на постоечките податоци се со цел да се избегне несвесна дискриминација.
2. Вклучување на човечки надзор
Човечката проценка е битна во вработување а додека алгоритмите би се користеле како подршка во тој процес за да се заштеди време на селекција на кандидатите не како замена за човечка проценка. Со тоа финалната одлкука треба да ја имат луѓе кои се довонло квалификувани да направаат добра евалуација. Со овој метод може да се намали можноста за дискриминација.
3. Регулатива и законска контрола
Владите и меѓународните институции треба воспостават одредени регулативи со кои ќе имаат можност да ја контролираат ВИ во човечките ресурси. Овие регулативи треба да содржат одредени сегменти како на пример: транспарентност во носење на одлуките во врска со алгоритмите, можност на ревизија на секоја автоматизирана одлкука од страна на човек
10
како и можност за жалба како и споделување на користените податоци и кои методи се користени при спроведување некоја анализа.
4. Образование, обука и свесност
Тимовите кои се задолжени за развивање на системите базирани на вештачка интелегенција треба да бидат свесни за потенцијалните етички и општествени имликации. Треба да има соодвента обука за тимовите да можат да препознаат на несвесна пристрасност како и одговорна употреба на алгоритмите
5. Етичко програмирање и независна ревизија
Секоја ВИ-апликација поврзана со луѓе треба да биде развиена според утврдени етички стандарди. Независни тела – составени од експерти од областа на етика, право, технологија и човекови права – треба редовно да спроведуваат ревизии за да ја оценат правичноста и транспарентноста на алгоритмите.
6. Инклузивен тим при развој на ВИ Развојот на ВИ-системи не треба да биде исклучиво технички процес. Потребно е вклучување на лица од различни социјални, професионални и културни позадини – вклучувајќи жени, малцинства и луѓе со различни искуства. На тој начин, се намалува веројатноста за вградена пристрасност во системите уште од почеток.
7. Промовирање на транспарентни технологии Треба да се поттикнува развојот на т.н. explainable AI – системи кои можат да го објаснат начинот на кој донеле одлука. Ова е од особена важност кај вработувањето, каде што кандидатите треба да имаат право да знаат зошто биле одбиени или избрани.
11
Заклучок
Случајот што го вклучува Амазон и употребата на автоматизирана алатка за избор на кандидати претставува суштински дел од обидот за испитување на примената на вештачката интелигенција во процесите на регрутирање. Наместо да развие непристрасен, објективен и ефикасен процес на селекција, системот ги овековечи стереотипите за родова дискриминација кои се длабоко вкоренети во технолошката индустрија и поширокото општество.
Овој случај покажува примарна маана присутна во повеќето системи за вештачка интелигенција – дека системот работи користејќи податоци. Ако податоците се неправедни или слаби, алгоритмите ќе се потпираат на нив и дополнително ќе ги зацврстат тие верувања. Во овој случај, системската машка доминација во техничките области резултираше со тоа што системот беше дизајниран априори да ги фаворизира машките кандидати, со исклучок на женските кандидати, дури и на ниво на алгоритми.
Дополнително, случајот покажува дека не постојат неутрални технологии: секој технолошки систем е определен од збир на вредности, цели и контекстот во кој се замислени. Затоа, станува од витално значење да се интегрираат мултидисциплинарни групи во дизајнирањето и развојот на системи за вештачка интелигенција, вклучувајќи нетехничари како што се етичари, социолози, психолози и правни професионалци.
12
Библиографија
1. UNESCO (2019). I’d Blush if I Could: Closing Gender Divides in Digital Skills through Education. https://unesdoc.unesco.org/ark:/48223/pf0000367416
2. Dastin, J. (2018). Amazon scrapped ‘AI’ recruiting tool that showed bias against women. Reuters. https://www.reuters.com/article/us-amazon-com-jobs-automation-insight idUSKCN1MK08G
3. European Commission (2020). White Paper on Artificial Intelligence: A European approach to excellence and trust. https://ec.europa.eu/info/sites/default/files/commission-white-paper-artificial intelligence-feb2020_en.pdf
4. Smith, A., & Anderson, M. (2019). AI and Human Enhancement: Americans’ Openness Is Tempered by a Range of Concerns. Pew Research Center. https://www.pewresearch.org/internet/2019/06/06/americans-are-wary-of-ai-use in-hiring-and-assessing-job-applicants/
5. Why Amazon’s Automated Hiring Tool Discriminated Against Women” ACLU https://www.aclu.org/news/womens-rights/why-amazons-automated-hiring-tool discriminated-against?
6. “Lessons from Amazon’s Sexist AI Recruiting Tool” – Leoforce
7. Amazon scraps secret AI recruiting tool that showed bias against women” – Reuters
https://www.reuters.com/article/world/insight-amazon-scraps-secret-ai-recruiting tool-that-showed-bias-against-women-idUSKCN1MK0AG/
13