Александар Цветановски
Апстракт
Алгоритмите и системите на вештачка интелигенција (ВИ) стануваат сè пораспространети во современото општество, но нивното влијание врз родовата еднаквост останува недоволно разгледано. Иако живееме во „ера на алгоритми“, ретко се разгледува како алгоритмите можат да создадат или зајакнат дискриминација врз основа на пол, како директна, така и индиректна. Овој труд ги истражува правните, регулаторните и политичките аспекти на родово-базираната алгоритамска дискриминација во Европа, со осврт на судската пракса, примери од реалниот свет и идните законодавни иницијативи. Посебен акцент се става на механизмите преку кои алгоритмите влијаат на перцепциите и стереотипите, како и на мерките кои можат да ја намалат родовата пристрасност, од законодавни решенија до политички и технички интервенции.
Вовед
Алгоритмите станаа централни во многу аспекти на нашето секојдневие, од регрутирање и кредитирање до онлајн пребарувања и социјални медиуми. Во последните години, вниманието на европските и меѓународните регулатори кон алгоритмите е значително зголемено, но влијанието на овие технологии врз родовата еднаквост сè уште не е целосно оценето. Во судската пракса, анализите на алгоритми и нивното влијание врз дискриминацијата се ретки, иако постојат исклучоци, како што е пресудата на италијанскиот Consiglio di Stato за автоматско распределување на училишни места за наставници.
Дискриминацијата може да биде директна, кога алгоритамите јасно фаворизираат едниот пол, или индиректна, кога пристрасностите се вградени во податоците и процесите на алгоритмите, без веднаш да се забележат. Оваа дистинкција е клучна за разбирање на ризиците и за развивање на правни и политички мерки за нивно намалување. Исто така, важно е да се напомене дека составот на заедницата на развивачи на ВИ влијае врз тоа како алгоритмите се создаваат и функционираат, што дополнително го потенцира проблемот на потенцијални дискриминаторски исходи.
Целта на овој труд е да се анализираат предизвиците и можностите на алгоритмите во контекст на родовата еднаквост, да се разгледа судската и законодавната пракса во Европа, како и да се предложат регулаторни и политички мерки кои ќе придонесат кон фер и инклузивно користење на технологијата.
Предизвици и потенцијали на алгоритмите во контекст на родовата еднаквост
Правното препознавање на дискриминацијата врз основа на пол при употреба на алгоритми и понатаму претставува комплексен предизвик. Според европското законодавство, дискриминација постои кога одредена практика – на пример, одбивање да се вработи жена поради бременост или корпоративна политика што систематски ги фаворизира мажите – директно ги повредува правилата за еднаквост меѓу половите. Ако компанија воведе алгоритми за регрутирање, правното толкување на дискриминацијата би требало да остане исто. Но, алгоритмите можат да создадат нови пристрасности (т.н. „машинска пристрасност“), да ги повторуваат постоечките стереотипи или дури да ги поттикнуваат.
Главниот проблем за креаторите на политики е што алгоритмите често само ги множат веќе постојните општествени предрасуди и родови стереотипи. Дополнително, не е секогаш јасно кога ваквото „алгоритамско фаворизирање“ навистина го достигнува прагот на незаконска дискриминација. Во некои случаи, ЕУ би одговорила со политички инструменти, додека во други би биле потребни законски регулативи.
Во овој контекст влегува и предложениот ЕУ Акт за вештачка интелигенција, кој предвидува ограничувања и директни регулаторни мерки за активности поврзани со родова еднаквост. Особено релевантен пример за приватниот сектор се алгоритмите за регрутирање, кои се сметаат за ризични. Правни експерти предупредуваат дека тие носат „сериозни и непосредни опасности“ од пристрасност и дискриминација, бидејќи можат автоматски да филтрираат или елиминираат биографии пред да стигнат до човечки рекрутери, со што се зголемува можноста за полова дискриминација.
Според досегашната пракса на Судот на правдата на ЕУ (CJEU), регрутирањето и унапредувањето често предизвикуваат спорови поврзани со еднаквоста меѓу половите. Но сè уште нема европски директиви или пресуди што директно се занимаваат со алгоритми и дискриминација по пол. Поради тоа, CJEU се нема произнесено за концептите на алгоритамска дискриминација, но неколку постоечки случаи можат индиректно да укажат како судот би можел да постапи во иднина.
Дополнителен проблем произлегува од алгоритмите што создаваат дискриминаторски последици и надвор од процесите на регрутирање, а притоа не се опфатени со ЕУ Актот за вештачка интелигенција. Тука спаѓаат алгоритми што функционираат како подготовка за човечка одлука, но сами по себе не претставуваат завршен дискриминаторски чин. Во такви случаи, дискриминацијата би се докажувала на ист начин како кога одлуката ја носи човек.
Неопходно е да се прави разлика меѓу алгоритми со директни дискриминаторски ефекти и оние што имаат индиректни последици за родовата еднаквост. Иако индиректните влијанија понекогаш се незабележливи, тие може да ги поткопаат политиките за еднаквост, кои имаат за цел да го намалат влијанието на стереотипите и пристрасностите. Истражувањата покажуваат дека без силни политики за родова еднаквост, дискриминацијата не исчезнува.
Други мерки – како позитивни акции, родова интеграција, борба против насилството врз жените и регулирање на онлајн говорот на омраза – се исто така клучни. Колку е поеднакво општеството, толку повеќе тоа ќе се рефлектира во податоците што ги користат алгоритмите и ќе се намали експлицитната, намерна дискриминација. Посложено е елиминирањето на ненамерната и индиректна дискриминација, која може да се појави без свесна намера. Но и таа е опфатена со европското законодавство, што не бара постоење на субјективна намера за да се квалификува дискриминација.
Како алгоритмите влијаат врз родовата еднаквост преку директни и индиректни ефекти
Индиректни родови влијанија од алгоритмите
Под индиректни родови ефекти се подразбираат оние влијанија на алгоритмите кои го обликуваат, зацврстуваат или прошируваат постоењето на родови пристрасности и стереотипи преку начинот на кој ги користат или создаваат податоците. Таквите ефекти сами по себе не претставуваат директна повреда на законите за родова еднаквост во ЕУ, ниту секогаш создаваат јасно видлива дискриминација, но можат да имаат долгорочно негативно влијание.
Еден типичен пример се резултатите од онлајн пребарување. Со тоа што ги нагласуваат, комбинираат или продолжуваат веќе постоечките родови стереотипи, алгоритмите за пребарување можат да генерираат нови пристрасности и да поттикнат дискриминаторски тенденции. На пример, ако во пребарувач се внесе зборот „CEO“, најчесто излегуваат слики од мажи-наставници, а речиси воопшто не се прикажуваат жени. Ова не одговара целосно на реалноста, бидејќи иако жените се потценети во извршните структури, сепак во Европа 7,5% од претседателите на одбори и 7,7% од извршните директори се жени. Со ваквите резултати, алгоритмот произведува искривена слика која го зацврстува стереотипот дека „лидерот = маж“.
Овие погрешни перцепции можат да станат основа за идно дискриминаторско однесување. На пример, при вработување на извршни директори, информациите што кандидатите и регрутерите ги наоѓаат онлајн ненамерно можат да влијаат врз одлуките, создавајќи индиректни ефекти врз полот во процесот на селекција. Достапните податоци за тренинг, како и тоа што алгоритмите често учат од неквалитетни или пристрасни извори, дополнително го продлабочува проблемот.
Илустративен пример за тоа е алгоритам за препознавање активности кај луѓе на слики: мажите најчесто биле прикажани на слики поврзани со активности во јавен простор (спорт, возење, пукање), додека жените биле идентификувани во контекст на приватната сфера (пазарување, кујна, перење). Ова ја пренесува и зацврстува родовата поделба, без таа да биде директно наметната од човек.
Иако ваквите индиректни ефекти се помалку видливи од директната дискриминација, тие можат да нанесат подлабока и посистемска штета, затоа што лесно се реплицираат и се шират преку заеднички бази на податоци, платформи и интелигентни системи. Ако индиректните ефекти се присутни во податоците на кои алгоритмите се „тренерат“, постои ризик со текот на времето да прераснат во директни родови ефекти, особено кога алгоритмите се користат за носење решенија со реално влијание.
Директни родови ефекти на алгоритмите
Под директни родови ефекти се подразбираат ситуации во кои алгоритмите создаваат повреда на правилата за родова еднаквост преку јасно идентификувано, мерливо и дискриминаторско однесување. Таков ефект е, на пример, алгоритам што автоматски отфрла женски кандидат за работа само поради нејзиниот пол, или систем за кредитирање што им доделува пониски резултати на жените бидејќи статистичките податоци ги поврзуваат со пониска кредитна способност.
За разлика од индиректните родови ефекти, директните се повидливи, појасни и полесно разбирливи, бидејќи речиси целосно го повторуваат моделот на традиционалната дискриминација што ја врши човек при носење одлуки. Сепак, и овде постојат бројни нерешени прашања – особено кога штетата е предизвикана од алгоритам. Најголем проблем произлегува од ограничениот пристап до доказите и тешкотијата да се докаже дискриминација во судски постапки, поради тоа што алгоритмите често функционираат како „црна кутија“ и нивниот процес на одлучување е непрозирен.
Посебно важна е улогата на правилата за товар на доказите. Според правото на ЕУ, префрлувањето на товарот на доказување на спротивната страна во предмети за дискриминација може да помогне во поефикасно спроведување на начелата за еднаквост и да ги охрабри жртвите да бараат заштита од алгоритамска дискриминација.
Местоположба на индиректните и директните родови ефекти во рамките на дихотомијата директна/индиректна дискриминација
Разликувањето меѓу индиректните и директните родови ефекти е од суштинско значење кога станува збор за тоа како да се решаваат родовите нееднаквости – дали преку правни механизми, преку политички мерки или преку комбинација од двете.
Кај индиректните ефекти, многу често не се исполнува законскиот праг за санкционибилна дискриминација по основ на пол, што значи дека правото за родова еднаквост не се активира, и мора да се реагира со политички мерки и стратешки иницијативи за да се постигнат целите утврдени во Договорите на ЕУ.
Иако според европското законодавство директната и индиректната дискриминација се забранети, директните и индиректните родови ефекти создадени од алгоритми не се совпаѓаат целосно со оваа правна поделба, бидејќи функционираат на различен начин и не секогаш може да се третираат под исти правила.
За да се утврди дискриминација според правото на ЕУ, мора да постои конкретен дискриминаторски акт или однесување, кое кај индиректните ефекти честопати недостасува. Индиректните ефекти обично се манифестираат како одраз или засилување на постоечки родови пристрасности, без да создадат јасно мерлива штета врз конкретна личност.
На пример, резултатите од интернет пребарување може да содржат пристрасности кои не дискриминираат формално, но влијаат врз однесувањето и перцепцијата. Лице што се подготвува за процес на вработување и се потпира на такви резултати, може несвесно да донесе дискриминаторска одлука врз основа на информациите обликувани од алгоритмот.
Ова покажува дека индиректните ефекти можат да создадат подлога за идни директни дискриминаторски дејства, и затоа е важно да се работи на санирање на родовиот јаз во податоците – т.е. да се обезбедат податоци кои се порепрезентативни, повистинити и поразновидни, со цел алгоритмите да ја одразуваат реалноста, а не да ја искривуваат.
Идната правна рамка за справување со алгоритамска дискриминација врз основа на пол
Овој дел се фокусира на тоа како Предлог-законот за вештачка интелигенција го третира прашањето на родова еднаквост, како и на предлозите за измена што ги формулираа Европскиот парламент, Комитетот на региони и Европскиот економски и социјален комитет со цел дополнително да се засили родовата перспектива.
Предлог на ЕУ од Европската комисија – краток преглед на Законот за ВИ
Предлог-законот за вештачка интелигенција претставува значителен чекор напред во обидот да се воспостават унифицирани правила за употребата на ВИ технологии во ЕУ. Според предлогот, под „систем на вештачка интелигенција“ се подразбира софтвер создаден за да оствари задачи дефинирани од човек, при што генерира содржини, прогнози, препораки или одлуки што имаат ефект врз некоја околина.
Во предложениот модел, одредени ВИ апликации се целосно забранети, други подлежат на регулирање, а системите класифицирани како високоризични мора да исполнуваат посебни обврски. Законот не се однесува само на системи развиени или користени во границите на ЕУ, туку и на оние создадени надвор од неа, доколку нивните резултати имаат влијание врз граѓаните на Унијата. Со тоа, секој ВИ систем што „допира“ до Европските граѓани е опфатен со овој правен акт. Дополнително, предвидена е можност за ажурирање преку анекси без повторно започнување на редовната законодавна процедура, што овозможува брзо адаптирање на нови технолошки реалности.
Во рамките на прашањата за еднаквост и недискриминација, законот не создава целосно нов механизам, туку се надоврзува на постојните правни инструменти. Родовата равноправност и забраната на дискриминација се присутни до степен до кој се забрануваат одредени ВИ употреби и се дефинираат категории на висок ризик што бараат дополнителни механизми на контрола. Законот допира и до заштитата на основните човекови права, меѓу кои е и начелото на недискриминација.
Сепак, поради хоризонталниот карактер на овој правен текст, темите за дискриминација и родова еднаквост не се разработени детално, туку се споменати во делот што нема оперативна правна сила. Единствено член 6(2) во корелација со Анекс III, точка 4, нуди појасна поврзаност со родово-базираната алгоритамска дискриминација. Таму, во контекст на системи за вработување, е нагласено дека тие можат да го репродуцираат историскиот обрасц на дискриминација, како на пример на штета на жените. Како резултат, ваквиот софтвер се класифицира како високоризичен.
Во тие случаи, член 8 пропишува обврска за усогласување со членови 9 до 14, кои вклучуваат: системи за управување со ризик, принципи за управување со податоци при обука, валидација и тестирање, техничка документација, водење евиденции, транспарентност кон корисниците и обезбедување на човечки надзор.
Предлог-законот за ВИ од перспектива на Европскиот економски и социјален комитет
Законот за вештачка интелигенција се усвојува во рамки на редовната законодавна постапка и претставува заеднички политички приоритет за 2021 година за Европскиот парламент, Советот и Европската комисија. Неколку национални парламенти — меѓу кои Чехија, Германија, Португалија и Полска — доставија свои мислења, но единствено германскиот Bundesrat се задржа на прашањето за родовата еднаквост, нагласувајќи ја потребата од усогласување со Повелбата за основни права на ЕУ и со важечкото законодавство за недискриминација.
Комитетот AIDA во Европскиот парламент работи на нацрт-извештај за вештачка интелигенција, каде темите за родови прашања и дискриминација се спомнуваат на две места — претежно во врска со важноста на разновидноста, поголемото присуство на жени програмери и ризиците од пристрасност во недоволно квалитетни или нерепрезентативни бази на податоци. Сепак, амандманите предложени во Парламентот почесто ги допираат овие прашања.
Регулаторни и политички препораки
Регулаторни предлози
Овој дел ги претставува политичките и законодавните мерки кои можат да се преземат за справување со алгоритамската дискриминација и за унапредување на родовата еднаквост. Законодавството игра централна улога во промовирањето на еднаквоста помеѓу жените и мажите, а Законот за вештачка интелигенција претставува значајна почетна точка, бидејќи за првпат воспоставува генерално правило дека одредени примени на системи на ВИ мора да бидат регулирани.
Прво, може да се постигне поголема додадена вредност доколку се обезбеди силна заштита на родовата еднаквост во сите области преку усвојување на соодветни законски инструменти — како што се иницијативите за транспарентност на платите, зголемување на застапеноста на жени во управни одбори, регулативи за насилство врз жените и мерки за ефективна примена. Подобрувањето на состојбата со родовата еднаквост во општеството ќе се рефлектира и во достапните податоци, што со тек на време ќе го намали ризикот од алгоритамска дискриминација.
Второ, врз основа на ова и како надополнување на постојните правила во Законот за вештачка интелигенција кои се применуваат во случаи на родово заснована алгоритамска дискриминација во регрутацијата, можно е да се разгледаат дополнителни технички или секторски регулативи. Тие би можеле да вклучуваат конкретни барања за усогласеност со правните норми за родова еднаквост при користење алгоритми. Ревизијата на т.н. „акумулатор“ на законодавството за родова еднаквост (која периодично се спроведува согласно Насоките за подобро регулирање на ЕУ) би можела да послужи како соодветен механизам за експлицитно вклучување и дефинирање на алгоритамската дискриминација во европската правна рамка за родова еднаквост, како и за прецизирање на правилата за пренос на товарот на доказување во ваквите случаи.
Заклучок
Пристапувањето кон прашањето на родово-базирана алгоритамска дискриминација преку дистинкцијата помеѓу индиректни и директни родови ефекти овозможува подобро разбирање на комплексноста на проблемот и на потребата од комбинаторен пристап. Таквата аналитичка рамка им овозможува на истражувачите и креаторите на политики да ги согледаат конкретните механизми преку кои алгоритмите создаваат, одржуваат или репродуцираат родови пристрасности.
Индиректните родови ефекти, иако често не се квалификуваат како дискриминација од правен аспект, играат клучна улога во обликувањето на перцепциите, стереотипите и информациската средина што може да доведе до дискриминаторни резултати. Поради тоа, нивното препознавање е суштинско за развивање ефикасни политики за спречување на дискриминацијата.
Истовремено, директните родови ефекти на алгоритмите поставуваат прашања за доказните стандарди, транспарентноста и правните механизми за заштита на поединците. Овие аспекти ја демонстрираат потребата од целни законодавни интервенции.
Севкупно, интеграцијата на правни и политички мерки е неопходна за целосна реализација на целите на ЕУ во областа на родовата еднаквост. Тоа подразбира не само цврсто законодавно решение, туку и дополнителни (не)законодавни иницијативи кои ќе ја поддржат имплементацијата, едукацијата и преобразбата на технолошките и општествените структури.
Референци
1. Allen, R., Masters, D.: Artificial intelligence: the right to protection from discrimination caused by algorithms, machine learning and automated decisionmaking (2020) https://scholar.google.com/scholar_lookup?&title=Artificial%20intelligence%3A %20the%20right%20to%20protection%20from%20discrimination%20caused% 20by%20algorithms%2C%20machine%20learning%20and%20automated%20d ecision-making&journal=ERA%20Forum&doi=10.1007%2Fs12027-019-00582- w&volume=20&pages=585- 598&publication_year=2020&author=Allen%2CR.&author=Masters%2CD.
2. Abiteboul, S., Dowek, G.: The Age of Algorithms. Cambridge University Press, Cambridge (2020) https://scholar.google.com/scholar_lookup?&title=The%20Age%20of%20Algorit hms&doi=10.1017%2F9781108614139&publication_year=2020&author=Abitebo ul%2CS.&author=Dowek%2CG.
3. European Law Institute, Artificial Intelligence (AI) and Public Administration – Developing Impact Assessments and Public Participation for Digital Democracy https://www.europeanlawinstitute.eu/projects-publications/publications/elimodel-rules-on-impact-assessment-of-algorithmic-decision-making-systemsusey-by-public-adminstration/
4. Broussard, M.: Artificial Unintelligence: How Computers Misunderstand the World. Mit Press, Boston (2018)
https://scholar.google.com/scholar_lookup?&title=Artificial%20Unintelligence% 3A%20How%20Computers%20Misunderstand%20the%20World&doi=10.7551 %2Fmitpress%2F11022.001.0001&publication_year=2018&author=Broussard% 2CM
5. European Commission, Algorithmic discrimination in Europe – challenges and opportunities for gender equality and non-discrimination law (2021) https://op.europa.eu/en/publication-detail/-/publication/082f1dbc-821d-11eb9ac9-01aa75ed71a1/language-en
6. Criado Perez, C.: Invisible Women: Exposing Data Bias in a World Designed for Men. Random House, London https://scholar.google.com/scholar_lookup?&title=Invisible%20Women%3A%20 Exposing%20Data%20Bias%20in%20a%20World%20Designed%20for%20Men& publication_year=2019&author=Criado%20Perez%2CC.