Димитар Ечев
1. Вовед
Алгоритмите стануваат се по актуелни веќе неколку години, но неодамна го привлекоа вниманието на европските и меѓународните регулатори. И покрај тоа што живееме во „Ерата на алгоритми“, влијанието на алгоритмите врз родовата еднаквост досега не добило доволно внимание, што бара детална анализа на предизвиците и можностите, како и можните дискриминаторски исходи. Во судската пракса, посебно кога станува збор за родова еднаквост и дискриминација, анализа на алгоритмите сè уште е реткост. Исклучок е пресудата на италијанскиот “Consiglio di Stato”, која ja разгледуваше законитоста на користењето на алгоритми во јавната администрација за автоматско распределување на училишни постирања за наставниците.
Некои форми на дискриминација се видливи и директно перципирани од жените и мажите, како што е алгоритмот кој и одбил пристап на жена на женските ормари во теретана поради тоа што нејзината титула „Др.” се однесувала на машки род. Други форми не се видливи, на пример, кога алгоритмите сортираат резимеа во целосно автоматизирана процедура за аплицирање и не ги селектираат жените или мажите поради нивниот пол. Други однесувања не го преминуваат прагот на анти-дискриминаторното однесување според законодавството на ЕУ, но јасно претставуваат проблеми во однос на родова пристрасност, стереотипи и цели на политиката за родова еднаквост. Затоа, тие претставуваат закана за родовата еднаквост генерално, но исто така конкретно го отвораат патот за идна дискриминација врз основа на пол. Покрај пристрасностите и стереотипите што се содржани во податоците кои се користат за обука на алгоритмите и намерното или ненамерното воведување пристрасности во дизајнот и програмирањето на алгоритмите, постои и друг основен проблем кој може да фаворизира родови нееднаквости: уште од своите рани денови, „родовиот состав на заедницата на ВИ“ во голема мера влијае на тоа како се обликуваат алгоритмите и последично има влијание на тоа како тие функционираат, доведувајќи до потенцијални дискриминаторски исходи.
2. Предизвиците и можностите на алгоритмите за постигнување цели за родовата еднаквост
Разбирањето на дискриминацијата врз основа на пол кога се користат алгоритми останува правен предизвик. Клучниот проблем е што според законодавството на ЕУ, дискриминацијата врз основа на пол е забранета ако одреден вид на однесување – на пример, не вработување на жена поради бременост или корпоративна политика која фаворизира мажи – претставува јасна повреда на правилата за родова еднаквост. Ако компанија користи алгоритми во својот процес на регрутирање, правната квалификација како дискриминација не треба да биде различна во принцип. Всушност, алгоритмите можат да произведат пристрасности („машинска пристрасност“) или да ги репродуцираат пристрасностите или стереотипите и можат дури да фаворизираат дискриминација врз основа на пол. Сепак, вистинскиот предизвик за донесувачите на политики е тоа што алгоритмите можат само да ги репродуцираат или зајакнуваат постоечките општествени пристрасности и стереотипи. Меѓутоа, ако алгоритмите како оние кои се користат во пребарувачите само ги фаворизираат одредени пристрасности, стереотипи и поттикнуваат однесување, не е јасно дали се преминува прагот на дискриминација. Во борбата против некои однесувања, ЕУ би применила само политички мерки, додека за други, законодавни акти би можеле да бидат решението.
Предложениот “Акт за вештачка интелигенција (АИИ)” на ЕУ предвидува ограничувања и регулаторни акции за одредени форми на однесување кои се однесуваат на прашања на родова еднаквост. Еден пример кој е релевантен за многу компании е покриен од Актот за вештачка интелигенција: алгоритмите за регрутирање. Правните стручњаци изразија загриженост поради зголемените ризици и „јасната и непосредна опасност“ од пристрасности и дискриминација во таквите алгоритми. Алгоритмите за регрутирање можат да имаат исклучителна моќ преку автоматско претходно селектирање или отфрлање на резимеа пред да стигнат до човечките очи, со што се зголемува ризикот од дискриминација врз основа на пол.Според судската пракса на Судот на правдата на Европската унија
(CJEU), прашања од работното право, како што се постапките за регрутирање и унапредување, често се предмет на спорови во врска со родовата еднаквост. До денес, нема директиви или случаи кои се занимаваат со алгоритми и дискриминација врз основа на пол. Особено поради недостаток на претходни упатства, CJEU досега не ги интерпретирал концептите во врска со алгоритамската дискриминација. Неколку случаи би можеле да фрлат светло врз тоа како CJEU би можел да одлучи во иднина ако се појави спор за алгоритамска дискриминација.
Дополнително, алгоритмите за регрутирање предизвикуваат дискриминаторско однесување кон жени или мажи, што делумно би можело да биде покриено од предложениот Акт за вештачка интелигенција. Поголем проблем се алгоритмите кои даваат дискриминаторски резултати, различни од алгоритмите за регрутирање, кои не спаѓаат под предложениот Акт за вештачка интелигенција. Оваа категорија вклучува алгоритми користени од јавни или приватни оператори како подготовителен чекор, кои само ја активираат одлуката, но сами по себе не претставуваат дискриминаторен акт, односно дејство. Дискриминацијата треба да се докаже на сличен начин како и во случаите кога одлуката ја донесува човек, во случаи кога има дискриминаторски влијанија врз потенцијален вработен.
Мора да се направи разлика помеѓу алгоритмите кои влијаат на родовата еднаквост со директен дискриминаторски ефект и оние кои имаат индиректни ефекти. Поради тоа што степенот и последиците од претпоставените повреди на родовата еднаквост се различни, тие треба да се решаваат на различен начин. Индиректните ефекти не треба да се потценуваат, бидејќи тие можат да ја поткопаат политиката за родова еднаквост која има за цел да се бори против и да ги елиминира стереотипите и пристрасностите. Истражувањата и практиките покажале дека без добра политика за родова еднаквост, дискриминацијата не може да се реши. Дополнително, индиректните родови ефекти може да играат улога во формирањето на директни родови ефекти и така да фаворизираат дискриминација.
Клучот на политиката за родова еднаквост се базира на националните устави, договорите на ЕУ и националното и европското законодавство. Други политики
можат да помогнат во борбата против пристрасностите во контекст на алгоритамска дискриминација и да постигнат повеќе еднаквост, како што е зголемување на бројот на жени во управни одбори и на лидерски позиции. Предложената директива COM/2012/0614 може да има реално влијание, така што во текот на времето, барањата за извршни директори (CEO) би донеле повеќе жени лидери. Исто така, во областа на рамнотежата помеѓу работата и животот, WLB-Директивата може да има огромен ефект, бидејќи порамномерното споделување на обврските за грижа и поголемото користење на слободни денови од страна на мажите ќе ги обликува перцепциите и стереотипите, кои се рефлектираат во податоците што се користат од алгоритмите и пребарувачите. Други мерки, како што се позитивните акции или родовата интеграција, се исто така важни за обезбедување родова еднаквост, како и решавањето на родовиот јаз во платите, пензиите и насилството врз жените, особено кога станува збор за онлајн насилство или говор на омраза. Колку повеќе еднаквост постои помеѓу жените и мажите, и колку повеќе еднакво станува општеството, толку повеќе тоа ќе биде одразено во податоците што ги користат алгоритмите. Таквиот пристап може да го намали очигледното, отвореното и намерно дискриминирање. Потешко е да се елиминира ненамерната и индиректна дискриминација која може да се појави несвесно. Сепак, и ненамерната дискриминација е исто така опфатена од законодавството на ЕУ, бидејќи не е потребен субјективен елемент или намера за таа да се смета за дискриминација.
3. Како родовата еднаквост е афектирана од индиректни и директни ефетки од алгоритмите
3.1. Индиректните родови ефекти на алгоритмите
Индиректни родови ефекти на алгоритмите можат да се дефинираат како сите ефекти што обликуваат, влијаат и ја одржуваат родовата пристрасност и стереотипи, менувајќи ги податоците кои се основа на алгоритмите и кои немаат директно влијание, ниту претставуваат јасна повреда на правата за
родова еднаквост според законодавството на ЕУ. Еден пример за ова се резултатите од пребарувањата. Преку промовирање, одржување или комбинирање на различни проблеми, создавајќи нови пристрасности, стереотипи и потенцијално дискриминаторски тенденции, алгоритмите за пребарување претставуваат проблем. На пример, кога ќе се напише “CEO” во пребарувачот, алгоритмот покажува речиси исклулчиво слики од мажи директори, не и од жени. Иако постои голема нееднаквост помеѓу жените и мажите кога станува збор за лидерски позиции во компаниите, сликите што се прикажуваат во резултатите од пребарувањето не се соодветствуваат со реалноста, бидејќи бројот на жени претседателки на одбори во Европа изнесува 7,5%, а на жени извршни директори е 7,7% во Европа. Врз основа на резултатите од пребарувањето, се создава и зајакнува погрешна перцепција. Овие стереотипи можат да станат основа за дискриминаторско однесување и да овозможат подготовка за дискриминаторски одлуки. На пример, во процесот на регрутирање за извршни директори, онлајн информациите за процедури за вработување можат да бидат (ненамерно) под влијание и да резултираат со индиректни родови ефекти. Пребарувањата можат да се влеат во процесот и да доведат до резултати со родова пристраност. Иако достапните податоци и податоците за тренирање на алгоритмите се дел од факторите што можат да ја поттикнат родовата нееднаквост, а (длабоките) невронски мрежи може дополнително да ја влошат состојбата во комбинација со неточни податоци: еден алгоритам што бил обучен за препознавање човечки активности на слики развил родови пристрасности. Мажите главно биле прикажани во активности надвор од домот, како возење автомобил, тренирање или пукање, додека жените биле прикажани како пазаруваат, се наоѓаат во кујна покрај микробранова печка или перат алишта.
Иако помалку видливи и очигледни, таквите индиректни родови ефекти настанати со користење на алгоритми потенцијално предизвикуваат поголема штета отколку директните родови ефекти. Ова може да се објасни со широко распространетата употреба и леснотијата со која пристрасностите и стереотипите во податочните сетови се шират и повторно се користат во
различни алгоритми кои пристапуваат до заеднички бази на податоци или пристапуваат до интернетот за прибирање податоци и информации. На крајот, индиректните родови ефекти на алгоритмите, ако се одржуваат и распространуваат низ мрежи и бази на податоци, може на крај да доведат до создавање на директни родови ефекти, особено ако алгоритмот користи податоци и бази на податоци кои што се обликувани од индиректни родови ефекти.
Техниката Word2vec/Word vectors што ја користат алгоритмите и пребарувачите и која влијае врз родовата еднаквост, се наоѓа во сржта на опишаните проблеми. Word2vec претставува:
„техника за обработка на природен јазик која користи модел на невронски мрежи за да научи асоцијации на зборови од голем корпус текстови. Откако ќе биде обучен, таквиот модел може да открие синоними на зборови или да предложи дополнителни зборови за делумно изречена реченица. Како што сугерира самото името, word2vec претставува секој различен збор со специфична листа на броеви, наречена вектор, што покажува на нивото на семантичка сличност помеѓу зборовите претставени преку тие вектори.“
Word2vec генерира вгнездени претставувања на зборови (word embeddings). Овие модели се обучуваат да ги реконструираат јазичните контексти на зборовите, врз основа на голем корпус на текст, и создаваат векторски простор во кој секој уникатен збор од корпусот добива соодветен вектор. Векторите на зборовите се распоредени во векторскиот простор на таков начин што зборовите кои делат заеднички контексти во корпусот се наоѓаат блиску едни до други во тој простор.
3.2. Директни родови ефекти на алгоритмите
Директни родови ефекти (ДРЕ) на алгоритмите можат да се дефинираат како повреди на нормите за родова еднаквост или како однесување на алгоритмите кои се директно мерливи и дискриминирачки. Примери за тоа
се исклучување на женска кандидатка за работа од страна на алгоритам само затоа што е жена или одбивање на кредит врз основа на податоци што се поврзуваат со (пониска) кредитна способност на жените, поради статистичка асоцијација со групата „жени“.
Директните родови ефекти не само што се поочигледни од индиректните родови ефекти, туку исто така се полесно идентификувани и разбрани бидејќи се приближно идентични по резултат со класичната дискриминација предизвикана од човечка одлука. Меѓутоа, многу нерешени прашања остануваат кога директен родов ефект е предизвикан од алгоритми и предизвикува штета, особено во однос на пристапот до докази и олеснување на доказувањето на наводната дискриминација во судските постапки, што изгледа потешко поради непрозирноста (опакоста) на алгоритмите. Строга примена на начелото на товарот на доказување и можноста за негово префрлување на спротивната страна во случај на наводни жртви на дискриминација може да помогне и да охрабри подобро и поефикасно спроведување на правилата за еднаквост во областа на алгоритамската дискриминација.
3.3. Позиционирање на индиректни и директни родови ефекти во дихотомот директна/индиректна дискриминација
Разликата помеѓу индиректните родови ефекти и директните родови ефекти е важна за прашањето како да се решаваат родовите нееднаквости преку правни и политички мерки. Често, кога станува збор за индиректни родови ефекти, не се надминува прагот на санкционибилна дискриминација врз основа на пол, па затоа законот за родова еднаквост не се применува. Во таков случај, потребно е да се воведат политики со цел да се постигнат целите за родова еднаквост утврдени во Договорите на ЕУ. Според законодавството на ЕУ, и директната и индиректната дискриминација се забранети. Сепак, бидејќи директните и индиректните родови ефекти не функционираат на ист начин, тие не можат нужно да се третираат под иста регулатива за директна
и индиректна дискриминација. За да се утврди дискриминација според законодавството на ЕУ, потребно е да се идентификува конкретен дискриминаторен акт или однесување, што често недостасува во случај на индиректни родови ефекти. Индиректните родови ефекти обично ги одразуваат, создаваат или зајакнуваат пристрасностите и стереотипите, но немаат директен, конкретен или видливо влијание врз одредена личност.
Ако пристрасностите и стереотипите се претставени во резултатите од пребарување на интернет, тие можат да влијаат на личноста да преземе одредена акција, да дискриминира или да се подготви за дискриминаторно дејство, на пример, истражување на интернет за подготовка на вработување за одредена работна позиција. Ова може да доведе до тоа некој премногу да се потпре на алгоритам и да донесе одлука базирана и под влијание на податоците прикажани во резултатите од пребарувањето, со што потенцијално се предизвикува дискриминација. Еден од начините за решавање на овој проблем е да се адресира родовиот податочен јаз, со цел да се добијат податоци што се повеќе претставителни и разновидни, кои ја одразуваат реалноста.
4. Идната законодавна рамка за справување со алгоритамска дискриминација врз основа на пол
Во овој дел ќе бидат изложени основните елементи на Предлог-законот за вештачка интелигенција во однос на еднаквоста на половите, заедно со предложените измени од Европскиот парламент, Комитетот на региони и Европскиот економски и социјален комитет за засилување на перспективата за еднаквост на половите.
4.1. Предлог на ЕУ од Европската комисија – Закон за вештачка интелигенција накратко
Законот за вештачка интелигенција може да се смета за значаен напредок во регулирањето на вештачката интелигенција, бидејќи се стреми да создаде
хармонизирани правила за ВИ. Според предлогот за Законот за вештачка интелигенција, “систем на вештачка интелигенција” значи софтвер што е развиен за дадени цели дефинирани од човек, генерирајќи излезни резултати како содржина, предвидувања, препораки или одлуки кои влијаат врз средината со која стапуваат во интеракција.
Во суштина, доколку Законот за вештачка интелигенција се применува, некои системи за вештачка интелигенција се забранети, додека други се подлежни на регулирање, а високоризичните системи бараат специфично регулирање. Во однос на неговата примена, Законот за вештачка интелигенција не се однесува само на системи на вештачка интелигенција во рамки на ЕУ (види член 2(б) од Законот за АИ), туку и „независно од тоа дали тие даватели се основани во Унијата или во трета земја“, како и на „даватели и корисници на АИ системи кои се лоцирани во трета земја, доколку резултатите од тие системи се користат во Унијата“. Со други зборови, секој систем на вештачка интелигенција што има влијание врз граѓаните на Унијата е опфатен со овој закон. Следејќи динамичен пристап, идните технолошки достигнувања во областа на вештачката интелигенција се опфатени преку прилози што можат да бидат донесени од страна на Европската комисија без потреба од следење на редовната законодавна постапка.
Во однос на родовата еднаквост и недискриминацијата, Законот за вештачка интелигенција го надополнува постоечкиот законодавен оквир, но ја вклучува родовата еднаквост и недискриминацијата во оној степен во кој забранува одредени апликации на вештачка интелигенција и дефинира системи на вештачка интелигенција со висок ризик кои подлежат на специфична регулатива. Законот за вештачка интелигенција исто така се осврнува на повредата на основните човекови права, меѓу кои се вклучува и начелото на недискриминација.
Поради хоризонталната природа на Законот за вештачка интелигенција, дискриминацијата и родовата еднаквост не се детално регулирани, туку се спомнати во неоперативниот дел на актот. Меѓутоа, член 6(2) од Законот за вештачка интелигенција, кој се повикува на Анекс III, точка 4, во однос на системите за регрутација, е потенцијално релевантен за родово базирана
алгоритамска дискриминација: „низ целиот процес на регрутација и при евалуацијата, унапредувањето или задржувањето на лица во договорни работни односи, ваквите системи може да ги продолжат историските обрасци на дискриминација, на пример против жените. “ Затоа, софтверот за регрутација би се сметал за апликација на вештачка интелигенција што спаѓа во категоријата на висок ризик согласно член 6 од Законот.
Во овој случај, Член 8 бара почитување на специфичните барања наведени во Членовите 9-14. Ова вклучува, меѓу другото, inter alia – систем за управување со ризик, усогласеност со принципите на податоци и управување со податоци во однос на обука, валидација и тестирање на сетови на податоци, техничка документација, водење на записи, транспарентност и обезбедување информации за корисниците и конечно, човечки надзор.
4.2. Предлогот закон за ВИ во Европскиот економски и социјален комитет
Усвојувањето на Законот за вештачка интелигенција се спроведува преку обичната законодавна постапка и е заеднички приоритет на Европскиот парламент, Советот и Комисијата за 2021 година. Неколку национални парламенти (вклучувајќи ги Чешка, Германија, Португалија и Полска) издадоа мислења, при што само германскиот Bundesrat се осврна на родовата еднаквост, истакнувајќи ја важноста од усогласеност со Повелбата за основни права на ЕУ и постојното секундарно право за недискриминација. Комитетот AIDA при Европскиот парламент подготвува нацрт-извештај за вештачка интелигенција, во кој родот и дискриминацијата се спомнуваат двапати — главно во контекст на разновидност, поголемо учество на жени кодери и ризик од пристрасност во нецелосни или нерепрезентативни податоци. Амандманите на Парламентот почесто се осврнуваат на овие прашања. Во оваа насока, паралелниот законодавен предлог — Законот за дигитални услуги (DSA) — исто така се обидува да ублажи некои од ризиците за жените:
„Одредени групи може да бидат ранливи или во неповолна положба при користење на онлајн услуги поради нивниот пол. Тие може непропорционално да бидат погодени од ограничувања што произлегуваат од (свесни или несвесни) пристрасности кои потенцијално се вградени во системите за известување од корисници и трети страни, како и реплицирани преку автоматизирани алатки за модерирање содржина што ги користат платформите.“
5. Регулаторни и политички препораки
5.1. Регулаторни предлози
Оваа секција ги прикажува конкретните мерки што можат да се преземат во однос на политички мерки и законодавни акции. Законодавството е клучно за обезбедување на еднаквост на половите, а Законот за вештачка интелигенција претставува добар почеток, бидејќи за прв пат поставува општ принцип дека некои области на системите за вештачка интелигенција треба да се регулираат. Прво, дополнителна вредност може да се постигне со обезбедување на добар степен на заштита на еднаквоста помеѓу жените и мажите во сите области преку донесување на соодветно законодавство, како што е предложено во законодавството за транспарентност на платите, жени во одбори, насилство врз жените и осигурување на ефективно спроведување. Во целина, зголемувањето на еднаквоста на половите во реалниот свет ќе се одрази и во податоците и на тој начин ќе ги намали потенцијалните алгоритамски дискриминации.
Второ, врз основа на ова, и како дополнување на правилата на Законот за вештачка интелигенција што би се применувале во случаи на родово базирана дискриминација предизвикана од алгоритми за регрутација, може да се разгледаат повеќе технички или секторски регулативи, како што се специфични барања за осигурување на почитување на нормите за родова еднаквост во случаи на алгоритамска дискриминација. Ревизијата на законодавниот акумулатор на родова еднаквост (што е периодично барана според водичите за подобро регулирање на ЕУ) може да биде добра можност
за јасно вклучување и дефинирање на алгоритамската дискриминација во законодавството за родова еднаквост на ЕУ, како и за детално утврдување на правилата за пренос на товарот на доказите во случаите на алгоритамска дискриминација.
5.2. Придружни политички мерки
За постигнување на родова еднаквост, покрај законодавни мерки, потребни се и политички мерки, како обука за родова еднаквост за дизајнерите на алгоритми. Вклучувањето повеќе жени меѓу ИТ развивачите може да доведе до поразлични и еднакви резултати од алгоритмите. Обуката и добрите пракси во дизајнирањето и кодирањето на алгоритми може да помогнат во намалување на родовите пристрасности и стереотипи. Задолжителните мерки и обука на дизајнери на алгоритми може да доведат до намалување на родовата дискриминација. Транспарентноста и сертификацијата на компаниите за родова еднаквост може да ги поттикне ИТ компаниите да стекнат релевантно знаење. Поголемо учество на жени во ИТ и вештачка интелигенција е клучно, како и поддршка за девојчињата во STEM области. Компаниите се сè повеќе свесни за потребата од еднаквост и разновидност, како што е истакнато во последните иницијативи и консултантски фирми.
Заклучок
Пристапувањето кон проблемот на родово-базирана алгоритамска дискриминација преку призмата на индиректни и директни родови влијанија им овозможува на истражувачите и креаторите на политики не само да ја согледаат длабочината на проблемот, туку и да ја идентификуваат потребата од правни и политички мерки. Овој пристап овозможува подобро разбирање преку разгледување на конкретните механизми што стојат зад функционирањето на алгоритмите и на тој начин разјаснува зошто индиректните родови ефекти, кои на прв поглед може да изгледаат ирелевантни од правна перспектива за спроведување на родова еднаквост, се клучни за разбирање и решавање на
проблемот со родово-базирана алгоритамска дискриминација. Улогата што ја играат алгоритмите и пребарувачите во обликувањето, зајакнувањето и одржувањето на родовите стереотипи и предрасуди е нагласена и треба да се земе предвид при законодавните и политичките дејствија. Ова исто така го зајакнува аргументот дека е потребно не само цврсто законодавно решение, туку и дополнителни незаконодавни мерки што ќе го поддржат и надополнат правото на ЕУ со цел целосно постигнување на неговите цели.
Референци
1. Abiteboul, S., Dowek, G.: The Age of Algorithms. Cambridge University Press, Cambridge (2020)
https://scholar.google.com/scholar_lookup?&title=The%20Age%20of%20Algorit hms&doi=10.1017%2F9781108614139&publication_year=2020&author=Abitebo ul%2CS.&author=Dowek%2CG.
2. Allen, R., Masters, D.: Artificial intelligence: the right to protection from discrimination caused by algorithms, machine learning and automated decision making (2020)
https://scholar.google.com/scholar_lookup?&title=Artificial%20intelligence%3A %20the%20right%20to%20protection%20from%20discrimination%20caused% 20by%20algorithms%2C%20machine%20learning%20and%20automated%20d ecision-making&journal=ERA%20Forum&doi=10.1007%2Fs12027-019-00582-
w&volume=20&pages=585-
598&publication_year=2020&author=Allen%2CR.&author=Masters%2CD. 3. Alpaydin, E.: Machine Learning. Mit Press, Boston (2021)
https://scholar.google.com/scholar_lookup?&title=Machine%20Learning&doi=1 0.7551%2Fmitpress%2F13811.001.0001&publication_year=2021&author=Alpay din%2CE.
4. Brière, C., Dony, M.: Droit de l’Union européenne. Editions de l’Université de Bruxelles, Bruxelles (2022)
https://scholar.google.com/scholar_lookup?&title=Droit%20de%20l%E2%80%9 9Union%20europ%C3%A9enne&publication_year=2022&author=Bri%C3%A8re %2CC.&author=Dony%2CM.
5. Broussard, M.: Artificial Unintelligence: How Computers Misunderstand the World. Mit Press, Boston (2018)
https://scholar.google.com/scholar_lookup?&title=Artificial%20Unintelligence% 3A%20How%20Computers%20Misunderstand%20the%20World&doi=10.7551 %2Fmitpress%2F11022.001.0001&publication_year=2018&author=Broussard% 2CM.
6. Criado Perez, C.: Invisible Women: Exposing Data Bias in a World Designed for Men. Random House, London
https://scholar.google.com/scholar_lookup?&title=Invisible%20Women%3A%20 Exposing%20Data%20Bias%20in%20a%20World%20Designed%20for%20Men& publication_year=2019&author=Criado%20Perez%2CC.
7. De La Baume, M.: Germany to back EU’s women quota plan after a decade (2022) https://www.politico.eu/article/germany-will-adopt-women-on-board-directive eu-proposal-after-10-years-of-deadlock/
8. European Commission, Algorithmic discrimination in Europe – challenges and opportunities for gender equality and non-discrimination law (2021) https://op.europa.eu/en/publication-detail/-/publication/082f1dbc-821d-11eb 9ac9-01aa75ed71a1/language-en
9. European Commission, Better Regulation (2022)
regulation_de#internationale-zusammenarbeit-in-regulierungsfragen 10. European Law Institute, Artificial Intelligence (AI) and Public Administration – Developing Impact Assessments and Public Participation for Digital Democracy https://www.europeanlawinstitute.eu/projects-publications/publications/eli model-rules-on-impact-assessment-of-algorithmic-decision-making-systems usey-by-public-adminstration/