Secţiuni » Arii de practică » Business » Cyberlaw » Cybersecurity
Cybersecurity
CărţiProfesionişti
Banner BA-01
Servicii JURIDICE.ro
Banner BA-02
Articole Cyberlaw Cybersecurity Drept maritim Dreptul Uniunii Europene Opinii SELECTED

Cât de inteligent este Artificial Intelligence Act?

6 decembrie 2022 | Silvia USCOV, Adrian GROZA
Silvia Uscov

Silvia Uscov

Adrian Groza

Adrian Groza

„Războinicii victorioși câștigă mai întâi
 și apoi merg la război, în timp ce războinicii învinși
merg mai întâi la război și apoi caută să câștige”.
(Sun Tzu – Arta Războiului)

I. De ce ne punem întrebarea din titlu?

Dacă vrem ca Regulamentul UE privind Inteligența Artificială (Artificial Intelligence Act – AIA)[1] să fie un instrument care să calibreze nevoia de apărare a drepturilor și libertăților individuale fundamentale, pe de o parte, și nevoia de inovație, progres, câștiguri financiare și siguranță națională și internațională sub spectrul interesului public, pe de altă parte, atunci el trebuie să fie supus unui scrutin care să asigure victoria primei categorii de nevoi pentru a putea crea premisele ca și a doua categorie de nevoi să fie satisfăcută.

În acest fel, se creează o ordine de preferință clară, care ar trebui reflectată nu numai în modalitatea de redactare a acestui Regulament, ci și în conținutul său, aspect pe care îl transmite în alte cuvinte și Comitetul Economic și Social European (CESE) în Avizul său din 22 decembrie 2021[2] privind AIA. De asemenea, numeroase probleme sunt identificate și tratate în așa-numitul „Compromise Text” adoptat sub Președinția slovenă a Consiliului UE la data de 29 noiembrie 2021[3].

Sau, așa cum spune filosoful George Colang, „când Heidegger îl critică pe Descartes că a înlocuit logica inimii cu cea calculatoare, nu face decât să afirme că tehnicul începe să invadeze spațiul umanului. Diferența dintre privirea ambientală și cea calculatoare avea ca scop tocmai delimitarea umanului de tehnic. Și nu e nicio tragedie până aici. Problema apare atunci când faci din tehnică scop în sine. Când umanul este transformat în statistică goală, lipsită de orice formă de conținut moral”[4].

Așa cum vom arăta în acest articol, morala, ca fundament al unei reglementări bune, pare a fi plasată într-o zonă subsidiară nevoii Uniunii Europene de a reprezenta un actor important în domeniul Inteligenței Artificiale (IA), pentru a intra sau a rămâne în competiție cu actorii globali reprezentați de state, dar mai ales de companii private, sens în care drepturile fundamentale ale omului capătă o dimensiune de protecție mai mică în noua eră digitală în lumina excepțiilor prevăzute în AIA.

Pe lângă o critică la adresa propunerii de reglementare în domeniul IA, încercăm să identificăm și soluții tehnice ce pot îmbrăca o haină juridică și care ar avea menirea să contrabalanseze parțial această repoziționare a drepturilor fundamentale pe harta intereselor lumii moderne, concluziile servind mai apoi la înțelegerea responsabilității pe care o avem toți pentru a ne asigura că vom împărtăși cât mai mult din beneficiile acestor noi tehnologii și cât mai puțin din riscurile asupra cărora ni se atrage atenția din toate zonele, de la literatură și factori de decizie politică până la lumea academică și cea a antreprenorilor în domeniu.

II. Riscurile din Artificial Intelligence Act

În primul rând, trebuie observat faptul că AIA nu se aplică sistemelor IA „dezvoltate sau utilizate exclusiv în scopuri militare” [art. 2 pct. 3 AIA], cum ar fi sistemele de arme autonome (deși s-ar fi putut încadra pe politica de securitate și apărare comună a statelor membre), precum și „autorităților publice dintr-o țară terță și nici organizațiilor internaționale care intră în domeniul de aplicare al prezentului regulament în temeiul alineatului (1), în cazul în care respectivele autorități sau organizații utilizează sisteme de IA în cadrul acordurilor internaționale pentru asigurarea respectării legii și pentru cooperarea judiciară cu Uniunea sau cu unul sau mai multe state membre” [art. 2 pct. 4 AIA].

De asemenea, sfera de aplicabilitate a anumitor obligații sub AIA se restrânge și prin definirea noțiunii de „utilizator”, care poate fi „orice persoană fizică sau juridică, autoritate publică, agenție sau alt organism care utilizează un sistem de IA aflat sub autoritatea sa” [art. 3 alin. (4) AIA], dar nu și în cazul în care sistemul IA este utilizat în cursul unei activități neprofesionale, personale, ceea ce amintește despre reglementarea europeană în materia prelucrării datelor cu caracter personal (Regulamentul general privind protecția datelor – GDPR[5]). Apreciem că utilizarea sistemelor IA care reprezintă riscuri inacceptabile ar trebui interzisă inclusiv pentru persoanele fizice sau juridice în derularea unor activități neprofesionale, personale. Nu în ultimul rând, ar trebui ca în categoria sistemelor IA cu grad mare de risc să intre nu doar componentele de siguranță ale produselor sau sistemelor IA ca produse, ci orice produs sau serviciu care înglobează un sistem IA sau funcționează pe baza acestuia[6].

Dacă este să ne referim la definiția IA, CESE recomandă eliminarea Anexei I care cuprinde o listă de tehnologii care ar contura definirea unui astfel de sistem, dar față de care nu există o concepție unanimă a cercetătorilor, urmând să le considerăm, simplu, ca fiind „un software care, în mod automat, pentru un anumit set de obiective definite de om, poate genera rezultate precum conținuturi, previziuni, recomandări sau decizii care influențează mediul cu care interacționează” [pct. 3.2 din Aviz].

Construcția întregii reglementări se bazează pe cele 3 tipuri de riscuri:

un risc inacceptabil, în Titlul II fiind menționate lista practicilor IA interzise;

un risc ridicat, respectiv sistemele IA cu grad ridicat de risc prevăzute în Titlul III, permise pe piața europeană sub rezerva respectării anumitor cerințe obligatorii și a unei evaluări ex ante a conformității, dar și cele care prezintă un grad de risc ridicat limitat, prevăzute în Titlul IV numai sub rezerva de a respecta anumite obligații de transparență;

un risc scăzut sau minim, amintite în Titlul IX și față de care doar se încurajează conformarea voluntară la cerințele prevăzute în Titlul III, dar pe baza unor coduri de conduită, nu a unor norme general obligatorii.

1. Risc inacceptabil

La nivel european au fost înscrise ca practici IA interzise doar următoarele 4 categorii [art. 5 AIA]:

1.1. Utilizarea tehnicilor subliminale [art. 5 pct. 1 lit. (a) AIA]

Sunt interzise introducerea pe piață, punerea în funcțiune sau utilizarea unor astfel de sisteme care utilizează tehnici subliminale „fără ca persoanele să fie conștiente de acest lucru, pentru a denatura în mod semnificativ comportamentul unei persoane într-un mod care aduce sau poate aduce prejudicii fizice sau psihologice persoanei respective sau altei persoane”.

Mesajele subliminale pot schimba gândurile, atitudinile, emoțiile și acțiunile, iar stimularea subliminală influențează stările de spirit actuale, atitudinile politice, intențiile, alegerile și deciziile, precum și strategiile cognitive, studiile inițiale concentrându-se pe efectele imediate ale stimulării subliminale. Într-un studiu din 2016 s-a demonstrat că nu e nevoie decât de puțină expunere la informații subliminale noi pentru a influența luarea deciziilor întârziate, nu doar a celor imediate, oferind un impact surprinzător asupra comportamentului rațional, intenționat și conștient[7].

În măsura în care intenția unor astfel de sisteme IA nu este de a denatura în mod semnificativ comportamentul [„intenția nu poate fi prezumată în cazul în care denaturarea comportamentului uman rezultă din factori externi sistemului de IA, care se află în afara controlului furnizorului sau al utilizatorului” – considerentul (16) din Preambul AIA], iar această denaturare a comportamentului nu creează sau nu are aptitudinea de a crea prejudicii fizice sau psihologice persoanei căreia i se adresează sau unei alte persoane, atunci ele sunt acceptabile. În acest caz, riscurile și răspunderea urmează a fi acoperite de reglementările privind protecția datelor, protecția consumatorilor și serviciile digitale, care garantează că persoanele fizice sunt informate în mod corespunzător și că au libertatea de a alege să nu facă obiectul creării de profiluri sau al altor practici care le-ar putea afecta comportamentul, așa cum este indicat și în expunerea de motive AIA. De asemenea, nu este interzisă cercetarea în cazul unor astfel de sisteme, dar numai în cazul în care ea nu echivalează cu utilizarea sistemului de IA în relațiile om-mașină, provocând prejudicii persoanelor fizice, și dacă cercetarea se desfășoară în conformitate cu standardele etice recunoscute pentru cercetarea științifică.

Având în vedere că astfel de sisteme IA se folosesc pe o piață în care populația nu are un nivel suficient dezvoltat de cultură digitală, apreciem, în consens cu Avizul CESE[8], că modalitatea de reglementare propusă nu protejează suficient cetățenii statelor membre atât față de potențialul real de încălcare a drepturilor și libertăților fundamentale (mai ales în cazul unei anumite persoane sau grup de persoane vizate de tehnica subliminală), cât și asupra democrației și statului de drept (modificarea comportamentului de vot, inclusiv prin boți utilizați în social media care s-ar prezenta ca persoane reale și ar putea influența tendința de vot, tehnici de propagandă contra statului de drept, crearea unor revolte, insurecții și altele).

În același timp, CESE vine cu o propunere de completare a acestui interdicții[9], dar aceasta încă prezintă două mari dezavantaje, respectiv lipsa instituirii oricărei prezumții, precum și lăsarea unei mult prea generoase marje de apreciere („în mod semnificativ”) la dispoziția unor persoane care nu doar că e posibil, ci e cel mai probabil să nu înțeleagă impactul real al utilizării unor astfel de sisteme decât atunci când prejudiciile vor fi fost deja produse și numai privind retrospectiv, după o perioadă mai lungă de timp, ce permite chiar permanentizarea unor consecințe negative. De subliniat în acest caz este și lipsa unei jurisprudențe bogate care să contureze mai bine reglementarea[10].

1.2. Exploatarea vulnerabilităților unui anumit grup de persoane [art. 5 pct. 1 lit. (b) AIA]

Sunt interzise introducerea pe piață, punerea în funcțiune sau utilizarea unor astfel de sisteme care exploatează oricare dintre vulnerabilitățile unui anumit grup de persoane „din cauza vârstei, a unui handicap fizic sau mental, pentru a denatura în mod semnificativ comportamentul unei persoane care aparține grupului respectiv într-un mod care aduce sau poate aduce prejudicii fizice sau psihologice persoanei respective sau altei persoane”.

Pe lângă observațiile de la punctul anterior, nu se justifică inserarea doar a criteriilor de vârstă și prezența unui handicap fizic sau mintal (în mod greșit este tradus în limba română „handicap mental”; conform DEX, „mental” se referă la mentalitate, nu la minte), ci trebuie extinsă protecția astfel încât nicio vulnerabilitate să nu poată fi exploatată prin intermediul unor astfel de sisteme. În caz contrar, grupuri similare de persoane, pentru care de obicei aplicăm protecția legislației anti-discriminare, nu vor fi protejate de impactul negativ asupra drepturilor lor fundamentale atunci când punem în discuție utilizarea acestor sisteme, chestiune nesesizată de CESE în avizul său.

1.3. Social scoring (evaluarea comportamentului social) la nivel statal [art. 5 pct. 1 lit. (c) AIA]

Sunt interzise introducerea pe piață, punerea în funcțiune sau utilizarea unor astfel de sisteme de către autoritățile publice sau în numele acestora (deci nu și de către entitățile private), sistemul IA interzis constând în „evaluarea sau clasificarea credibilității persoanelor fizice într-o anumită perioadă de timp, pe baza comportamentului lor social sau a caracteristicilor personale sau de personalitate cunoscute sau preconizate, cu un punctaj privind comportamentul social care conduce la una dintre următoarele situații sau la ambele:

(i) tratamentul prejudiciabil sau nefavorabil al anumitor persoane fizice sau al unor grupuri întregi de persoane în contexte sociale care nu au legătură cu contextele în care datele au fost generate sau colectate inițial;

(ii) tratamentul prejudiciabil sau nefavorabil al anumitor persoane fizice sau al unor grupuri întregi de persoane care este nejustificat sau disproporționat în raport cu comportamentul social al acestora sau cu gravitatea acestuia”.

În acord cu concluziile CESE [pct. 1.6 din Aviz], apreciem că ar trebui interzisă evaluarea credibilității cetățenilor UE pe baza comportamentului lor social sau a caracteristicilor lor de personalitate, indiferent de actorul care efectuează evaluarea[11], extinzând domeniul de aplicare al interdicției și la organizații private și la autorități semipublice[12], [13].

De asemenea, atragem atenția asupra faptului că excepția instituită la pct. (i), referitoare la contextele sociale „care nu au legătură cu contextele în care datele au fost generate sau colectate inițial”, poate duce la situații de neconceput, de exemplu, cel al interzicerii serviciilor medicale de către entități private pe criteriul nevaccinării, la fel cum și criteriile menționate la pct. (ii), respectiv tratamentul prejudiciabil sau nefavorabil să nu fie nejustificat sau disproporționat prin raportare la comportamentul social al persoanelor vizate sau gravitatea lui, sunt greu de conceput într-un stat democratic care nu ar trebui să accepte sub nicio formă un astfel de tratament prejudiciabil sau nefavorabil în contextul unei tehnologii ce poate provoca un risc sistemic[14].

1.4. Utilizarea sistemelor de identificare biometrică la distanță „în timp real” în spații accesibile publicului în scopul asigurării respectării legii [art. 5 pct. 1 lit. (d) AIA]

Degeaba este încadrată identificarea biometrică la distanță în timp real (de exemplu, cu recunoaștere facială) pentru asigurarea respectării legii în categoria celor interzise, din moment ce se instituie excepțiile și condițiile prevăzute de art. 5 pct. 2-3 AIA ce vizează siguranța publică, chiar dacă utilizarea concretă devine subiect al unui mandat obținut în conformitate cu principiile aplicabile și altor tipuri de supraveghere tehnică în dreptul român, după o evaluare a circumstanțelor, a necesității și proporționalității.

De remarcat este faptul că, dacă aceeași tehnologie pentru identificarea biometrică la distanță în timp real este utilizată în alte scopuri, atunci e doar clasificată ca având un grad ridicat de risc, ceea ce deschide calea spre utilizarea ei pe scară largă nu doar de către stat, dar și de către entități private și persoane fizice, adică unui întreg sistem Big Brother mascat, iar dacă acesta este combinat și cu scoringul menționat anterior, atunci consecințele negative pentru dreptul la viață privată sunt ireparabile și extrem de grave. Mai mult decât atât, se specifică în considerentul (38) din Preambul AIA că „sistemele IA destinate în mod special utilizării în proceduri administrative de către autoritățile fiscale și vamale nu ar trebui să fie considerate sisteme de IA cu grad ridicat de risc utilizate de autoritățile de aplicare a legii în scopul prevenirii, depistării, investigării și urmăririi penale a infracțiunilor”, excepție care nu poate fi introdusă deoarece impactul negativ asupra drepturilor și libertăților fundamentale este la fel de mare și la fel de probabil.

În același timp, conform art. 52 pct. 2 AIA, referitor la obligațiile de transparență a sistemele IA cu risc ridicat limitat, se încadrează în această categorie sistemele de recunoaștere a emoțiilor sau sistemele biometrice de clasificare, față de care există doar obligația utilizatorilor sistemelor de a informa persoanele fizice expuse la sistem cu privire la funcționarea acestuia. Această obligație nu se aplică, însă, sistemelor IA utilizate pentru clasificarea biometrică, care sunt autorizate prin lege să detecteze, să prevină și să investigheze infracțiunile.

Așa cum sesizează și CESE în pct. 4.7 din Aviz[15], „AIA clasifică, în general, «recunoașterea emoțiilor» ca având un grad scăzut de risc, cu excepția câtorva domenii de utilizare în care este clasificată ca având un grad ridicat de risc. Acest tip de recunoaștere biometrică este cunoscut, de asemenea, sub numele de recunoaștere emoțională sau recunoaștere comportamentală. Toate aceste tipuri de practici bazate pe IA sunt extrem de invazive, sunt lipsite de o bază științifică solidă și prezintă riscuri substanțiale de prejudiciere a unei serii de drepturi fundamentale prevăzute în Carta UE, precum dreptul la demnitatea umană (inclusiv la integritatea psihică) și dreptul la viață privată”.

Dacă ne uităm la definiția sistemelor biometrice de clasificare [art. 3 pct. 35 AIA], observăm că acestea au rolul de a plasa în categorii oamenii nu numai pe baza aparenței lor, dar și pe criterii cum ar fi „originea etnică sau orientarea sexuală sau politică, pe baza datelor lor biometrice”. Aceste criterii sunt deosebit de sensibile și periculoase în stadiul actual al dezvoltării societății noastre, iar viziunea UE nu poate fi împărtășită, în sensul că utilizarea unor astfel de sisteme IA ce clasifică populația în funcție de orientarea etnică, sexuală sau politică ori altele asemenea ce constituie baze cu potențial discriminatoriu, pe baza datelor biometrice, poate avea un scop „necesar într-o societate democratică” și, astfel, să nu fie interzise.

Apreciem că în spațiile accesibile publicului, atât publice, cât și private, precum și în spațiile online (exceptate în varianta actuală a propunerii), ar trebui să fie interzisă utilizarea sistemelor de identificare biometrică la distanță, cu excepția utilizării în scopuri de autentificare în zone de securitate înaltă (pentru celelalte spații pot fi utilizate alte metode de verificare a identității sau eligibilității, cum ar fi carduri de identitate, de membru etc., pentru a respecta cerințele proporționalității în dreptul la viața privată prin măsuri mai puțin intruzive ce ating același scop), ce oricum probabil ar fi exceptate prin faptul că AIA nu este aplicabil sectorului militar, precum și sistemele de recunoaștere biometrică a emoțiilor sau de clasificare a persoanelor pe baza datelor biometrice[16].

Propuneri de interdicție. În plus față de cele de mai sus, apreciem că ar mai interveni cel puțin două situații în care ar trebui instituite interdicții, cel puțin la acest stadiu al dezvoltării științei, respectiv:

utilizarea roboților umanoizi, având în vedere efectele demonstrate deja asupra psihicului uman[17], [18], [19], dar și cele care sunt încă în stadiu de cercetare pe diferite paliere, tocmai prin prisma faptului că oamenii tind să aibă reacții față de roboții umanoizi similare celor față de oameni;

augmentarea umană[20], în sensul trecerii de la o medicină reparatorie ce nu sporește capacitățile umane peste medie la o medicină de augmentare – cyborgi (de exemplu, implant de retină, cu convergența nanotehnologiilor, biotehnologiilor și IA) ce poate spori inegalitățile din societate și accentua discriminarea[21].

2. Risc ridicat și risc ridicat limitat

AIA introduce în Anexa III o listă exhaustivă de sisteme IA ce sunt încadrate în categoria celor de risc ridicat, care devin astfel pragul standard minim pe baza căruia lista poate fi extinsă și altor sisteme, conform art. 7 AIA.

Lista se referă la următoarele 8 domenii (CESE recomandă și adăugarea domeniului ce vizează gestionarea și exploatarea infrastructurii de telecomunicații și de internet):

(i) identificarea biometrică și clasificarea persoanelor fizice[22];

(ii) gestionarea și exploatarea infrastructurilor critice;

(iii) educație și formare profesională (în scopul stabilirii accesului sau al repartizării persoanelor fizice ori evaluării elevilor pentru admiterea în instituțiile de învățământ);

(iv) ocuparea forței de muncă, gestionarea lucrătorilor și accesul la activități independente (pentru recrutarea, evaluarea candidaților în cursul interviurilor sau al testelor, promovarea și încetarea relațiilor contractuale legate de muncă, pentru alocarea sarcinilor și pentru monitorizarea și evaluarea performanței și a comportamentului persoanelor aflate în astfel de relații)[23];

(v) accesul la servicii esențiale private și la serviciile și beneficiile publice, precum și posibilitatea de a beneficia de acestea[24] (evaluarea eligibilității persoanelor fizice pentru prestații și servicii de asistență publică, precum și pentru a acorda, a reduce, a revoca sau a recupera astfel de prestații și servicii; a evalua bonitatea persoanelor fizice sau pentru a stabili punctajul lor de credit, cu excepția sistemelor de IA puse în funcțiune de furnizori la scară mică pentru uz propriu; pentru dispecerizare sau pentru a stabili prioritatea în dispecerizarea serviciilor de primă intervenție de urgență, inclusiv de către pompieri și de asistență medicală);

(vi) aplicarea legii (riscul ca o persoană fizică să comită infracțiuni sau să recidiveze ori pentru a evalua riscurile pentru potențiale victime ale unor infracțiuni; poligrafe și instrumente similare sau pentru a detecta starea emoțională a unei persoane fizice; detectarea deep fake; a evalua fiabilitatea probelor; predicțiile în comiterea unor infracțiuni reale sau potențiale pe baza profilurilor persoanelor fizice);

(vii) gestionarea migrației, a azilului și a controlului la frontiere[25];

(viii) administrarea justiției și procesele democratice[26] (menite să ajute o autoritate judiciară în cercetarea și interpretarea faptelor și a legii, precum și în aplicarea legii la un set concret de fapte).

După cum se poate lesne observa, aceste domenii, precum și aplicațiilor lor vizează drepturi și libertăți fundamentale, iar, dacă am introduce și cerințele suplimentare ale CESE, preluate din Orientările în materie de etică pentru o inteligență artificială (IA) fiabilă[27], respectiv: (1) factorul uman (respectarea autonomiei umane presupune posibilitatea reală de a lua decizii informate cu privire la un sistem IA – similar art. 22 GDPR, ceea ce ar prepune și un consimțământ informat, dar AIA reprezintă lex specialis față de GDPR), (2) viața privată (accesul la date și integritatea datelor), (3) diversitatea, nediscriminarea și echitatea (bias-ul, consultarea părților interesate, accesibilitatea și proiectarea universală), (4) explicabilitatea (capacitatea de a explica atât procesele tehnice ale unui sistem IA, cât și deciziile umane asociate) și (5) bunăstarea socială și ecologică (societatea în general, alte ființe sensibile și mediul ar trebui să fie luate în considerare ca părți interesate pe toată durata ciclului de viață al IA), atunci cel mai probabil multe dintre tehnologiile IA nu ar putea fi lansate pe piață la acest moment al dezvoltării tehnologice fără a considera că încălcăm cu bună-știință drepturile omului ori chiar ar trebui interzise.

De altfel, nu este vorba numai despre capacitățile tehnice ale unor astfel de sisteme de a lua decizii cu privire la oameni, cât este vorba despre capacitățile oamenilor de a face o analiză critică a situației în care se află un om și de a nu-și fundamenta propriile decizii și acțiuni cu privire la ceilalți membri ai societății doar în baza a ceea ce astfel de sisteme au decis. În acest context se pune problema dacă mai există cu adevărat o decizie umană implicată într-un anumit caz ori dacă oamenii preiau informațiile livrate de un sistem IA ca fiind corecte, urmând a-și adapta comportamentul după acestea [bias de automatizare menționat și în art. 14 pct. 4 lit. (b) AIA față de care nu înțelegem cum ar putea oamenii „să rămână conștienți de posibila tendință de a se baza în mod automat sau excesiv pe rezultatele obținute de un sistem IA”], ducând la un risc sistemic al încălcării drepturilor fundamentale, mai cu seamă pentru că astfel de sisteme se alimentează și cu propriile erori.

De asemenea, tot cu grad de risc ridicat sunt încadrate și sistemele IA care îndeplinesc cumulativ cele 2 condiții din art. 6 pct. 1 AIA, respectiv să fie destinate a fi utilizate ca o componentă de siguranță a unui produs sau să fie ele însele produse ce intră în domeniile prevăzute în Anexa II[28], iar acel produs sau sistemul IA în sine ca produs trebuie să fie supus unei evaluări a conformității de către o terță parte în vederea introducerii pe piață sau a punerii în funcțiune a produsului respectiv în temeiul legislației de armonizare a Uniunii enumerate în Anexa II.

Potrivit art. 9 AIA, față de toate aceste sisteme IA de mare risc este obligatorie instituirea unui sistem de gestionare a riscurilor, care reprezintă un proces iterativ continuu, fiind instituite anumite cerințe obligatorii potrivit art. 10-15 AIA (datele și guvernanța datelor, documentația tehnică, păstrarea evidențelor, transparența și furnizarea de informații utilizatorilor, supravegherea umană și, nu în ultimul rând, acuratețea, robustețea și securitatea cibernetică).

Fiecare dintre cerințe merită o abordare separată și cu siguranță cerințele referitoare la date, menționate în cuprinsul art. 10 AIA, chiar o analiză extinsă[29], [30], tocmai pentru că nu este neapărat o reglementare care vizează algoritmii, ci mai mult o reglementare care vizează datele care alimentează algoritmii. Cu toate acestea, este important să remarcăm faptul că relevanța, reprezentativitatea, lipsa erorilor și obligativitatea de a fi complete seturile de date de antrenament, de validare și de testare reprezintă niște noțiuni ce mai degrabă vor fi tranșate de jurisprudență, deoarece cu siguranță aceste caracteristici nu pot fi privite în mod absolut, respectiv nu pot atinge nivelul maxim în cadrul sistemelor IA, chiar și sub presiunea sancțiunilor menționate la art. 71-72 AIA (de remarcat și diferența mare, nejustificată, între sancțiunile adresate instituțiilor, agenților și organelor UE și cele adresate celorlalți).

Alte puncte nevralgice sunt trasate, pe de o parte, de art. 13 AIA, deoarece se referă doar la transparența și furnizarea de informații către utilizatori, dar nu și către persoanele fizice vizate, și, pe de altă parte, de art. 14 AIA, care menționează faptul că printre măsurile ce întruchipează supravegherea umană trebuie permis persoanei respective să decidă să nu utilizeze sau să ignore, să anuleze sau să inverseze rezultatele sistemului IA „în orice situație specială” (ceea ce se traduce prin faptul că utilizarea sistemului IA ar deveni situația normală, iar neutilizarea sistemului IA ar trebui să constituie excepția determinată de o împrejurare extraordinară).

Printre sistemele IA cu grad de risc ridicat limitat sunt menționate în Titlul IV sistemele de recunoaștere a emoțiilor și sistemele biometrice de clasificare a persoanelor fizice, față de care există obligația de a informa persoanele fizice despre interacțiunea cu ele, cu excepția sistemelor IA autorizate prin lege pentru a detecta, a preveni, a investiga și a urmări penal infracțiunile, mai puțin în cazul în care aceste sisteme sunt disponibile publicului pentru a denunța o infracțiune. Interesant este că, în cazul deep fake-urilor, deși există obligația generală de a anunța că acel conținut este generat sau manipulat artificial, aceasta nu se aplică atunci când utilizarea este autorizată prin lege pentru a detecta, a preveni, a investiga și a urmări penal infracțiunile sau este necesară pentru exercitarea dreptului la libertatea de exprimare[31] și a dreptului la libertatea artelor și științelor[32] garantate în Carta drepturilor fundamentale a UE și sub rezerva unor garanții adecvate pentru drepturile și libertățile terților.

Prin urmare, din moment ce nu vom fi avertizați că un conținut este un deep fake, în temeiul numeroaselor excepții, se pare că se dorește intrarea într-o eră în care să nu mai cunoaștem ce este adevărat și ce este fals, fiind permisă dezinformarea în masă a populației care accesează din ce în ce mai multe surse online[33], iar nu cărțile din biblioteca fizică. În urma cercetărilor din domeniul psihologiei sociale, s-a fundamentat teoria că emoțiile influențează discernământul în evaluarea unui conținut, dacă este fals sau nu, cei care fabrică astfel de conținut urmărind tocmai stereotipiile și prejudecățile ce sunt validate[34], fiind îngrijorătoare mai ales pentru că vor fi distribuite cu precădere într-o bulă (echo chamber). De altfel, deși au fost dezvoltate aplicații anti-deep fake, se pare că nici acestea nu sunt infailibile, așa cum au demonstrat cercetătorii[35]. Mai mult, să înțelegem că ar fi acceptabilă provocarea unei persoane să comită o infracțiune printr-un deep fake realizat de organele de urmărire penală?

Apreciem că introducerea acestor excepții nu aduce niciun beneficiu unei societăți atât de predispuse circulației unor informații false pe baza cărora și-ar întemeia acțiunile și deciziile într-o mulțime de contexte și, prin urmare, ar trebui eliminate, deep fake-ul urmând a fi semnalizat corespunzător ori de câte ori este creat, în caz contrar utilizatorul răspunzând potrivit sancțiunilor prevăzute în AIA.

În final amintim că, în cadrul Conferinței „Regulation of Artificial Intelligence – Ethical and Fundamental Rights Aspects. European Union and International Perspective”[36] din 20 iulie 2021, au fost prezentate câteva exemple de sisteme IA pe care le redăm mai jos pentru a înțelege cu ce ne putem confrunta în lipsa reglementărilor stricte în domeniile vizate:

– un sunet inaudibil este redat în cabinele șoferilor de camion pentru a le maximiza eficiența tradusă în conducerea camionului pe distanțe mai lungi decât ar fi sănătos și sigur;

– o păpușă care conține un asistent vocal integrat încurajează un minor să se implice în jocuri distractive ce cuprind provocări pentru a antrena un comportament periculos;

– identificarea copiilor ce ar putea avea nevoie de îngrijire socială pe baza „comportamentului” social nesemnificativ sau irelevant al părinților, de exemplu, lipsă de la o programare la medic sau divorț.

În cadrul materialului „Elaborarea cadrului strategic național în domeniul inteligenței artificiale”[37] sunt prezentate alte exemple, pe care le redăm mai jos:

chat bots care dau sfaturi legate de diete cu potențial periculos, proiectați pentru a maximiza profitul agenților economici;

– aplicații proiectate pentru a induce adicție sau comportament compulsiv, mai ales în cazul copiilor (de exemplu, recompense aleatorii, trimiterea de notificări când aplicația nu este utilizată);

– robot medical proiectat să convingă persoanele în vârstă să respecte o anumită rutină zilnică, indiferent de voința persoanei vizate;

– autoritatea fiscală investighează posibile fraude ale unor persoane fizice pe baza unui sistem IA de analiză a datelor din alt context social, cum ar fi rețelele de socializare.

De asemenea, mai pot exista și sisteme IA predictive care nu au deloc un fundament științific sau relevanță statistică, cum ar fi predicția succesului la un loc de muncă pe baza tonului vocii sau a microexpresiilor, ordonarea CV-urilor pe baza unor metrici care includ și lungimea CV-ului etc.

3. Risc scăzut sau minim

Deși se precizează în expunerea de motive AIA că s-a optat numai pentru posibilitatea adoptării unor coduri de conduită în cazul unor astfel de sisteme deoarece „această opțiune menține costurile de asigurare a conformității la un nivel minim, evitând astfel o încetinire inutilă a gradului de asimilare din cauza prețurilor mai mari și a costurilor de asigurare a conformității”, apreciem că ar fi trebuit să fie instituite norme obligatorii de conformare la cerințe minimale și pentru acestea, tocmai pentru că în această categorie intră majoritatea sistemelor IA.

III. Drepturile și libertățile individuale și fundamentale afectate de tehnologiile IA

De la început trebuie să precizăm că nu ne putem gândi la vreun drept ori libertate fundamentală care să nu fie afectată prin utilizarea tehnologiilor ce folosesc sisteme IA, chiar dacă am selectat doar câteva spre a fi abordate în acest articol.

Sistemele IA reprezintă tehnologii sofisticate care operează în contexte sociale prin interacțiunea cu oamenii, alimentându-se cu datele furnizate de aceștia sau captate fără cunoștința oamenilor, precum și de mediul înconjurător, pentru a furniza niște rezultate. De altfel, este unanim acceptat în doctrina de referință faptul că astfel de sisteme, pe lângă faptul că preiau din personalitatea creatorilor lor, folosind tehnologii pe care numai anumite state sau entități private și le permit din punct de vedere material, ceea ce duce la o formă de cartel tehnologic, ajung să se dezvolte într-un mediu necontrolat și să genereze astfel rezultate care pot fi diferite de cele pe care ni le-am dori.

După ce în 2019 au fost expuse Recomandările OCDE în domeniul IA[38], precum și Principiile facultative ale G20 în domeniul IA[39], în decembrie 2020 Comitetul ad-hoc pentru inteligență artificială al Consiliului Europei (CAHAI)[40] a stabilit 9 principii și priorități de care trebuie să țină cont reglementările în domeniu, respectiv: (1) demnitatea umană, (2) libertatea umană și autonomia, (3) prevenirea vătămării, (4) nediscriminarea, egalitatea de gen, echitatea și diversitatea, (5) transparența și explicabilitatea sistemelor IA, (6) protecția datelor și dreptul la viață privată, (7) răspunderea și responsabilitatea, (8) democrația și (9) statul de drept[41].

În acest context, Rezoluția Parlamentului European din 6 octombrie 2021 referitoare la inteligența artificială în dreptul penal și utilizarea sa de către autoritățile polițienești și judiciare în procedurile penale[42] tratează, pe lângă aspectele prezentate în acest articol, și următoarele chestiuni ce merită subliniate:

– asimetria de putere între cei care utilizează sistemele IA și cei care sunt vizați de ele;

– autoritățile judiciare se vor plasa la umbra autorității acestor sisteme IA (bias de automatizare) într-un mod pe care e posibil să nu-l conștientizeze, în contextul în care decizia care produce efecte juridice va fi luată de către om[43];

– se impune statelor membre să precizeze dacă utilizează tehnologia Clearview AI[44], [45] sau tehnologii echivalente[46], având în vedere că, în opinia Comitetului European pentru Protecția Datelor (CEPD), această utilizare încalcă regimul UE privind protecția datelor. De asemenea, proiectul iBorderCtrl[47] dezvoltat în cadrul programului Orizont 2020, un „sistem inteligent de detectare a minciunilor” care întocmește profilul călătorilor pe baza unui interviu automatizat luat prin cameră web călătorului înainte de deplasare și a unei analize bazate pe inteligență artificială a 38 de microgesturi, testat în Ungaria, Letonia și Grecia, intră în atenția Parlamentului European, care solicită interdicția supravegherii în masă a populației în spațiile publice;

– se solicită adoptarea unui moratoriu cu privire la sistemele de recunoaștere facială pentru identificare în scopuri de aplicare a legii, cu excepția utilizării pentru identificarea victimelor infracțiunilor, având în vedere că rezultatele acestor sisteme nu sunt în prezent imparțiale și nediscriminatorii, iar cadrul juridic nu oferă garanții stricte împotriva utilizării abuzive, precum și supravegherea și controlul strict și un control și o supraveghere democratice stricte și există dovezi empirice ale necesității și proporționalității introducerii unor astfel de tehnologii. În acest sens, nu se dorește extinderea Deciziei Prüm[48], de la ADN și amprente la recunoaștere facială, până ce nu s-ar face dovada faptului că reprezintă cu adevărat un mijloc de probă fiabil din punct de vedere criminalistic.

Astfel, în domeniul dreptului la viață privată, există sisteme biometrice (de recunoaștere facială sau corporală, de clasificare a persoanelor, de evaluare a comportamentului sau emoțiilor) ce produc un grad nepermis de intruziune, pe care îl apreciem ca nefiind necesar într-o societate democratică și care depășește criteriul proporționalității ingerinței. Importanța este dată de modificările comportamentale survenite ca urmare a acestei intruziuni, așa numitul „efect panopticon” despre care vorbea M. Foucault[49] că duce la o formă de uniformizare a societății, această structură fiind descrisă anterior și de Jeremy Bentham. „Această manieră specială de aranjament spațial înseamnă expunerea individului la o maximă vizibilitate, ceea ce determină apariția unei noi forme de practică disciplinară internalizată: persoana este obligată să se comporte ca şi când ar fi supravegheată continuu, chiar dacă acest lucru nu se întâmplă mereu. Individul aflat în panopticon este obligat să internalizeze «privirea» (le regard) disciplinară astfel încât «cel care este captiv într-un câmp de vizibilitate şi care ştie acest lucru, îşi asumă el însuşi responsabilitatea pentru constrângerile puterii; el le face să acționeze în mod spontan asupra sieşi; el înscrie în el însuşi relația de putere în care joacă simultan ambele roluri; el devine principiul propriei sale supuneri». Astfel ia naştere o formă nouă a puterii: în loc ca aceasta să fie exercitată în mod real, direct asupra corpului victimei, de către instituția care deține autoritatea, acum individul însuşi joacă ambele roluri, iar opresorul poate foarte bine să fie absent, deoarece prizonierul a internalizat atât de bine codul comportamental impus, încât se poartă ca şi când supraveghetorul ar fi mereu de față”[50]. Aceste efecte se reverberează, bineînțeles, și asupra libertății de exprimare, dreptul la demnitate umană, inclusiv sub forma obiectivării persoanei, precum și a libertății de întrunire și asociere, cu impact direct și asupra acțiunilor politice.

Până acum, jurisprudența s-a concentrat mai degrabă pe încălcarea prevederilor privind protecția datelor cu caracter personal în temeiul GDPR. În 2020 lanțul de magazine Mercadona din Spania a început utilizarea în cele 48 de magazine ale sale a unui sistem de recunoaștere facială pentru a identifica „persoanele cu ordin de restricție și a celor cu cazier”. Investigația Agenției Spaniole pentru Protecția Datelor (AEPD) a condus la data de 26 iulie 2021 la amendarea Mercadona cu 2.252.000 EUR, deoarece identificarea facială s-a efectuat pentru toate persoanele aflate în magazine (clienți, angajați, copii) fără un temei juridic suficient pentru prelucrarea datelor, fără o evaluare a impactului asupra protecției datelor (DPIA – Data Protection Impact Assessment), cu prelucrarea ilegală a datelor personale cu caracter sensibil, precum și încălcarea principiilor minimizării datelor, proporționalității și necesității[51]. Într-o școală din Suedia s-a implementat un software de recunoaștere facială pentru monitorizarea prezenței elevilor la școală, dar Autoritatea suedeză pentru protecția vieții private a stabilit, printre alte încălcări, că există și alte metode mai puțin intruzive prin care scopul poate fi atins [art. 5 alin. (1) lit. b) și c) GDPR], iar consimțământul elevilor de a participa la acest proiect pilot este viciat, fiind stabilit într-un raport inegal între școală și elev[52], [53].

Pe data de 30 aprilie 2021 a fost publicat Ghidul privind jurisprudența CEDO în materia protecției datelor[54] ce cuprinde un capitol referitor la provocările antrenate de noile tehnologii și Inteligența Artificială, dar cu siguranță jurisprudența în materie va cunoaște o dezvoltare mai amplă în viitor[55], în prezent fiind tratată într-o serie limitată de cauze problematica sistemelor de recunoaștere facială, pe care, interesant de observat, nu o abordează într-o manieră atât de restrictivă pe cât ne-am dori, adică măcar la nivelul din Rezoluția PE din 6 octombrie 2021.

În domeniul justiției penale trebuie să avem în vedere anumite aspecte care sunt relevate în doctrina de profil și care reprezintă teme de reflecție[56] asupra limitelor capabilităților sistemelor IA. În măsura în care le acordăm o încredere mai mare decât puterea acestora de a ne susține efectiv în investigație și condamnare, vom avea mai multe riscuri decât beneficii sau, altfel spus, beneficiile[57] pe care le vom vedea vor fi dintr-o aruncătură de zar, un simplu noroc. Aceste teme de reflecție pot fi structurate astfel:

(i) prin exploatarea datelor prin sisteme IA, din care rezultă anumite corelații între acestea, nu înseamnă că am găsit și relația cauzală între fapte și rezultate, sau, oricum, această relație cauzală nu poate fi dovedită științific decât prin metode tradiționale, astfel încât sistemul IA nu ar veni decât ca o confirmare a unei metode științifice prin care se ajunge la aceeași concluzie;

(ii) mitul adevărului obiectiv cu privire la trecut, în condițiile în care sistemele judiciare funcționează pe baza adevărului judiciar ori condamnării atunci când din probele administrate rezultă dincolo de orice îndoială rezonabilă fapta, că aceasta reprezintă infracțiune și că a fost comisă de către inculpat. Care este marja de apreciere a unui sistem IA atunci când va trebui să răstoarne prezumția de nevinovăție având în vedere că îndoiala în formarea convingerii asupra vinovăției se interpretează în favoarea suspectului sau inculpatului?

(iii) relația între dreptul penal și criminologie, în condițiile în care se utilizează resursele din cazierul judiciar, ce ar putea reprezenta date incomplete în sensul AIA, și criminalitatea latentă. Criminalitatea latentă acționează în acest caz ca un black box din moment ce nu pot fi extrase date din această zonă și nu poate fi reprezentată fidel realitatea criminalității. Acest aspect conduce și la un efect de buclă, convergând la investigarea și condamnarea sporită numai pe anumite paliere unde și există date suficiente raportate[58];

(iv) problemele relevate de limitele de interpretare ale limbajului natural[59], care conduc la imposibilitatea coexistenței sistemului de valori matematice ale IA și sistemului de valori specific umane, pentru care este nevoie întotdeauna de un „traducător”, în persoana avocatului, procurorului și, în final, judecătorului;

(v) utilizarea unor astfel de sisteme IA care ar permite luarea deciziilor de condamnare înseamnă înlocuirea riscului produs de subiectivismul uman al judecătorului (noțiune diferită de subiectivismul judiciar, care permite conceptualizarea bunei-credințe, echității, a tuturor drepturilor și libertăților fundamentale), care presupune ca emoțiile să afecteze luarea deciziilor, cu riscul produs de logica brută a algoritmului, ce nu se poate încadra în peisajul subiectivismului judiciar din motive evidente;

(vi) din moment ce „hrănim” sistemele IA cu deciziile judiciare luate până acum de oameni, înseamnă că le acordăm prezumția irefragabilă că aceste decizii sunt corecte. În condițiile existenței unor erori judiciare care nu au fost dovedite, dar pe care le acceptăm ca realități dacă este să fim rezonabili, acestea vor intra în acest efect de buclă, generând mai departe riscuri sistemice. 

IV. Modalități tehnice de contracarare a impactului negativ al tehnologiilor IA

Învățarea automată este eficace în analiza statistică a datelor. Practic, datele sunt torturate de către algoritmi care întreabă „Ce ascundeți? Ce ascundeți?”, iar în urma torturii, datele mărturisesc. Problema este ca, dacă sunt torturate de către un algoritm care se numește arbore de decizie (decision tree), datele mărturisesc ceva. Dacă sunt torturate de către o mașină cu suport vectorial (support vector machine), datele mărturisesc altceva. Dacă sunt torturate de către o rețea neurală artificială, mărturisesc altceva. Și nu știm care mărturie este cea corectă. Mai mult, majoritatea metodelor sunt de tipul black box, sunt opace, iar modelele învățate ating miliarde de parametri, așa că nimeni nu poate garanta ce se întâmplă în spate. Ne putem imagina următorul dialog între un agent uman și un sistem IA:

– Am decis că în această imagine este un pieton.

– Cum ai făcut asta?

– Nu pot să spun.

Împotriva acestor două practici – torturarea datelor și lipsa transparenței – în IA s-a depus o moțiune de cenzură împotriva Deep Learning. Moțiunea se numește Explainable AI (XAI) și urmărește să asigure explicabilitate, transparență și încredere în algoritmi.

Modalitățile de micșorare a riscurilor asociate aplicațiilor IA includ o paletă largă de instrumente, dintre care amintim cinci dimensiuni care presupun utilizarea: (1) standarde pentru IA; (2) metode de audit intern; (3) metode de inginerie software în IA, (4) spații de testare în materie de reglementare, (5) metrici de evaluarea a biasului și a algoritmilor de micșorare a acestuia.

1. Standarde emergente în IA

Un număr de 50 de standarde în domeniul IA sunt în curs de elaborare[60]. În UE standardele dezvoltate de Comitetul European de Standardizare (CEN), Comitetul European de Standardizare în domeniul Electrotehnic (CENELEC) și Institutul European de Standarde în Telecomunicații (ETSI) sunt recunoscute ca standarde europene[61]. Standardele de bază, precum ISO/IEC DIS 22989[62], descriu terminologia de bază a domeniului și sunt utilizate în dezvoltarea de standarde funcționale care vizează aspecte tehnice. Standardele orizontale se aplică în mai multe arii din domeniul IA, precum SO/IEC AWI TR 24372[63], care cuprinde caracteristicile computaționale ale sistemelor IA, precum și algoritmii utilizați sau cazurile de utilizare ale acestora. Standardele verticale privesc sectoare specifice, precum ETSI DES/eHEALTH-008[64], care specifică cerințele pentru înregistrarea și utilizarea datelor medicale. Din perspectiva AIA, standardele în domeniul IA trebuie să aibă în vedere nouă dimensiuni: (1) datele și guvernanța datelor – de exemplu, ISO/IEC 24029-1, ETSI SAI 005; (2) documentația tehnică – de exemplu, SO/IEC 23894.2; (3) păstrarea înregistrărilor – de exemplu, ISO/IEC 23894.2; (4) transparența și furnizarea de informații utilizatorilor – de exemplu, ISO/IEC 24028; (5) supravegherea umană – de exemplu, ISO/IEC 23894.2; (6) acuratețea, robustețea și securitatea – de exemplu, ISO/IEC 24029-1; (7) sistemul de gestiune a riscurilor – de exemplu, ISO/IEC 5338; (8) sistemul de gestiune a calității – de exemplu, SO/IEC 24029-1. Majoritatea standardelor aflate în dezvoltare se referă la testarea sistemelor bazate pe IA, de exemplu, ISO/IEC TR 29119-11, ISO/IEC AWI 25059, care specifică cerințe pentru modele de calitate ale sistemelor de IA, sau ISO/IEC TS 4213, care specifică metodele de evaluare a performanțelor sistemelor bazate pe învățarea automată. Deși aflate în stare incipientă de dezvoltare, standardele care vizează sistemele bazate pe IA vor fi un motor pentru asigurarea calității în domeniul IA. 

2. Metode de audit intern

Cadrul de audit SMACTR (Scoping, Mapping, Artifact Collection, Testing, Reflection) este o metodă de audit intern care se bazează pe un set de 15 documente care sunt produse de auditor și de echipele de dezvoltare[65]. Unul dintre aceste documente este „Evaluarea impactului social” și are scopul de a analiza modul în care sistemul de IA afectează populația sau comunitățile. Un alt document este „Fișa modelului” care include informații despre cum a fost construit modelul sau care au fost premisele. „Fișa modelului” vine în completarea „Fișei setului de date” care include și informații legate de modul de colectare a datelor și aspecte etice. Sistemele IA sunt testate de auditori pentru semnalizarea vulnerabilităților, inclusiv prin testare adversarială (care simulează comportamentul unui utilizator ostil) sau testare non-statistică (prin selectarea testelor relevante pe baza experienței auditorului și nu statistic). Comparativ cu metoda SMACTR, AIA cere ca aplicațiile IA clasificate ca având risc ridicat să fie însoțite de un singur document tehnic, pentru a ușura procesul de verificare a conformității. SMACTR este o metodă de audit intern, iar certificarea aplicațiilor IA cu risc ridicat se va face în centre independente de evaluarea conformității.

 3. Metode de inginerie software în IA

Metoda CRISP-DM[66] este utilizată în sistemele care explorează date. Sunt vizate aspecte legate de pregătirea datelor (de exemplu, care sunt criteriile de includere sau excludere, cum se asigură calitatea datelor) sau aspecte legate de modelare (de exemplu, explicarea fiecărei decizii de proiectare). 

4. Spații de testare în materie de reglementare[67]

Aceste spații reprezintă un instrument de micșorare a riscurilor asociate sistemelor IA, medii controlate pentru testarea în condiții reale a aplicațiilor bazate pe IA. Spațiile de experimentare a tehnologiilor și reglementările aferente acestora sunt caracterizate prin faptul că[68]:

– reprezintă zone de testare, stabilite pentru o perioadă limitată, într-o zonă limitată în care tehnologiile inovatoare sau modele de business inovatoare pot fi testate;

– experimentele prevăzute sunt controlate prin „clauze de experimentare”;

– focusul nu e doar pe produsul inovativ, ci și pe identificarea legislației care ar trebui actualizată pentru a acoperi introducerea pe piață a produsului inovativ.

Un obiectiv al spațiului de reglementare este de a identifica barierele juridice care pot bloca introducerea produsului sau serviciului inovativ pe piață[69]. Dacă produsul inovativ nu se încadrează în reglementările existente, se definesc clauze de experimentare[70]. Acestea pot fi sub forma unor excepții de la o prohibiție, a unui aviz necesar sau pentru furnizarea unei documentații. Se pot defini noi tipuri de clauze pentru experimente sau se recomandă modificarea experimentului pentru a se încadra în tipul de excepții practicat. Clauzele de experimentare urmăresc furnizarea de „zone de respirație” pentru dezvoltatorii care au nevoie de a testa noi sisteme IA în condiții similare cu mediul real. Pentru facilitarea spațiilor de experimentare este util ca mai multe legi, în sens larg, să specifice explicit posibilitatea de utilizare a clauzelor de experimentare în contextul acestor spații.

Astfel, spațiile de testare în materie de reglementare nu au rolul doar de a testa tehnologii, ci vizează în egală măsură abordări de co-reglementare care urmăresc (i) permiterea experimentării pentru a înțelege mai bine efectele sistemelor IA și (ii) a oferi medii controlate pentru a reglementa introducerea pe piață a produselor inovative bazate pe IA. 

5. Metrici de evaluare a biasului și algoritmi de micșorare a acestuia

În sistemele bazate pe învățare automată, biasul are mai multe forme: (i) bias introdus de distribuția datelor disponibile pentru antrenament, care nu respectă distribuția datelor din realitate; (ii) bias de eșantionare, în care o populație este subreprezentată sau suprareprezentată[71] în datele de antrenament (de exemplu, aplicație de ordonare a CV-urilor antrenată cu date în care sunt mai mulți candidați bărbați); (iii) bias de etichetare, în care persoanele care etichetează datele de antrenament nu reprezintă un grup divers și, astfel, introduc propriile prejudecăți în datele etichetate; (iv) bias de proxy, în care sunt utilizate atribute care nu au legătură directă cu categoria învățată (de exemplu, aplicație de selecție a candidaților, care ia în calcul și lungimea CV-ului); (v) bias de gen (de exemplu, algoritm de recrutare care analizează CV-urile și acordă în mod consecvent scor mai mic femeilor); (vi) bias de rasă (de exemplu, întâlnit în aplicații de recunoaștere facială sau aplicația COMPAS folosită în sistemul de justiție din SUA pentru a prezice riscul de recidivism și care producea pentru persoanele de culoare de două ori mai multe etichetări „high-risk” în situații în care nu au existat ulterior recidive). Tehnic, eliminarea din setul de date a atributelor protejate (de exemplu, rasă, vârstă, gen) nu este suficientă: pot rămâne atribute corelate puternic cu cele eliminate (de exemplu, codul zip, în unele cazuri, este un indicator relevant pentru rasă).

La aceste biasuri tehnice se adaugă și biasurile care apar prin interacțiunea cu agentul uman. De exemplu, biasul de automatizare sau biasul de confirmare reprezintă accepțiuni psihologice de a valida mult mai ușor ipoteze și rezultate care sunt emise de sistemele bazate pe IA. S-a constatat că deciziile recomandate de aplicațiile IA sunt acceptate în aproape toate cazurile de către agentul uman. Acest tip de bias cognitiv a fost constatat la diferite categorii profesionale: piloți de avion, judecători, medici[72].

O consecință a acestor biasuri o reprezintă atrofierea abilităților persoanelor care interacționează și își bazează deciziile pe aplicații IA (de exemplu, de-skilling, hyper-nudging). Pentru evitarea biasului de confirmare în domeniul medical, sunt două posibile soluții: (i) utilizatorii unui sistem de diagnostic medical să fie informați continuu că sistemul IA este setat să dea un diagnostic cu totul aleatoriu într-un număr de 10% din cazuri. Astfel, se elimină tendința de conformare cu diagnosticul furnizat de aplicația IA; (ii) stabilirea unui protocol de diagnostic om-mașină în care diagnosticul este dat întâi de agentul uman, apoi de aplicația IA.

Pe lângă drepturile fundamentale, apar și drepturi noi în contextul dezvoltării domeniului IA, după modelul deja existent în GDPR, cum ar fi: (i) dreptul la explicație, dacă o decizie s-a realizat pe baza unui sistem IA; (ii) dreptul la informare, în cazul interacțiunii cu un sistem bazat pe IA; (iii) dreptul la acces și utilizarea datelor personale (eventual pe linia data-wallet pe care îl va avea fiecare persoană). Ca urmare, se dezvoltă acum metrici de evaluare a capacității de explicare a unui sistem IA, respectiv pentru evaluarea impactului algoritmilor asupra drepturilor fundamentale. De exemplu, sistemele de decizie automate din administrația publică ar putea avea scorurile pentru Algorithmic Impact Assessment (AIA) și Human Rights Impact Assessments (HRIA) făcute publice[73].

O modalitate de contracarare a riscurilor asociate IA este încurajarea tehnologiilor din IA capabile să ofere explicații. În contextul XAI s-au dezvoltat o serie de unelte care urmăresc furnizarea de explicații despre cum agentul software a ajuns la o anumită concluzie sau decizie: Captum (o bibliotecă cu unelte de interpretabilitate și înțelegere a modelelor, dezvoltată de Facebook), ELI5 („Explain it like I’m 5”), care explică importanța trăsăturilor în modele și asigură interpretabilitate pentru predicțiile pe imagini), Deep Visualization Toolbox (o colecție de tehnici de vizualizare la nivel de neuron pentru rețele adânci, care încearcă să evidențieze ceea ce „vede” un neuron), IBM XAI 360 (furnizează algoritmi și metrici de explicabilitate), eXplainableAI (bibliotecă pusă la dispoziție de EthicalML Institute pentru evaluarea datelor și a modelelor obținute prin învățarea automată), WhatIf (pentru explicații contrafactuale), Cleverhans (pentru identificarea vulnerabilităților sistemelor bazate pe învățarea automată prin utilizarea de exemple adversariale) și multe alte astfel de unelte[74].

Complementar uneltelor care furnizează explicații, se dezvoltă de asemenea tehnologii care vizează echitatea și eliminarea prejudecăților (biasului) existente în sistemele IA: AIF360 (furnizează 77 metrici pentru evaluarea biasului în date și modelele învățate, respectiv 10 algoritmi de micșorare a acestuia[75]), GEBI (Global Explanations for Bias Identification – pentru identificarea biasului și verificarea impactului acestuia asupra modelului de predicție), Responsibly (unealtă pentru auditarea biasului în învățarea automată și corectarea acestuia prin algoritmi)[76].

IA și-a pierdut inocența: exemplele mediatizate precum COMPAS[77] sau sistemul de recrutare de la Amazon[78] reprezintă doar vârful aisbergului – catalogul incidentelor provocate de aplicații IA conținea în februarie 2022 un număr de 1.200 de astfel de incidente[79]. Modalitățile tehnice de contracarare a impactului negativ al tehnologiilor IA includ unelte pe linia XAI și AI Fairness. Utilizarea doar a metricilor de evaluare a performanțelor sistemului IA (de exemplu, acuratețea, precizia, senzitivitatea) nu mai sunt suficiente: eliminarea biasului și asigurarea transparenței trebuie să fie asociate oricărui sistem IA. Astfel de unelte și metrici reprezintă doar o rotiță în întreprinderea de a asigura încredere în IA. Ele vin în conjuncție cu măsuri procedurale precum auditul intern (de exemplu, SMACTR), cu metode de inginerie software în IA (de exemplu, CRISP-DM) sau cu respectarea standardelor care acum se dezvoltă pentru IA. În plus, utilizarea spațiilor de testare în materie de reglementare sau evaluarea conformității aplicațiilor considerate cu risc ridicat sunt instrumente care vor ajuta domeniul Inteligenței Artificiale să treacă de la libertatea adolescenței la responsabilitatea necesară unui domeniu care va avea un impact atât de mare în societate.

 V. Concluzii

Citatul din Sun Tzu nu dorește a trezi în conștiința omenirii o perspectivă beligerantă asupra Inteligenței Artificiale, ci perspectiva precauției, amintită și în „Povestea neterminată a rândunicilor”[80] (pentru că nu are un final scris), în care rândunicile, plângându-se că sunt mici și neajutorate, se gândesc cât de ușoară ar fi viața lor dacă ar avea o bufniță (prădător natural al rândunicilor) care să le sprijine în activitățile zilnice; numai o rândunică se întreabă dacă, înainte să aducă o astfel de vietate printre ele, nu ar trebui să afle cum se domesticește, în timp ce alta îi răspunde că oricum ea se domesticește foarte greu și probabil va fi dificil chiar să găsească și un ou de bufniță așa că să înceapă de aici și apoi, când va crește, se vor lămuri ele și cum poate fi domesticită. La fel ca rândunicile care au rămas în cuib să găsească soluții de domesticire până se întorc celelalte cu un ou de bufniță, la fel și noi ne-am propus ca, deși necunoscând toate potențialele efecte, dar intuindu-le în parte, să încercăm să protejăm „cuibul” omenirii, fără a pierde toate beneficiile pe care astfel de sisteme IA le presupun.

Notă: Articolul a fost publicat în revista Curierul Judiciar nr. 2/2022, apărut în martie 2022, dedicat domeniului Inteligenței Artificiale și coordonat de Silvia Uscov. Autorii mulțumesc Editurii C.H.Beck pentru acordul de a republica articolul pe Juridice.ro


[1] Propunere de Regulament al Parlamentului European și al Consiliului de stabilire a unor norme armonizate privind Inteligența Artificială (Legea privind Inteligența Artificială) și de modificare a anumitor acte legislative ale Uniuni, COM (2021) 206 final, 2021/0106/COD, Bruxelles, 21.04.2021 (https://eur-lex.europa.eu/legal-content/RO/TXT/?uri=CELEX:52021PC0206).
[2] Avizul Comitetului Economic și Social European privind Propunerea de regulament al Parlamentului European și al Consiliului de stabilire a unor norme armonizate privind inteligența artificială (Legea privind Inteligența Artificială) și de modificare a anumitor acte legislative, p. 61-66 (JO C517, 22.12.2021) (https://eur-lex.europa.eu/legal-content/RO/ALL/?uri=CELEX:52021AE2482).
[3] (https://data.consilium.europa.eu/doc/document/ST-14278-2021-INIT/en/pdf)
[4] G. Colang, Dimensiuni și perspective etice asupra barbariei actuale, Ed. Eikon, București, 2018, p. 61.
[5] Regulamentul (UE) 2016/679 al Parlamentului European și al Consiliului din 27 aprilie 2016 privind protecția persoanelor fizice în ceea ce privește prelucrarea datelor cu caracter personal și privind libera circulație a acestor date și de abrogare a Directivei 95/46/CE (JO L 119, 4.05.2016), (https://eur-lex.europa.eu/legal-content/RO/TXT/?uri=CELEX%3A02016R0679-20160504).
[6] „Motivul subiacent este că IA poate genera riscuri nu numai atunci când este utilizată sub formă de componente de siguranță ale acestor produse și că sistemul de IA în sine nu este întotdeauna un produs. Un exemplu în acest sens este utilizarea sa ca parte a unui instrument de diagnostic sau de prognostic în domeniul medical sau a unui termostat acționat de IA care reglează un cazan” (pct. 4.12 din Aviz).
[7] S. Ruch, M.A. Züst, K. Henke, Subliminal messages exert long-term effects on decision-making, Neuroscience of Consciousness, Vol. 2016, Issue 1, 2016, niw013 (https://doi.org/10.1093/nc/niw013).
[8] „CESE recomandă clarificarea interdicțiilor privind «tehnicile subliminale» și «exploatarea vulnerabilităților», astfel încât să reflecte interzicerea manipulărilor dăunătoare, recomandând totodată și adăugarea «prejudiciilor aduse drepturilor fundamentale, democrației și statului de drept», cu titlu de condiții pentru aceste interdicții” [pct. 1.5 din Aviz]
[9] „Pentru a surprinde ceea ce AIA intenționează să interzică la articolul 5 alineatul (1) litera (a), și anume manipularea persoanelor, astfel încât acestea să adopte un comportament prejudiciabil, CESE recomandă modificarea alineatului după cum urmează: «(…) un sistem de IA implementat, destinat sau utilizat pentru a denatura în mod semnificativ comportamentul unei persoane într-un mod care aduce sau ar putea aduce prejudicii drepturilor fundamentale ale persoanei respective, ale altor persoane sau grupuri de persoane, inclusiv sănătății și siguranței lor fizice sau psihologice, sau democrației sau statului de drept»” [pct. 4.3 din Aviz].
[10] T. Burri, F. von Bothmer, The New EU Legislation on Artificial Intelligence: A Primer, 2021 (https://ssrn.com/abstract=3831424).
[11] S. Hänold, Profiling and Automated Decision-Making: Legal Implications and Shortcomings, Perspectives in Law, Business and Innovation, în M. Corrales, M. Fenwick, N. Forgó (eds.), Robotics, AI and the Future of Law, Springer, 2018, p. 123-153.
[12] „Dacă acest lucru ar fi permis, UE ar deschide calea către autorizarea evaluării comportamentului social în numeroase alte domenii, de exemplu la locul de muncă. Condițiile de la punctele (i) și (ii) ar trebui clarificate astfel încât să se stabilească o linie clară între ceea ce se consideră a fi o „evaluare a comportamentului social” și ceea ce poate fi considerat o formă acceptabilă de evaluare într-un anumit scop, cu alte cuvinte să se stabilească momentul în care informațiile utilizate pentru evaluare nu ar mai fi considerate relevante sau legate în mod rezonabil de obiectivul evaluării” [pct. 4.5 din Aviz].
„(17) Sistemele de IA care oferă o evaluare a comportamentului social al persoanelor fizice în scopuri generale de către autoritățile publice sau în numele acestora pot genera rezultate discriminatorii și excluderea anumitor grupuri. Acestea pot încălca dreptul la demnitate și nediscriminare, precum și valorile egalității și justiției. Astfel de sisteme de IA evaluează sau clasifică credibilitatea persoanelor fizice pe baza comportamentului lor social în contexte multiple sau a unor caracteristici personale sau de personalitate cunoscute sau preconizate. Punctajul privind comportamentul social obținut din astfel de sisteme de IA poate duce la un tratament negativ sau nefavorabil al persoanelor fizice sau al unor grupuri întregi de astfel de persoane în contexte sociale care nu au legătură cu contextul în care datele au fost inițial generate sau colectate sau la un tratament defavorabil care este disproporționat sau nejustificat în raport cu gravitatea comportamentului lor social. Prin urmare, astfel de sisteme de IA ar trebui interzise” [considerentul (17) din Preambul AIA].
[13] W.R.M. Long, F. Blythe, EU Council Publishes Changes to Artificial Intelligence Act Proposal, 2022: „Interesant este că Legea (se referă la AIA – n.n.) face o distincție între scorul social și «practicile legale de evaluare a persoanelor fizice» – permițând acestea din urmă. La rândul său, în principiu, utilizarea IA pentru prelucrarea informațiilor financiare ale unei persoane pentru a stabili eligibilitatea acesteia pentru polițele de asigurare poate fi permisă, deși acesta este un domeniu care, conform Legii, merită o atenție specială și este «de risc ridicat» din cauza «consecințelor grave» și potențialului de «excluziune financiară și discriminare»”, (https://www.lexology.com/library/detail.aspx?g=717f0c32-2043-4315-ba61-9f181ace3e50).
[14] A se vedea E. Lazăr, Utilizarea IA și a noilor tehnologii în detrimentul cetățenilor. Sistemul de credit social chinez, în Curierul Judiciar nr. 9/2021, p. 535-540.
[15] „De asemenea, este permisă recunoașterea biometrică care nu vizează identificarea unei persoane, ci mai degrabă evaluarea comportamentului unei persoane pe baza caracteristicilor sale biometrice (microexpresii, mers, temperatură, frecvență cardiacă etc.). Limitarea la «asigurarea respectării legii» permite identificarea biometrică, precum și toate celelalte forme de recunoaștere biometrică care nu vizează identificarea unei persoane, inclusiv toate formele menționate de «recunoaștere a emoțiilor» în toate celelalte scopuri, de către toți ceilalți actori, în toate locurile publice și private, inclusiv la locul de muncă, în magazine, pe stadioane, în teatre etc. Acest lucru lasă calea deschisă unei lumi în care suntem în permanență «evaluați emoțional» în orice scop considerat necesar de actorul care efectuează evaluarea” [pct. 4.6 din Aviz].
[16] „Raliindu-se, în linii mari, apelului lansat de AEPD și CEPD la 21 iunie 2021 privind interzicerea utilizării IA pentru recunoașterea automată a caracteristicilor umane în spațiile accesibile publicului, precum și a altor utilizări ale IA care pot duce la o discriminare injustă, CESE solicită:
– interzicerea utilizării IA pentru recunoașterea biometrică automată în spațiile accesibile publicului, atât publice, cât și private (cum ar fi recunoașterea fețelor, a mersului, a vocii și a altor caracteristici biometrice), cu excepția scopurilor de autentificare în circumstanțe specifice (de exemplu, pentru a asigura accesul la spații sensibile din punctul de vedere al securității);
– interzicerea utilizării IA în spațiile accesibile publicului, atât publice, cât și private, pentru recunoașterea automată a semnalelor comportamentale umane;
– interzicerea sistemelor de IA care utilizează date biometrice pentru a clasifica persoanele în clustere pe baza etniei, a genului, a orientării politice sau sexuale sau a altor motive pentru care discriminarea este interzisă în conformitate cu art. 21 din Carta drepturilor fundamentale;
– interzicerea utilizării IA pentru a deduce emoțiile, comportamentul, intențiile sau trăsăturile unei persoane fizice, cu excepția unor cazuri specifice, precum unele scopuri legate de sănătate, în care recunoașterea emoțiilor pacienților este importantă” [pct. 4.8 din Aviz].
[17] Y. Zhou, T. Kornher, J. Mohnke, M.H. Fischer, Tactile Interaction with a Humanoid Robot: Effects on Physiology and Subjective Impressions, International Journal of Social Robotics 13, 1657-1677 (2021) (https://doi.org/10.1007/s12369-021-00749-x).
[18] F. Manzi, D. Massaro, D. Di Lernia, M.A. Maggioni, G. Riva, A. Marchetti, Robots Are Not All the Same: Young Adults’ Expectations, Attitudes, and Mental Attribution to Two Humanoid Social Robots, Cyberpsychology, Behavior, and Social Networking, Vol. 24, No. 5, p. 307-314 (http://doi.org/10.1089/cyber.2020.0162).
[19] S. Marchesi, N. Spatola, J. Perez-Osorio, A. Wykowska, Human vs Humanoid. A Behavioral Investigation of the Individual Tendency to Adopt the Intentional Stance, Proceedings of the 2021 ACM/IEEE International Conference on Human-Robot Interaction (HRI ’21), p. 332-340 (https://doi.org/10.1145/3434073.3444663).
[20] D. Nersessian, R. Mancha, From Automation to Autonomy: Legal and Ethical Responsibility Gaps in Artificial Intelligence Innovation, Michigan Telecommunications and Technology Law Review, Vol. 27, No. 55, 2020 (http://dx.doi.org/10.2139/ssrn.3789582).
[21] S. Uscov, O lume fără avocați și drepturile SupraOmului, 6.05.2020
[22] D.R.S. Almeida, K. Shmarko, E. Lomas, The Ethics of Facial Recognition Technologies, Surveillance and Accountability in an Age of Artificial Intelligence: A Comparative Analysis of USA, EU and UK Regulatory Frameworks (http://dx.doi.org/10.2139/ssrn.3878867).
[23] A. Aloisi, E. Gramano, Artificial Intelligence Is Watching You at Work. Digital Surveillance, Employee Monitoring, and Regulatory Issues in the EU Context, Special Issue of Comparative Labor Law & Policy Journal, Vol. 41, No. 1, p. 95-121 (https://ssrn.com/abstract=3399548).
[24] CESE recomandă extinderea domeniului de la acces la însăși eligibilitatea pentru astfel de servicii
[25] CESE afirmă că există un „risc de prejudiciere a prezumției de nevinovăție, a dreptului la apărare și a dreptului la azil prevăzute în Carta UE. Sistemele de IA, în general, caută doar corelații care se bazează pe caracteristicile găsite în alte «cazuri». Suspiciunea în aceste cazuri nu se bazează pe suspiciunea reală a unei infracțiuni sau a unui delict comis(e) de o anumită persoană, ci doar pe caracteristicile pe care persoana respectivă le are întâmplător în comun cu infractorii condamnați (precum adresa, venitul, naționalitatea, datoriile, ocuparea forței de muncă, comportamentul, comportamentul prietenilor și al membrilor familiei și așa mai departe)” [pct. 4.20 din Aviz].
[26] A se vedea că nu există nicio mențiune a sistemelor sau utilizărilor IA în domeniul proceselor democratice, precum alegerile.
[27] Comisia Europeană, Direcția Generală Rețele de Comunicare, Conținut și Tehnologie, Orientări în materie de etică pentru o inteligență artificială (IA) fiabilă, Grupul Independent de Experți la Nivel Înalt privind Inteligența Artificială instituit de Comisia Europeană în iunie 2018, Publications Office, 2019 (https://data.europa.eu/doi/10.2759/78546).
[28] Siguranța jucăriilor, ambarcațiunile de agrement și motovehiculele nautice, ascensoare și la componentele de siguranță pentru ascensoare, echipamentele și sistemele de protecție destinate utilizării în atmosfere potențial explozive, echipamentelor radio, echipamentelor sub presiune, echipamentele individuale de protecție, aparatele consumatoare de combustibili gazoși, dispozitivele medicale pentru diagnostic in vitro, securitatea aviației civile, vehiculele cu două sau trei roți și cvadricicluri, vehiculele agricole și forestiere, echipamentele maritime, sistemul feroviar în Uniunea Europeană.
[29] A se vedea P. Hacker, A Legal Framework for AI Training Data – From First Principles to the Artificial Intelligence Act (March 18, 2020). Law, Innovation and Technology (forthcoming), (http://dx.doi.org/10.2139/ssrn.3556598).
[30] S. Wachter, B. Mittelstadt, C. Russell, Why Fairness Cannot Be Automated: Bridging the Gap Between EU Non-Discrimination Law and AI (March 3, 2020). Computer Law & Security Review 41 (2021): 105567 (http://dx.doi.org/10.2139/ssrn.3547922): „În comparație cu formele tradiționale de discriminare, discriminarea automatizată este mai abstractă și neintuitivă, subtilă, intangibilă și dificil de detectat. Utilizarea din ce în ce mai mare a algoritmilor perturbă remediile legale tradiționale și procedurile de detectare, investigare, prevenire și corectare a discriminării, care s-au bazat în principal pe intuiție”.
[31] A se vedea A. Myers, Stanford engineers make editing video as easy as editing text (https://news.stanford.edu/2019/06/05/edit-video-editing-text/).
[32] A se vedea P. Machado, J. Romero, G. Greenfield (eds.), Artificial Intelligence and the Arts. Computational Creativity, Artistic Behavior, and Tools for Creatives, Springer Nature Switzerland AG, 2021 (https://doi.org/10.1007/978-3-030-59475-6).
[33] De exemplu, deep fake-ul referitor la Nancy Pelosi, purtătoarea de cuvânt a Camerei Reprezentanților din SUA. Viteza de rulare a discursului său fusese redusă astfel încât părea că are o problemă neurologică sau este în stare de ebrietate ori sub influența drogurilor. Fostul primar al New York-ului chiar a distribuit filmarea cu comentariul „What is wrong with Nancy Pelosi? Her speech pattern is bizarre” (https://www.businessinsider.com/rudy-giuliani-tweets-doctored-video-nancy-pelosi-2019-5).
[34] M. Groh, Z. Epstein, C. Firestone, R. Picard, Deepfake detection by human crowds, machines, and machine-informed crowds (https://doi.org/10.1073/pnas.2110013119).
[35] University of California – San Diego, Deepfake detectors can be defeated, computer scientists show for the first time, ScienceDaily (www.sciencedaily.com/releases/2021/02/210208161927.html).
[36] Panelist K. Gross, p. 40-53 (https://www.gov.si/assets/ministrstva/MP/Predsedovanje/2021-07-20-Konferenca-AI/Collection-of-lectures-AI-Conference-si2021.eu-20.07.2021.pdf).
[37] A. Groza, G. Bara, C. Belba, A. Ionescu, M. Iurian, C. Lemnaru, L. Morogan, E. Popescu, Elaborarea cadrului strategic național în domeniul inteligenței artificiale. Analiza reglementărilor pentru domeniul inteligenței artificiale, 21.12.2021, în cadrul proiectului „Cadru strategic pentru adoptarea și utilizarea de tehnologii inovative în administrația publică 2021-2027 – soluții pentru eficientizarea activității”, Beneficiar: Autoritatea pentru Digitalizarea României. (nepublicat)
[38] (https://oecd.ai/en/ai-principles)
[39] (https://www.g20-insights.org/wp-content/uploads/2019/07/G20-Japan-AI-Principles.pdf)
[40] Studiu de fezabilitate privind un cadru legal privind proiectarea, dezvoltarea și aplicarea IA pe baza standardelor CoE, adoptat de CAHAI la 17.12.2020 (https://rm.coe.int/cahai-2020-23-final-eng-feasibility-study-/1680a0c6da).
[41] A se vedea și D. Leslie, C. Burr, M. Aitken, J. Cowls, M. Katell, M. Briggs, Artificial Intelligence, Human Rights, Democracy and the Rule of Law. A Primer, Consiliul Europei și The Alan Turing Institute, 2021 (https://rm.coe.int/primer-en-new-cover-pages-coe-english-compressed-2754-7186-0228-v-1/1680a2fd4a).
[42] (https://www.europarl.europa.eu/doceo/document/TA-9-2021-0405_RO.pdf)
[43] A se vedea și art. 10 și 11 din Directiva „Law Enforcement” (LED) – Directiva (UE) 2016/680 a Parlamentului European și a Consiliului din 27 aprilie 2016 privind protecția persoanelor fizice referitor la prelucrarea datelor cu caracter personal de către autoritățile competente în scopul prevenirii, depistării, investigării sau urmăririi penale a infracțiunilor sau al executării pedepselor și privind libera circulație a acestor date (https://eur-lex.europa.eu/legal-content/RO/TXT/PDF/?uri=CELEX:32016L0680&from=EN).
[44] A se vedea, despre această tehnologie, K. Hill, The Secretive Company That Might End Privacy as We Know It, var. 2.11.2021 (https://www.nytimes.com/2020/01/18/technology/clearview-privacy-facial-recognition.html).
[45] Autoritatea de supraveghere a datelor cu caracter personal din Suedia a amendat în 2021 cu aproximativ 250.000 EUR poliția suedeză pentru utilizarea tehnologiei Clearview AI (https://edpb.europa.eu/news/national-news/2021/swedish-dpa-police-unlawfully-used-facial-recognition-app_en).
[46] M. Heikkilä, Clearview scandal exposes limits of transatlantic AI collaboration, European lawmakers say company’s surveillance practices ‘poses an issue’ for joint approach to artificial intelligence, 8.04.2021 (https://www.politico.eu/article/clearview-scandal-exposes-limits-transatlantic-ai-facial-recognition-collaboration/).
[47] „iCROSS are în vedere să permită un control mai rapid la frontieră pentru resortisanții țărilor terțe care trec granițele UE, cu tehnologii care adoptă dezvoltarea viitoare a managementului frontierelor Schengen. Proiectul va prezenta o combinație optimă între o formă îmbunătățită, voluntară, a unui program de călători înregistrați și o soluție auxiliară pentru sistemul de intrare/ieșire bazată pe implicarea călătorilor de bună-credință. iCROSS proiectează și implementează un sistem care adoptă concepte de mobilitate și constă într-o procedură în două etape, menită să reducă costul/timpul petrecut per călător la stația de trecere. Utilizează tehnologii software și hardware, de la cititoare/scanere portabile, diverse subsisteme emergente și noi pentru controale automate, rețele wireless pentru controale mobile și stocare și procesare backend securizate. Procedura în două etape include: (A) înregistrarea înainte de călătorie pentru a colecta datele personale inițiale, documentele de călătorie și vehiculul, efectuarea unui interviu scurt, automat, neinvaziv cu un avatar, care detectează minciuna și face conexiunea între călător și orice alte date preexistente ale autorităților. Utilizând analiza multifactorială și abordarea bazată pe risc, datele înregistrate sunt procesate și corelate cu date deschise public sau cu sisteme externe, cum ar fi SIS II. Procesarea va avea nevoie de consimțământul călătorilor, conform legislației UE și legislației naționale. (B) controlul propriu-zis la frontieră care completează informațiile preînregistrate cu rezultatele controalelor de securitate care sunt efectuate cu o unitate iCROSS portabilă, conectată fără fir, care poate fi utilizată în interiorul autobuzelor/trenurilor sau în orice punct. Tehnologii multiple verifică validitatea și autenticitatea parametrilor (de exemplu, documente de călătorie, viză, recunoașterea feței călătorului folosind imaginea pașaportului, detectarea automată neinvazivă a minciunilor în timp real la interviu cu ofițerul etc.). Datele colectate sunt criptate, transferate în siguranță și analizate în timp real, oferind un sistem automatizat de suport decizional pentru ofițerii de control la frontieră” (https://cordis.europa.eu/project/id/700626). Mai multe informații despre programul iBorderCtrl și programul Orizont 2020 pot fi accesate la aceeași adresă URL.
[48] Decizia 2008/615/JAI a Consiliului din 23 iunie 2008 privind intensificarea cooperării transfrontaliere, în special în domeniul combaterii terorismului și a criminalității transfrontaliere (JO L 210, 6.8.2008), (https://eur-lex.europa.eu/legal-content/RO/ALL/?uri=celex:32008D0615).
[49] M. Foucault, The Eye of Power, în C. Gordon (ed.), Power/Knowledge, Selected Interviews and Other Writings 1972-1977, Pantheon Books, New York, 1980, p. 146-165.
[50] S. Bălan, Concepția lui M. Foucault asupra relațiilor de putere (https://cogito.ucdc.ro/nr_2v2/CONCEPTIA%20LUI%20Mroen.pdf).
[51] (https://www.aepd.es/es/documento/ps-00120-2021.pdf)
[52] (https://www.imy.se/globalassets/dokument/beslut/facial-recognition-used-to-monitor-the-attendance-of-students.pdf)
[53] Pentru un studiu amplu referitor la sistemele biometrice de supraveghere, a se vedea C. Wendehorst, Y. Duller, Biometric Recognition and Behavioural Detection. Assessing the ethical aspects of biometric recognition and behavioural detection techniques with a focus on their current and future use in public spaces, 2021, solicitat de Comisia JURI (Afaceri Juridice) și Comisia PETI (Petiții) ale Parlamentului European, (https://www.europarl.europa.eu/RegData/etudes/STUD/2021/696968/IPOL_STU(2021)696968_EN.pdf).
[54] Guide to the Case-Law of the European Court of Human Rights. Data protection, 2021 (https://www.echr.coe.int/Documents/Guide_Data_protection_ENG.pdf).
[55] A se vedea și Agenția pentru Drepturi Fundamentale a Uniunii Europene (FRA) și Consiliul Europei, Manual de legislație europeană privind protecția datelor, Ediția 2018, Luxemburg: Oficiul pentru Publicații al Uniunii Europene, 2020, p. 385-410 (https://www.echr.coe.int/Documents/Handbook_data_protection_RON.pdf).
[56] K. Karsai, Algorithmic Decisions within the Criminal Justice Ecosystem and their Problem Matrix, Revue Internationale de Droit Penal, Vol. 92, issie 1, 2021, în G. Vermeulen, N. Persak, N. Recchia (eds.) Artificial Intelligence, Big Data and Automated Decision-Making in Criminal Justice, p. 13-30 (http://real.mtak.hu/133496/1/RIDP_2021_1_Karsai.pdf).
[57] S. van der Hof, I. Georgieva, B. Schermer, B.J. Koops (eds.), Sweetie 2.0. Using Artificial Intelligence to Fight Webcam Child Sex Tourism, T.M.C. Asser Press, The Hague, 2019.
[58] K. Blount, Applying the Presumption of Innocence to Policing with AI, International Review of Penal Law, Vol. 92, issue 1, 2021, în G. Vermeulen, N. Persak, N. Recchia (eds.), Artificial Intelligence, Big Data and Automated Decision-Making in Criminal Justice, p. 33-48 (https://orbilu.uni.lu/bitstream/10993/48564/1/Blount%20RIDP%20PDF.pdf).
[59] S. Uscov, Dreptul Algoritmic, în Analele Științifice ale Universităţii Alexandru Ioan Cuza din Iași, Seria Ştiinţe Juridice, Supliment 2, 2021, p. 323-338 (http://pub.law.uaic.ro/files/articole/2021/vol.2_2/23.uscov.pdf).
[60] S. Nativi, S. De Nigris, AI Watch: AI Standardisation Landscape state of play and link to the EC proposal for an AI regulatory framework, 2021 (https://op.europa.eu/en/publication-detail/-/publication/36c46b8e-e518-11eb-a1a5-01aa75ed71a1/language-en).
[61] Regulamentul (UE) nr. 1025/2012 al Parlamentului European și al Consiliului din 25 octombrie 2012 privind standardizarea europeană, de modificare a Directivelor 89/686/CEE și 93/15/CEE ale Consiliului și a Directivelor 94/9/CE, 94/25/CE, 95/16/CE, 97/23/CE, 98/34/CE, 2004/22/CE, 2007/23/CE, 2009/23/CE și 2009/105/CE ale Parlamentului European și ale Consiliului și de abrogare a Deciziei 87/95/CEE a Consiliului și a Deciziei nr. 1673/2006/CE a Parlamentului European și a Consiliului (JO L 316, 14.11.2012), (https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:02012R1025-20151007).
[62] ISO/IEC DIS 22989. Information technology – Artificial intelligence – Artificial intelligence concepts and terminology.
[63] ISO/IEC AWI TR 24372. Information technology – Artificial intelligence (AI) – Overview of computational approaches for AI systems.
[64] ETSI DES/eHEALTH-008. eHEALTH Data recording requirements for eHealth.
[65] I.D. Raji et al., Closing the AI accountability Gap: Defining an End-to-End Framework for Internal Algorithmic Auditing, Proceedings of the 2020 Conference on Fairness, Accountability and Transparency, 2020 (https://arxiv.org/pdf/2001.00973.pdf).
[66] C. Schröer, F. Kruse, J.M. Gómez, A Systematic Literature Review on Applying CRISP-DM Process Model, Procedia Computer Science 181, 2021, p. 526-534
[67] Regulatory sandboxes.
[68] Making space for innovation. The Handbook for regulatory sandboxes, Federal Ministry for Economic Affairs and Energy, 2019
[69] A. Groza, G. Bara, C. Belba, A. Ionescu, M. Iurian, C. Lemnaru, L. Morogan, E. Popescu, op. cit.
[70] A se citi și Concluziile Consiliului privind spațiile de testare în materie de reglementare și clauzele de experimentare drept instrumente ale unui cadru de reglementare rezilient și adaptat exigențelor viitorului, care face față provocărilor perturbatoare în era digital, Consiliul UE, Bruxelles, 16 noiembrie 2020, (https://data.consilium.europa.eu/doc/document/ST-13026-2020-INIT/ro/pdf)
[71] Un exemplu interactiv de măsurare a corectitudinii (https://pair.withgoogle.com/explorables/measuring-fairness/).
[72] Exemplu bias de confirmare în educație: un soft antiplagiat bazat pe procesare de limbaj natural semnalizează un procent de 30% similaritate între lucrarea de licență a unui student și surse de pe internet. Comisia decide respingerea candidatului fără a verifica corectitudinea recomandării sistemului AI.
[73] D. Reisman, J. Schultz, K. Crawford, M. Whittaker, Algorithmic Impact Assessment: A Practical Framework for Public Agency Accountability, AINow, 2018 (https://ainowinstitute.org/aiareport2018.pdf).
[74] O listă de 236 de unelte pentru XAI (https://github.com/topics/xai).
[75] T. Mahoney, K.R. Varshney, M. Hind, AI Fairness, Raport tehnic, IBM, O’Reilly Media, Inc., 2020,
[76] O listă cu unelte și lucrări în domeniul AI Fairness (https://github.com/datamllab/awesome-fairness-in-ai).
[77] O modalitate interactivă prin care se explică modul in care instrumentul COMPAS a introdus discriminare (https://www.technologyreview.com/2019/10/17/75285/ai-fairer-than-judge-criminal-risk-assessment-algorithm/).
[78] D. Ingold, S. Soper, Amazon Doesn’t Consider the Race of Its Customers. Should It?, 21.04.2016 (https://www.bloomberg.com/graphics/2016-amazon-same-day/).
[79] AIID este o bază de date a incidentelor în care sunt implicate sisteme IA, fiind un proiect al organizației Partnership for AI. Fiecărui incident îi este asociat mai multe rapoarte din presă. Catalogul urmează practicile din industria aviatică legate de menținerea unei baze de date a incidentelor și accidentelor aviatice, practicile din securitate cibernetică prin expunerea publică a peste 140.000 de vulnerabilități (i.e. Common Vulnerabilities and Exposure).
[80] În prefața la N. Bostrom, Superinteligența. Căi, pericole, strategii, Ed. Litera, București, 2016.


Avocat Silvia Uscov, Managing Partner USCOV | Attorneys at law
Prof. dr. ing. Adrian Groza, Departamentul de Calculatoare, Universitatea Tehnică din Cluj-Napoca

* Articolul a fost publicat în revista Curierul Judiciar nr. 2/2022, apărut în martie 2022, dedicat domeniului Inteligenței Artificiale și coordonat de Silvia Uscov. Autorii mulțumesc Editurii C.H.Beck pentru acordul de a republica articolul pe JURIDICE.ro

Citeşte mai mult despre , , , ! Pentru condiţiile de publicare pe JURIDICE.ro detalii aici.
Urmăriţi JURIDICE.ro şi pe LinkedIn LinkedIn JURIDICE.ro WhatsApp WhatsApp Channel JURIDICE Threads Threads JURIDICE Google News Google News JURIDICE

(P) JURIDICE.ro foloseşte şi recomandă SmartBill.

 
Homepage J JURIDICE   Cariere   Evenimente   Dezbateri   Profesionişti   Lawyers Week   Video
 
Drepturile omului
Energie
Fiscalitate
Fuziuni & Achiziţii
Gambling
Health & Pharma
Infrastructură
Insolvenţă
Malpraxis medical
Media & publicitate
Mediere
Piaţa de capital
Procedură civilă
Procedură penală
Proprietate intelectuală
Protecţia animalelor
Protecţia consumatorilor
Protecţia mediului
Sustenabilitate
Recuperare creanţe
Sustenabilitate
Telecom
Transporturi
Drept maritim
Parteneri ⁞ 
Specialişti
Arii de practică
Business ⁞ 
Litigation ⁞ 
Protective
Achiziţii publice
Afaceri transfrontaliere
Arbitraj
Asigurări
Banking
Concurenţă
Construcţii
Contencios administrativ
Contravenţii
Corporate
Cyberlaw
Cybersecurity
Data protection
Drept civil
Drept comercial
Drept constituţional
Drept penal
Dreptul penal al afacerilor
Dreptul familiei
Dreptul muncii
Dreptul Uniunii Europene
Dreptul sportului
Articole
Essentials
Interviuri
Opinii
Revista de note şi studii juridice ISSN
Note de studiu ⁞ 
Studii
Revista revistelor
Autori ⁞ 
Publicare articole
Jurisprudenţă
Curtea Europeană a Drepturilor Omului
Curtea de Justiţie a Uniunii Europene
Curtea Constituţională a României
Înalta Curte de Casaţie şi Justiţie
Dezlegarea unor chestiuni de drept
Recurs în interesul legii
Jurisprudenţă curentă ÎCCJ
Curţi de apel
Tribunale
Judecătorii
Legislaţie
Proiecte legislative
Monitorul Oficial al României
Jurnalul Oficial al Uniunii Europene
Flux noutăţi
Selected
Comunicate
Avocaţi
Executori
Notari
Sistemul judiciar
Studenţi
RSS ⁞ 
Publicare comunicate
Proiecte speciale
Cărţi
Condoleanţe
Covid-19 Legal React
Creepy cases
Life
Poezii
Povestim cărţi
Poveşti juridice
Războiul din Ucraina
Wisdom stories
Women in Law

Servicii J JURIDICE   Membership   Catalog   Recrutare   Talent Search   Comunicare   Documentare   Evenimente   Website   Logo   Foto   Video   Partnership