Grund- og nærhedsnotat om harmoniserede regler for kunstig intelligens
Tilhører sager:
Aktører:
Udenrigsministeriets følgeskrivelse
https://www.ft.dk/samling/20211/kommissionsforslag/kom(2021)0206/bilag/1/2422993.pdf
Udenrigsministeriet Asiatisk Plads 2 DK-1448 København K Telefon +45 33 92 00 00 Telefax +45 32 54 05 33 E-mail: um@um.dk http://www.um.dk Girokonto 3 00 18 06 Medlemmerne af Folketingets Europaudvalg Bilag Sagsnummer Kontor 1 2021-17 EKN 28. juni 2021 GRUND- OG NÆRHEDSNOTAT Harmoniserede regler for kunstig intelligens Til underretning for Folketingets Europaudvalg vedlægges Erhvervsmi- nisteriets grund- og nærhedsnotat vedrørende Europa-Kommissionens forslag til Europa-Parlamentet og Rådets forordning om harmoniserede regler for kunstig intelligens og ændring af visse af Unionens lovgiv- ningsmæssige retsakter, KOM (2021) 0206. Jeppe Kofod Europaudvalget 2021 KOM (2021) 0206 - Bilag 1 Offentligt
Grund- og nærhedsnotat om harmoniserede regler for kunstig intelligens
https://www.ft.dk/samling/20211/kommissionsforslag/kom(2021)0206/bilag/1/2422994.pdf
GRUND- OG NÆRHEDSNOTAT TIL FOLKETINGETS EUROPAUDVALG Europa-Kommissionens forslag til Europa-Parlamentet og Rådets for- ordning om harmoniserede regler for kunstig intelligens og ændring af visse af Unionens lovgivningsmæssige retsakter (KOM (2021) 206) 1. Resumé Europa-Kommissionen har den 21. april 2021 fremsat et forslag til forord- ning om harmoniserede regler for kunstig intelligens og ændring af visse af Unionens lovgivningsmæssige retsakter (KOM (2021) 206). Forordnin- gen er den første af sin slags til at fastlægge en juridisk ramme specifikt for kunstig intelligens. Formålet er at sikre et velfungerende indre marked ved at etablere betin- gelser for udvikling og anvendelse af lovlig, sikker og pålidelig kunstig in- telligens i EU. Dette skal ske gennem fælles regler, der skal sikre, at kunstig intelligens, der bringes i omsætning og anvendes i EU, er sikker og respek- terer eksisterende lovgivning, grundlæggende rettigheder samt EU’s vær- dier. Samtidig skal reglerne være med til at sikre juridisk klarhed for at fremme investeringer og innovationsevnen. Forordningen følger en risikobaseret tilgang, hvor graden af forpligtelser følger graden af risici, der er forbundet med den pågældende anvendelse af et kunstig intelligens-system. Forordningen opdeler kunstig intelligens i følgende risikokategorier: 1) Uacceptabel risiko, hvor der er direkte for- bud af visse anvendelser, 2) højrisiko, hvor der er specifikke krav forbundet med visse anvendelser, og hvor der påkræves forudgående overensstem- melsesvurderinger samt efterfølgende markedsovervågning, 3) begrænset risiko, hvor der er gennemsigtighedsforpligtelser tilknyttet visse anvendel- ser af teknologien, samt 4) lav eller minimal risiko, hvor der ikke er speci- fikke krav, men i stedet er mulighed for at udarbejde frivillige adfærdsko- deks til blandt andet at fremme den frivillige efterlevelse af kravene under højrisikokategorien. Forvaltningen og håndhævelsen af forordningen skal hovedsageligt ske i medlemslandene. I forlængelse heraf skal medlemslandene indføre regler om sanktioner ved overtrædelse af forordningen. Derudover nedsættes der Europaudvalget 2021 KOM (2021) 0206 - Bilag 1 Offentligt 2/35 et europæisk udvalg for kunstig intelligens, der blandt andet skal bidrage til et effektivt samarbejde på tværs af grænser og ensartet implementering. Herudover indeholder forordningen foranstaltninger til at fremme innova- tion. Blandt andet fastsættes der en fælles ramme for implementering af reguleringsmæssige sandkasser. Regeringen støtter overordnet ambitionen om at skabe et velfungerende in- dre marked for etisk, ansvarlig og sikker kunstig intelligens. Regeringen anser kunstig intelligens som en af de afgørende teknologier til at under- støtte EU’s konkurrenceevne, velstand, grønne omstilling samt den offent- lige forvaltning. Regeringen anerkender imidlertid, at anvendelsen af kun- stig intelligens i visse situationer kan indebære en række alvorlige risici. Derfor støtter regeringen, at disse alvorlige risici adresseres i en europæ- isk lovgivningsramme. Overordnet lægger regeringen vægt på, at den europæiske lovgivnings- ramme følger en risikobaseret, teknologineutral og proportionel tilgang, hvor graden af forpligtelser følger graden af mulig skadevirkning. På den baggrund er det nødvendigt med en klar og operationel lovgivningsramme, der sikrer borgernes tillid og øger beskyttelsen i samfundet, uden at dette unødigt hæmmer innovationsevnen eller forringer konkurrenceevnen. Det er derfor centralt at finde den rette balance, hvor alvorlige risici adresse- res, samtidig med at teknologien kan udvikles og anvendes til gavn for sam- fundet samt understøtte fremtidens arbejdspladser. 2. Baggrund Europa-Kommissionen (’Kommissionen’) har den 21. april 2021 fremlagt et forslag til forordningen om harmoniserede regler for kunstig intelligens og ændring af visse af Unionens lovgivningsmæssige retsakter (KOM (2021) 206). Forslaget er oversendt til Rådet i dansk sprogversion den 7. juni 2021. Forslaget er først og fremmest fremsat med hjemmel i artikel 114, TEUF. Hvor forslaget berører regler for beskyttelse af individer i for- bindelse med behandling af personoplysninger, er forslaget baseret på arti- kel 16, TEUF. Forslaget skal behandles efter den almindelige lovgivnings- procedure i artikel 294, TEUF, og rådet træffer afgørelse med kvalificeret flertal. Forslaget er en del af en kunstig intelligens pakke bestående af dette forslag til en forordning, revision af den koordinerede plan for kunstig intelligens samt forslag af revision af det eksisterende maskindirektiv. 3/35 Pakken kommer som opfølgning på Kommissionens hvidbog om kunstig intelligens, der blev præsenteret den 19. februar 2019.1 Baggrunden for hvidbogen var Kommissionsformand von der Leyens annoncering af, at der i løbet af de første 100 dage af Kommissionens mandatperiode skulle fast- lægges en europæisk tilgang til kunstig intelligens, herunder dens konse- kvenser for mennesker og etik. Med hvidbogen udlagde Kommissionen en tostrenget europæisk tilgang til kunstig intelligens. For det første skulle en investeringsorienteret indsats mobilisere ressourcer langs hele værdikæden for at opnå et ekspertisemiljø, særligt gennem udnyttelse af kendte instrumenter som den koordinerede plan for kunstig intelligens. For det andet skulle en europæisk risikobaseret lovgivningsramme skabe tillid i befolkningen til teknologien ved at tackle de risici, der kan opstå i forbindelse med anvendelsen af kunstig intelligens. Kommissionen lagde i den forbindelse op til, at anvendelse af kunstig in- telligens, der indebar en høj risiko for eksempelvis et individs rettigheder, blev underlagt obligatoriske krav eksempelvis i forhold til datakvalitet og menneskeligt tilsyn. For al anden kunstig intelligens lagde Kommissionen op til en frivillig mærkningsordning, der skulle signalere, at en given an- vendelse af kunstig intelligens var pålidelig. Kommissionen foretog en offentlig konsultation af hvidbogen, der strakte sig fra februar til juni 2020. I alt modtog Kommissionen 1215 høringssvar. Kommissionen fandt blandt andet i deres analyse af høringssvarene, at der var en generel enighed om et behov for handling, da et stort flertal var enige om, at der fandtes mangler i eksisterende lovgivning, eller at der var behov for ny lovgivning. Der blev imidlertid advaret om at undgå duplikering, modstridende forpligtelser og overregulering. Derudover blev vigtigheden af en teknologineutral og proportionel lovgivningsmæssig ramme fremhæ- vet. Som opfølgning på hvidbogen vedtog det Europæiske Råd konklusioner i oktober 2020, hvori der blev lagt vægt på, at EU bør være en global leder inden for udviklingen af sikker, pålidelig og etisk kunstig intelligens. Sam- tidig opfordrede det Europæiske Råd til, at Kommissionen fremlagde en klar, objektiv definition af højrisiko systemer. Forud for lanceringen af hvidbogen underskrev 24 medlemslande en mini- stererklæring vedrørende samarbejde om kunstig intelligens i forbindelse med Digital Day tilbage i 20182 , hvorpå Kommissionen som opfølgning 1 Kommissionens hvidbog om kunstig intelligens: ”En europæisk tilgang til ekspertise og tillid” (KOM (2020) 65) fra den 19. februar 2020 2 https://ec.europa.eu/jrc/communities/en/node/1286/document/eu-declaration-cooperation-artifi- cial-intelligence 4/35 præsenterede en strategi for kunstig intelligens den 25. april 20183 . Denne fokuserede både på socioøkonomiske aspekter samt en forøgelse af inve- steringer i forskning, innovation og kapabiliteter inden for kunstig intelli- gens. Som led i arbejdet etablerede Kommissionen en højniveauekspert- gruppe for kunstig intelligens, der i april 2019 præsenterede sine etiske ret- ningslinjer for pålidelig kunstig intelligens. Disse omfattede menneskelige aktiviteter og tilsyn udført af mennesker; teknologisk robusthed og sikker- hed; privatlivets fred og datastyring; gennemsigtighed, mangfoldighed, ik- kediskrimination og retfærdighed; social og miljømæssig velfærd; samt an- svarlighed. I tillæg hertil offentliggjorde Kommissionen den 8. april 2019 meddelelsen ”Opbygning af tillid til menneskecentreret kunstig intelli- gens” (KOM (2019) 168), der havde til formål at iværksætte en pilotfase med afprøvning af den praktiske anvendelse af højniveauekspertgruppens etiske retningslinjer. Dette førte til en revision af retningslinjerne på bag- grund af modtagen feedback samt udformningen af en konkret evaluerings- liste for pålidelig kunstig intelligens. 3. Formål og indhold Forordningens overordnede formål er at sikre et velfungerende indre mar- ked ved at etablere betingelserne for udvikling og anvendelse af lovlig, sik- ker og pålidelig kunstig intelligens i EU. Dette skal ske gennem fælles regler, der skal sikre, at kunstig intelligens, der bringes i omsætning og anvendes i EU, er sikker og respekterer eksi- sterende lovgivning, grundlæggende rettigheder samt EU’s værdier. Sam- tidig skal reglerne også være med til at sikre juridisk klarhed for at fremme investeringer og innovationsevnen samt muliggøre effektiv håndhævelse. Afsnit I: Anvendelsesområde og definitioner (artikel 1-4) Forordningen indfører harmoniserede regler for omsætning, ibrugtagning og anvendelse af kunstig intelligens-systemer i EU. Reglerne følger en risikobaseret tilgang, hvor graden af forpligtelser følger graden af de risici, der er forbundet med den pågældende anvendelse af kun- stig intelligens. Forordningen opdeler kunstig intelligens i følgende risikoka- tegorier: Uacceptabel risiko, højrisiko, begrænset risiko samt lav eller mini- mal risiko. På den baggrund fastsætter forordningen regler for: - Forbud mod anvendelser af kunstig intelligens, der udgør en uaccep- tabel risiko. - Specifikke krav for anvendelser af kunstig intelligens, der udgør en høj risiko. 3 Kommissionens meddelelse ”Kunstig intelligens for Europa” (KOM (2018) 237) fra den 25. april 2018 5/35 - Gennemsigtighedsforpligtelser for anvendelsen af kunstig intelligens- systemer, der udgør en begrænset risiko. Omfattede systemer af gen- nemsigtighedsreglerne er beregnet til at interagere med personer, fø- lelsesgenkendelsessystemer og biometriske kategoriseringssystemer, samt systemer, der anvendes til at generere eller manipulere billede-, lyd- eller videoindhold. - Regler om markedsovervågning – og tilsyn. Forordningen definerer kunstig intelligens som software, der er udviklet ved hjælp af en eller flere teknikker eller tilgange, eksempelvis maskinlæring eller statistiske metoder, og der ud fra et sæt menneskeligt definerede mål kan ge- nere output såsom indhold, forudsigelser, anbefalinger eller beslutninger, der påvirker de miljøer, som de interagerer med. For at fremtidssikre definitionen i forhold til fremtidig teknologisk og mar- kedsmæssig udvikling har Kommissionen specificeret de førnævnte teknik- ker og tilgange, der kan anvendes til at udvikle kunstig intelligens, i et bilag til forordningen. Bilaget oplister en række konkrete kunstig intelligens-tek- nikker, som forordningen omfatter. Det gælder maskinlæring, logiske og vi- densbaserede tilgange samt statistiske metoder. Forslaget giver derudover Kommissionen beføjelser til at ændre bilaget via delegerede retsakter. De harmoniserede regler finder ikke anvendelse på kunstig intelligens, der er udviklet eller udelukkende anvendes til militære formål, eller i forbindelse med offentlige myndigheder i tredjelande eller internationale organisationers brug af kunstig intelligens, hvis denne brug sker inden for rammerne af en aftale om retshåndhævelse og retligt samarbejde med EU eller med en eller flere medlemslande. Afsnit II: Forbudt praksis med hensyn til kunstig intelligens (artikel 5) Visse anvendelser af kunstig intelligens medfører uacceptable risici for sam- fundet og individers rettigheder, da de anses for at være i strid med EU’s vær- dier, for eksempelvis ved at krænke grundlæggende rettigheder. Forordningen fastlægger, at følgende former for anvendelse af kunstig intel- ligens skal være forbudt: - anvendelse af subliminale teknikker, dvs. teknikker der formidler et budskab skjult, der rækker ud over den menneskelige bevidsthed og har til hensigt i en væsentlig grad at ændre personens adfærd på en måde, der forårsager eller sandsynligvis vil forårsage fysiske eller psykisk skade. - udnytte sårbarheder hos en specifik gruppe på baggrund af deres alder eller handicap ved i en væsentlig grad at ændre adfærden hos en per- son tilhørende denne gruppe på en måde, der forårsager eller sandsyn- ligvis vil forårsage fysiske eller psykisk skade. 6/35 - offentlige myndigheders - eller på vegne af offentlige myndigheder - evaluering eller klassificering af troværdigheden af personer baseret på deres sociale adfærd, personlige egenskaber eller personligheds- træk, hvor den sociale bedømmelse vil lede til en skadelig eller ugun- stig behandling. - anvendelse af systemer til biometrisk fjernidentifikation i realtid i det offentlige rum med henblik på retshåndhævelse. Sidstnævnte kan dog anvendes til visse strengt nødvendige formål såsom ved målrettet eftersøgning af specifikke potentielle ofre for kriminalitet, herunder børn, samt forebyggelse af terrorangreb. Forordningen fastlægger en udtøm- mende liste over de tilfælde, hvor biometrisk fjernidentifikation i realtid kan anvendes i det offentlige rum. Anvendelsen kræver desuden en forudgående tilladelse udstedt af en judiciel myndighed eller en uafhængighed administra- tiv myndighed på baggrund af indført national lovgivning. Det står således medlemslandene frit for, om de vil give mulighed for denne anvendelse, og om de vil tillade alle tilfælde på den udtømmende liste eller kun et udsnit heraf. Grundet retsforbeholdet er Danmark ikke underlagt reglerne i artikel 5 ved- rørende systemer til anvendelse for biometrisk fjernidentifikation i realtid. Afsnittet III: Højrisiko kunstig intelligens-systemer (artikel 6-51) Kapitel 1: Klassificering af højrisiko kunstig intelligens-systemer Kapitel 1 klassificerer den anvendelse af kunstig intelligens, der anses for at udgøre en høj risiko for samfundet og individers grundlæggende rettigheder. Forordningen identificerer to hovedkategorier for anvendelse af kunstig intel- ligens, der kan anses for at være højrisiko kunstig intelligens. Den ene kategori omfatter kunstig intelligens, der er beregnet til at blive an- vendt som en sikkerhedskomponent i et produkt eller i sig selv er et produkt omfattet af harmoniseret EU-lovgivning anført i bilag 2, og der er forpligtet til at gennemgå en tredjepartsoverensstemmelsesvurdering. Bilaget omfatter retsakter baseret på den nye lovgivningsmæssige ramme, ”New Legislative Framework” (NLF), der blandt andet omfatter maskiner, legetøj, elevatorer, radioudstyr samt medicinsk udstyr. Derudover omfatter bilaget også retsak- ter, der ikke er baseret på NLF, men derimod den gamle metode, såsom land- brugskøretøjer, skibsudstyr, jernbanesystemet, civil luftfart og biler. Disse retsakter omfattes også af højrisiko kategorien, men underlægges dog ikke direkte kravene for højrisiko. Dette skyldes, at de pågældende retsakter, der er baseret på den gamle metode, ikke indeholder mulighed for, at eksisterende overensstemmelsesprocedurer deri kan omfatte yderligere krav. Det vil enten kræve, at de pågældende retsakter genforhandles og tilpasses NLF, eller at 7/35 kravene indføres via fremtidige delegerede eller gennemførelsesretsakter un- der disse retsakter. Kommissionen lægger op til, at tilpasningen i den kom- mende tid sker via sidstnævnte. Det er dog alene højrisiko kravene, der bliver taget højde for. Andre elementer i disse retsakter, herunder eksempelvis eksi- sterende forvaltning og håndhævelse, bliver ikke påvirket via fremtidige de- legerede eller gennemførelsesretsakter. Den anden kategori er selvstændige systemer – uafhængige af et produkt – hvor Kommissionen vurderer, at systemers formål udgør en høj risiko for menneskers sundhed og sikkerhed eller grundlæggende rettigheder. I vurde- ringen er der blandt andet taget højde for alvorligheden af den mulige skade samt sandsynligheden for, at den mulige skade vil udspille sig. Kommissio- nen har oplistet disse systemer i bilag 3, der omfatter otte overordnede områ- der med dertilhørende specificerede anvendelser: 1. Biometrisk identifikation og kategorisering af fysiske personer Systemer beregnet til biometrisk fjernidentifikation i real- tid af personer. 2. Forvaltning og drift af kritisk infrastruktur Systemer beregnet som sikkerhedskomponenter i forvalt- ning og drift af blandt andet forsyning af vand, gas, varme og elektricitet. 3. Uddannelse og erhvervsuddannelse Systemer beregnet til at fastslå personers adgang til eller fordeling på uddannelsesinstitutioner, at evaluere stude- rende eller at vurdere deltagere i test, der normalt kræves for at få adgang til uddannelsesinstitutioner. 4. Beskæftigelse, forvaltning af arbejdstagere og adgang til selvstæn- dig beskæftigelse Systemer beregnet til rekruttering eller udvælgelse af kan- didater eller beregnet til at træffe beslutninger om forfrem- melse og afskedigelse, opgavefordeling samt til overvåg- ning og evaluering af personers præstation og adfærd i ar- bejdsrelaterede kontraktforhold. 5. Adgang til og benyttelse af væsentlige private tjenester og offent- lige tjenester og fordele Systemer beregnet til at blive anvendt af eller på vegne af offentlige myndigheder til at vurdere personers berettigelse til offentlige sociale ydelser og tjenester samt at tildele, re- ducere, annullere eller tilbagekalde sådanne ydelser og tje- nester. Systemer beregnet til at foretage kreditvurderinger af per- soner eller at fastslå deres kreditværdighed, med undta- gelse af systemer der tages i brug af mindre udbydere til eget brug. 8/35 Systemer beregnet til at sende eller at prioritere i udsendel- sen af beredskabstjenester i nødsituationer, herunder brandslukning og lægehjælp. 6. Retshåndhævelse Systemer beregnet til at blive anvendt af retshåndhævende myndigheder med henblik på at foretage individuelle risi- kovurderinger af personer for at vurdere risikoen for lov- overtrædelser, at anvende som polygrafer eller lignende værktøjer til at påvise en persons følelsesmæssige tilstand, at finde deep fakes, at vurdere pålideligheden af bevisma- teriale, at forudsige strafbare handlinger baseret på profile- ring, at profilere samt at anvende til kriminalitetsanalyse vedrørende personer. 7. Migrationsstyring, asylforvaltning og grænsekontrol Systemer beregnet til at blive anvendt af kompetente of- fentlige myndigheder med henblik på at anvende som po- lygrafer eller lignende værktøjer til at påvise en persons fø- lelsesmæssige tilstand samt at vurdere en risiko, herunder en sikkerhedsrisiko, en risiko for irregulær indvandring el- ler en sundhedsrisiko som udgøres af en person, der har til hensigt at komme ind eller er indrejst i et medlemsland. Systemer beregnet til offentlige myndigheder til at kontrol- lere ægtheden af rejsedokumenter. Systemer beregnet til at hjælpe offentlige myndigheder med behandlingen af ansøgninger om asyl, visum og op- holdstilladelse og tilhørende klager. 8. Retspleje og demokratiske processer Systemer beregnet til at hjælpe retlige myndigheder med blandt andet at undersøge og fortolke fakta og lovgivning. Forslaget giver Kommissionen beføjelser til at ændre bilag 3 via en delegeret retsakt, hvor Kommissionen kan tilføje anvendelser af kunstig intelligens, der falder under et af de otte områder, og der udgør en risiko for sundhed, sikker- hed eller de grundlæggende rettigheder. I vurderingen heraf skal Kommissi- onen tage højde for en række kriterier, herunder blandt andet det potentielle omfang af den mulige skade, hvorvidt mennesker er afhængige af systemets resultat, samt hvor nemt det er at omgøre resultatet af systemet. Selvom et system klassificeres som højrisiko i forordningen, betyder det ikke, at anvendelsen af systemet er lovlig under andre EU-retsakter eller national lovgivning. De eksisterende krav i den sammenhæng vil således stadig finde anvendelse. 9/35 Kapitel 2: Kravene for højrisikosystemer Systemer, der er kategoriseret som et højrisikosystem, pålægges en række forpligtelser. Det omfatter etableringen af et risikostyringssystem, der blandt andet skal identificere risici tilknyttet systemet samt indføre passende risiko- styringsforanstaltninger til at adressere de pågældende risici. Ud over risikostyringssystemet skal højrisiko kunstig intelligens desuden ef- terleve krav inden for: - data og datastyring: Såfremt systemer involverer træning af modeller med data, skal de pågældende datasæt efterleve en række kvalitetskri- terier, herunder blandt andet for passende datastyring- og dataforvalt- ningspraksis samt at datasæt skal være relevante, repræsentative, fejl- fri og fuldstændige. - teknisk dokumentation: Der skal udarbejdes teknisk dokumentation, der skal demonstrere efterlevelse af højrisiko kravene samt give nati- onale kompetente myndigheder og bemyndigede organer den nød- vendig information til at vurdere overholdelsen af kravene. Bilag 4 indeholder de elementer, som den tekniske dokumentation som mini- mum skal omfatte. Det omfatter blandt andet en detaljeret beskrivelse af systemets elementer og processen for udviklingen, oplysninger om systemets funktion, overvågning og kontrol af systemet, en kopi af EU-overensstemmelseserklæringen samt en detaljeret beskrivelse af proceduren, der er på plads for at evaluere systemets ydeevne, efter det er kommet på markedet. Kommissionen får beføjelser til at ændre bilag 4 gennem delegerede retsakter. - registrering: Systemer skal udformes og udvikles, således at der fore- tages automatisk registrering af systemets handlinger, dvs. logfunkti- oner, når det er i drift. Dette skal blandt andet muliggøre overvågning af driften af systemet samt sikre en passende grad af sporbarhed gen- nem hele systemets livscyklus. - gennemsigtighed og formidling af oplysninger til brugere: Systemer skal udformes og udvikles, således at det sikres, at driften heraf er tilstrækkelig gennemsigtig til, at brugeren kan fortolke systemets out- put og anvende det korrekt. Samtidig skal systemet ledsages af en brugsanvisning i et passende digitalt formalt eller på anden vis, der blandt andet skal omfatte udbyderens kontaktoplysninger samt oplys- ninger om systemets egenskaber, kapaciteter, begrænsninger, foran- staltninger til menneskeligt tilsyn og forventede levetid. - menneskeligt tilsyn: Systemer skal udformes og udvikles, således at de effektivt kan overvåges af personer i den periode, hvor systemet 10/35 anvendes. Dette skal enten sikres ved, at menneskeligt tilsyn indbyg- ges direkte i systemet eller ved at menneskeligt tilsyn implementeres af brugeren. Det skal muliggøre, at de personer, der har ansvar for det menneskelige tilsyn, blandt andet er i stand til at forstå systemets ka- paciteter og begrænsninger, at være opmærksom på den mulige ten- dens til automatisk at stole på systemet eller at gribe ind i driften af systemet og afbryde, hvis nødvendigt. - nøjagtighed, robusthed og cybersikkerhed: Systemer skal udformes og udvikles, således at de i lyset af deres tilsigtede formål opnår et passende niveau af nøjagtighed, robusthed og cybersikkerhed. Nøjag- tighedsniveauet skal fremgå af den medfølgende brugsanvisning. Ro- bustheden kan opnås gennem tekniske løsninger såsom backupplaner. Cybersikkerhed skal sikre, at systemet er modstandsdygtigt med hen- syn til at afværge en uautoriseret tredjeparts forsøg på at udnytte sy- stemets sårbarheder. Dette kan omfatte tekniske løsninger, der blandt andet omfatter tiltag til at forhindre eller kontrollere for angreb. Det er tanken med de ovenstående principbaserede krav, at den konkrete tek- niske løsning enten kan leveres via harmoniserede standarder, fælles specifi- kationer eller udvikles på baggrund af udbydernes tekniske eller videnskabe- lig viden. Kapitel 3: Forpligtelser for udbydere og brugere af højrisiko systemer og an- dre parter Kapitlet fastlægger forpligtelser for de forskellige aktører afhængig af deres placering i værdikæden: - udbydere pålægges blandt andet at sikre overensstemmelse med højri- siko kravene, at etablere et kvalitetsstyringssystem, at udarbejde den tekniske dokumentation, at samarbejde med den kompetente myndig- hed, at gennemgå den relevante overensstemmelsesvurdering samt at CE-mærke systemet. - importører og distributører pålægges blandt andet at sikre, at den re- levante overensstemmelsesvurdering er udført af udbyderen, at syste- met er forsynet med CE-mærkning samt ledsaget af påkrævet doku- mentation og brugsanvisning. - brugere pålægges blandt andet at sikre, at anvendelsen af systemet sker i overensstemmelse med den medfølgende brugsanvisning, at overvåge driften af systemet med henblik på mulige risici samt at un- derrette udbydere eller distributører om alvorlige hændelser eller funktionsfejl. 11/35 Såfremt en distributør, importør, bruger eller anden part under eget navn eller varemærke bringer et højrisiko kunstig intelligens-system i omsætning eller tager det i brug, eller såfremt de ændrer den påtænkte anvendelse eller fore- tager en væsentlig ændring af systemet, får de status som en udbyder og deraf underlagt disse forpligtelser. Kapitel 4-5: Proceduren for overensstemmelsesvurdering Forordningen fastlægger, at efterlevelsen af højrisiko kravene skal kontrolle- res via forudgående overensstemmelsesvurderinger. Dog formodes systemet at være i overensstemmelse med kravene, såfremt der er anvendt harmonise- rede standarder eller fælles specifikationer, hvoraf sidstnævnt er vedtaget af Kommissionen via gennemførelsesretsakter. De pågældende procedurer for overensstemmelsesvurderinger er forskellige, afhængig af hvorvidt der er tale om kunstig intelligens, der er selvstændige systemer (punkt 2-8 i bilag 3), biometrisk identifikation og kategorisering af personer (punkt 1 i bilag 3) eller indlejret i et produkt (bilag 2). Ved de selvstændige systemer omfattet af punkt 2-8 i bilag 3 skal overens- stemmelsesvurderingen basere sig på intern kontrol, der ikke kræver inddra- gelsen af en tredjepart, dvs. et bemyndiget organ. Proceduren herfor er fast- lagt i bilag 6 og påkræver blandt andet, at udbyderen kontrollerer, at det etab- lerede kvalitetssyringssystem er i overensstemmelse med kravene; at udby- deren undersøger oplysninger i den tekniske dokumentation for at vurdere, om systemet er i overensstemmelses med de relevante højrisiko krav; samt at udbyderen kontrollerer, at systemet og dets overvågning efter omsætning er i overensstemmelse med den tekniske dokumentation. Derudover skal udby- dere af selvstændige systemer også registrere systemet i en offentlig tilgæn- gelig EU-database, der etableres i forbindelse med forordningen samt vareta- ges og vedligeholdes af Kommissionen. Ved biometrisk identifikation og kategorisering af personer omfattet af punkt 1 i bilag 3 kan udbyderne basere overensstemmelsesvurderingen på intern kontrol eller gå via overensstemmelsesvurdering gennem tredjepartskontrol, der blandt andet skal kontrollere kvalitetsstyringssystemet samt den tekniske dokumentation. Proceduren for tredjepartsoverensstemmelsesvurdering er fastlagt i bilag 7. Intern kontrol er dog kun muligt, såfremt udbyderen har anvendt harmoniserede standarder eller fælles specifikationer. Forslaget giver Kommissionen beføjelser til at ændre bilag 6 og 7 via delege- rede retsakter. Ved de indlejrede systemer i produkter, der er omfattet af den harmoniserede EU-lovgivning baseret på ”NLF” i bilag 2, skal den eksisterende overens- stemmelsesvurdering under den pågældende sektorretsakt gøre sig gældende, 12/35 hvor der også tages højde for højrisiko kravene samt den tekniske dokumen- tation herom. Såfremt sektorretsakternes overensstemmelsesvurderinger gi- ver mulighed for anvendelsen af harmoniserede standarder eller fælles speci- fikationer, der dækker kravene, kan udbyderne fravælge en tredjepartsover- ensstemmelsesvurdering. Såfremt der foretages en væsentlig ændring af systemet, kræver det, at syste- met gennemgår en ny overensstemmelsesvurdering. Væsentlige ændringer omfatter imidlertid ikke ændringer, der er fastlagt på forhånd ved den indle- dende overensstemmelsesvurdering samt indgår i den tekniske dokumenta- tion. Udbyderne er pålagt at opbevare dokumentation, herunder den tekniske do- kumentation, dokumenter i forbindelse med overensstemmelsesvurderingen samt EU-overensstemmelseserklæringen i en periode på 10 år til rådighed for de nationale kompetente myndigheder. I tilfælde af ekstraordinære situationer i forhold til beskyttelse af offentlig sikkerhed, menneskers liv og sundhed, miljø eller centrale industrielle samt infrastrukturmæssige aktiver kan markedsovervågningsmyndighederne til- lade, at specifikke højrisiko systemer bringes i omsætning eller tages i brug uden en overensstemmelsesvurdering, såfremt tilladelsen gælder for en be- grænset periode, mens de nødvendige overensstemmelsesvurderinger gen- nemføres, og såfremt myndigheden konkluderer, at højrisiko kravene over- holdes. Dette skal underrettes til både Kommissionen og de øvrige medlems- lande, der får mulighed for at gøre indsigelse. Afsnit IV: Gennemsigtighedsforpligtelser for visse systemer (artikel 52) For visse anvendelser af kunstig intelligens pålægges gennemsigtighedsfor- pligtelser: - Ved systemer, der er beregnet til at interagere med personer, skal per- soner informeres om denne interaktion, medmindre dette er indly- sende ud fra omstændighederne og anvendelsessammenhængen. - Ved systemer, der er beregnet til at genkende følelser eller biometrisk kategorisering, skal personer informeres om deres eksponering for så- danne systemer. - Ved systemer, der er beregnet til at genere eller manipulere billede-, lyd- eller videoindhold, der i væsentlig grad ligner blandt andet fakti- ske personer eller genstande, og der fejlagtigt vil fremstå ægte, ek- sempelvis deep fakes, skal der informeres om, at indholdet er genere- ret på kunstig vis eller er manipuleret. Kravene er dog undtaget i forbindelse med systemer, der er tilladt ved lov med henblik på retshåndhævelse. Ved sidstnævnte anvendelse er kravet der- 13/35 udover heller ikke gældende, hvis anvendelsen er nødvendig for at udøve ret- ten til ytringsfrihed eller retten til kunst og videnskab, der er sikret ved Den Europæiske Unions charter om grundlæggende rettigheder. Afsnit V: Foranstaltninger til støtte for innovation (artikel 53-55) Forordningen fastsætter fælles regler for oprettelsen af reguleringsmæssige sandkasser inden for kunstig intelligens samt samarbejde mellem relevante myndigheder. Sandkasserne kan etableres af et eller flere medlemslandes kompetente myndigheder samt den Europæiske Tilsynsførende for Databe- skyttelse. Formålet er at fremme innovationen inden for kunstig intelligens ved at etablere et kontrollereret miljø blandt andet med henblik på at lette udviklingen og validering af systemer i et begrænset tidsrum, inden de brin- ges i omsætning eller tages i brug, accelerere markedsadgang samt at sikre overholdelse af forordningen og anden relevant lovgivning, styrke juridisk klarhed. Medlemslandene forpligtes desuden til at indføre foranstaltninger for mindre udbydere og brugere, blandt andet skal medlemslandene prioritere disse ak- tører samt nystartede virksomheders adgang til de reguleringsmæssige sand- kasser samt organisere informationsaktiviteter. Afsnit VI, VII og VIII: Forvaltning og gennemførelse (artikel 56-68) Medlemslande spiller en nøglerolle i forvaltningen og håndhævelsen af for- ordningen. Hvert medlemsland skal i den forbindelse udpege en eller flere nationale kompetente myndigheder, hvoraf en af myndighederne skal fungere som ansvarlig national tilsynsmyndighed og dermed det officielle kontakt- punkt over for andre medlemslande og Kommissionen. Et europæisk udvalg for kunstig intelligens skal desuden nedsættes for at as- sistere Kommissionen i forvaltningen af forordningen. Formålet med udval- get er at bidrage til et effektivt samarbejde mellem de nationale tilsynsmyn- digheder og Kommissionen, at koordinere og bidrage til vejledning og ana- lyse samt at assistere i sikringen af en ensartet anvendelse af forordningen. Udvalget skal bestå af repræsentanter fra de nationale tilsynsmyndigheder samt den Europæiske Tilsynsførende for Databeskyttelse. Udbydere af højrisiko systemer er pålagt at etablere et overvågningssystem og -plan, der efter omsætningen af højrisiko systemet på markedet blandt an- det skal sørge for en løbende evaluering af overholdelsen af højrisiko kravene. De nærmere detaljer herfor vil blive fastlagt af Kommissionen via en gen- nemførelsesretsakt. 14/35 I tilfælde af alvorlige hændelser eller funktionsfejl såsom en persons død, al- vorlig skade eller afbrydelse af driften af kritisk infrastruktur eller overtræ- delse af grundlæggende rettigheder er udbyderne af højrisiko systemer pålagt at informere den relevante markedsovervågningsmyndighed. Markedsovervågningen og kontrol af kunstig intelligens-systemer skal ske på baggrund af markedsovervågningsforordningen, der skal finde anvendelse på kunstig intelligens-forordningens udbydere, importører, distributører og bru- gere på tilsvarende måde, som markedsovervågningen i dag finder anven- delse på økonomiske operatører af produkter. Procedurerne i markedsover- vågningsforordningen suppleres blandt andet med regler om adgang til data og dokumentation samt procedurer for meddelelse af og kontrol med natio- nale indgreb over for kunstig intelligens-systemer. Herudover skal kompeten- cedelingen imellem markedsovervågningsmyndighederne hovedsageligt følge den kompetencedeling, der findes i dag. Afsnit IX: Adfærdskodeks (artikel 69) Forordningen fastlægger en ramme for udformningen af adfærdskodeks, der har til formål at tilskynde udbydere uden for højrisikokategorien til frivilligt at anvende højrisiko kravene. Sådanne adfærdskodeks kan også tilskynde den frivillige anvendelse af yderligere krav, eksempelvis inden for bæredygtighed eller mangfoldighed i udviklingsholdet. Afsnit X, XI og XII: Afsluttende bestemmelser (artikel 70-85) Afsnit X fastlægger forpligtelser vedrørende fortroligheden af information og data samt fastlægger regler for udveksling af oplysninger, der er indhentet i forbindelse med gennemførelsen af forordningen. Samtidig indeholder afsnittet også foranstaltninger til at sikre en effektiv gen- nemførelse af forordningen gennem sanktioner for overtrædelse af bestem- melserne, der er effektive, står i rimeligt forhold til overtrædelsen og har af- skrækkende virkning. Medlemslandene pålægges, at indfører regler om sank- tioner, herunder administrative bøder, hvor der blandt andet skal tages højde for mindre udbydere og nystartede virksomheder. Medlemslande skal med- dele Kommissionen om disse regler. I stil med GDPR tages der dog højde for medlemslandenes forskellige retssystemer, hvor det fastlægges, at admini- strative bøder kan anvendes på en sådan måde, at bøderne pålægges af kom- petente nationale domstole. I tilfælde af manglende overholdelse vedrørende forbud i artikel 5 eller ved manglende overholdelse af højrisiko kravene vedrørende data og datastyring i artikel 10 kan der pålægges bøder på op til 30 mio. euro eller op til 6 procent af den samlede globale omsætning i det foregående regnskabsår. I tilfælde af manglende overholdelse af andre bestemmelser i forordningen kan der på- lægges bøder op til 20 mio. euro eller op til 4 procent af den samlede globale 15/35 omsætning i det foregående regnskabsår. I tilfælde af afgivelse af ukorrekte, ufuldstændige eller vildledende oplysninger til nationale kompetente myn- digheder eller bemyndigede organer kan der pålægges bøder op til 10 mio. euro eller op til 2 procent af den samlede globale omsætning i det foregående regnskabsår. Afsnit XI indeholder regler for udøvelse og delegering af beføjelser til Kom- missionen, herunder for brugen af delegerede og gennemførelsesretsakter. Forslaget bemyndiger Kommissionen til, hvor det er relevant, at vedtage gen- nemførelsesretsakter for at sikre ensartet anvendelse af forordningen eller de- legerede retsakter til opdatering eller supplering af bilag 1 til 7, herunder til definitionen af kunstig intelligens samt listen over selvstændige højrisiko sy- stemer. Afsnit XII indeholder blandt andet en forpligtelse for Kommissionen om år- ligt at vurdere behovet for en opdatering af bilag 3 og til regelmæssigt at ud- arbejde rapporter om evalueringen og gennemgangen af forordningen. Samtidig fastlægges det i afsnittet, at forordningen kun finder anvendelse på højrisikosystemer, der allerede er bragt i omsætning eller taget i brug, hvis disse systemer undergår betydelige ændringer i forhold til deres design eller tilsigtede formål efter anvendelsesdatoen. Forordningen vil træde i kraft 20 dage efter offentliggørelse i Den Europæiske Unions Tidende og finde anvendelse to år efter ikrafttrædelsesdatoen. Dog skal overensstemmelsesvurderingerne, forvaltningen samt reglerne for sank- tioner være operationelle inden forordningens anvendelse. Derfor lægges der op til en tidligere anvendelsesdato for de disse områder, henholdsvis tre må- neder for overensstemmelsesvurderinger og forvaltningsstrukturen samt 12 måneder for sanktionsreglerne efter forordningens ikrafttrædelsesdato. 4. Europa-Parlamentets udtalelser Europa-Parlamentet har ikke forholdt sig til det konkrete forslag. Europa- Parlamentets Retsudvalg har dog den 20. oktober 2020 vedtaget en egen- initiativrapport vedrørende en lovgivningsramme for etiske aspekter af kunstig intelligens, robotter samt relaterede teknologier4 . Rapporten inde- holder blandt andet et forslag til en forordning. I Retsudvalgets forslag lægges der op til et anvendelsesområde, der både omfatter kunstig intelligens, robotteknologi og relaterede teknologier. For- slaget inddeler kunstig intelligens i to risikoniveauer: Højrisiko kunstig in- telligens og al anden kunstig intelligens. For de dele af teknologien, der anses for højrisiko, har Europa-Parlamentet ladet sig inspirere sig af de eti- 4 https://www.europarl.europa.eu/doceo/document/TA-9-2020-0275_EN.html 16/35 ske retningslinjer for pålidelig kunstig intelligens udarbejdet af Kommissi- onens ekspertgruppe. Europa-Parlamentet lægger desuden op til en mærk- ningsordning for højrisiko kunstig intelligens, som al anden kunstig intel- ligens også kan opnå, såfremt de lever op til kravene for højrisiko. Herud- over lægger Europa-Parlamentet op til, at hvert medlemsland etablerer nye myndigheder til eksempelvis kontrol af kunstig intelligens, samt at Kom- missionen etablerer en ny arbejdsgruppe for sikkerhed og forsvar, der skal se nærmere på policy og investeringsspørgsmål relateret til den etiske brug af kunstig intelligens, robotter og relaterede teknologier inden for sikker- hed og forsvar. 5. Nærhedsprincippet Kommissionen vurderer, at regulering på EU-niveau er nødvendig henset til karakteren af kunstig intelligens, der ofte er afhængig af store og varie- rede datasæt, og der kan være integreret i ethvert produkt eller enhver tje- neste til fri cirkulation i det indre marked. Uden regulering på EU-niveau vurderer Kommissionen, at der er risiko for, at medlemslande vedtager egne regler for kunstig intelligens, der potentielt kan divergere eller være modstridende. Dette vil hæmme den frie bevæge- lighed af produkter og tjenester med kunstig intelligens-systemer samt bremse markedsoptagelsen af kunstig intelligens i EU, herunder grundet juridiske usikkerhed og barrierer. Derudover vurderer Kommissionen, at dette vil lede til ineffektiv beskyttelse af sikkerheden og af de grundlæg- gende rettigheder samt EU’s værdier i de forskellige medlemslande. Af disse grunde ser Kommissionen derfor, at EU-regulering er nødvendig for at opnå formålet om at fremme et indre marked for lovlige, sikre og påli- delige kunstig intelligens-systemer. Regeringen er enig med Kommissionen i, at regulering af området bør ske på EU-niveau, da ensartet regulering er nødvendig for realiseringen af det digitale indre marked. Derfor vurderer regeringen på det foreliggende grundlag, at nærhedsprincippet er overholdt. 6. Gældende dansk ret Der findes på nuværende tidspunkt ikke en specifik juridisk ramme for kun- stig intelligens hverken på europæisk eller nationalt plan. Udviklingen og anvendelsen af kunstig intelligens er dog underlagt eksi- sterende lovgivning, der ikke nødvendigvis indeholder specifikke krav til kunstig intelligens, men alligevel fastsætter regler om eksempelvis beskyt- telse af grundlæggende rettigheder, herunder blandt andet ligestilling, for- brugerbeskyttelse og databeskyttelse, samt inden for områderne såsom 17/35 asyl, migration, retligt samarbejde, finansielle tjenester samt produktsik- kerhed. Disse har direkte indvirkning på udviklingen og anvendelsen af kunstig intelligens. 7. Konsekvenser Lovgivningsmæssige konsekvenser Forslaget vil indebære lovgivningsmæssige konsekvenser. Blandt andet vil forslaget supplere visse eksisterende sektorretsakter inden for produkt- samt finansområdet, hvor disse retsakter skal tage højde for højrisikokra- vene i forbindelse med overensstemmelsesvurderinger eller risikostyrings- procedurer. Såfremt disse sektorretsakter er implementeret i dansk lovgiv- ning, kan det potentielt kræve lovændringer i Danmark. Samtidig vil forslaget kræve, at Danmark indfører regler for sanktioner. Økonomiske konsekvenser Statsfinansielle konsekvenser Det forventes, at forslaget vil medføre statsfinansielle konsekvenser, idet udpegning eller etablering af en national tilsynsmyndighed, der er ansvarlig for implementeringen af forordningen, vil kræve ressourcer. Tilsynsfunk- tionen kan bygge på eksisterende strukturer, men vil kræve tilstrækkelig teknologisk ekspertise og ressourcer. Kommissionen vurderer, at ressour- cebehovet afhængig af den eksisterende struktur i hvert medlemsland kan udgøre 1 til 25 fuldtidsansatte. Derudover vil det kræve ressourcer i forhold til etableringen af det europæiske udvalg for kunstig intelligens, hvor hvert medlemsland skal udpege en repræsentant. Der vil ligeledes opstå en for- øgelse af ressourceforbruget hos den eller de myndigheder, der udpeges til kompetente myndigheder, idet forordningen medfører en øget sagsmængde eller en udvidet opgaveportefølje, herunder i forhold til den kontinuerlige evaluering af forordningen, der er indbygget i forslaget. Ligeledes forventes forslaget at medføre væsentlige administrative byrder for offentlige myndigheder til efterlevelse af de krav, der påkræves i for- bindelse med højrisiko kunstig intelligens, herunder proces- og dokumen- tationskrav samt krav om menneskeligt tilsyn. Samtidig kan kravene med- føre statsfinansielle konsekvenser for den højrisiko kunstig intelligens, der udvikles og anvendes af offentlige myndigheder i forbindelse med kravet i den politiske aftale om digitaliseringsklar lovgivning. Omfanget af de statsfinansielle konsekvenser skal undersøges nærmere. 18/35 Samfundsøkonomiske konsekvenser Forslaget vurderes at kunne få positive samfundsøkonomiske konsekven- ser, såfremt de harmoniserede regler er med til at styrke tilliden samt skabe juridisk klarhed i det indre marked for kunstig intelligens og deraf resultere i øget optag samt forbedrede skaleringsmuligheder. Det vurderes, at det potentielt kan have en positiv effekt på samfundsøkonomien i form af øget produktivitet og konkurrenceevne. Erhvervsøkonomiske konsekvenser Forslaget forventes at medføre væsentlige administrative byrder for de om- fattede virksomheder, herunder særligt i forbindelse med efterlevelsen af de krav, der påkræves i forbindelse med højrisiko kunstig intelligens. Da forslagets krav forventes at omfatte danske virksomheder, vurderes de samlede administrative byrder at kunne have et betydeligt omfang. Konse- kvenser for danske virksomheder vil både omfatte udviklingen samt anven- delsen af de omfattede systemer, herunder ligeledes proces- og dokumen- tationskrav. Eksempelvis kan kravet om menneskeligt tilsyn medføre efter- levelseskonsekvenser i forbindelse med opkvalificering af medarbejdere samt årlige lønudgifter forbundet med tilsynet. Herudover forventes forslagets gennemsigtighedsforpligtelser ved visse systemer med begrænset risiko samt den frivillige vedtagelse af adfærds- kodeks at medføre administrative byrder. Forbud mod visse systemer kan derudover medføre øvrige efterlevelseskonsekvenser, idet forbud udgør en produktionsbegrænsning for virksomheder. Det er dog uvist, hvorvidt der er danske virksomheder, der vil være omfattet af de konkrete forbud. Andre konsekvenser og beskyttelsesniveauet En vedtagelse af forslaget forventes at kunne forbedre beskyttelsesniveauet for borgere, forbrugere og samfundet som helhed som følge af, at forslaget har til hensigt at skabe et mere ansvarligt indre marked for kunstig intelli- gens. Dette ved at stille krav til udviklingen og anvendelsen af den del af teknologien, der kan have negativ eller direkte skadelig indvirkning på sik- kerhed, gældende lov samt grundlæggende rettigheder. 8. Høring Forslaget har været sendt i EU-specialudvalget for konkurrenceevne, vækst og forbrugerspørgsmål med frist for bemærkninger den 5. maj 2021. Der er indkommet høringssvar fra Dansk Erhverv, Dansk Industri, Dansk Stan- dard, Finans Danmark, Finansforbundet, Forbrugerrådet Tænk, Forsikring & Pension, Ingeniørforeningen IDA, IT-Branchen og Kommunernes Landsforening. 19/35 Generelle bemærkninger Dansk Industri (DI) ser Kommissionens forslag som en mulighed for, at medlemslandene skal være de bedste i verden til at bruge data og kunstig intelligens på en ansvarlig måde. Der er behov for at regulere området, hvil- ket virksomhederne også har efterspurgt, men det skal ske med den rette balance. På den ene side skal anvendelsen af kunstig intelligens fører til beslutninger, resultater og anbefalinger, som man kan stole på. På den an- den side skal man huske, at anvendelsen af kunstig intelligens kan være en afgørende faktor i løsningen af samfundsudfordringer som den grønne om- stilling og skabe ny vækst, og at man ikke må stille urealistiske krav og administrative byrder, der hæmmer innovationen og rammer bredere end tiltænkt. Dansk Standard fremhæver, at den kommende lovgivning kan få global effekt. Høje standarder kan være en effektiv måde at opnå indflydelse glo- balt og kan fremme den europæiske konkurrenceevne. Virksomheder, som vil sælge deres produkter på det attraktive europæiske marked, må udvikle produkter som overholder europæisk lovgivning. De høje europæiske stan- darder og produktkrav kan dermed migrere til andre dele af verden. Finans Danmark hilser Kommissionens udspil velkomment. Finans Dan- mark ser store muligheder i brugen af kunstig intelligens, da det giver mu- lighed for, at Europa kan øge velstanden for borgerne og sætte skub i væk- sten for virksomhederne. Det er vigtigt, at der etableres en sammenhæn- gende og robust regulering af kunstig intelligens. Det vil på den ene side tilvejebringe gode rammer for at udvikle og udbrede kunstig intelligens, og på den anden side sikre at borgere og forbrugere trygt kan anvende de løs- ninger, der anvender kunstig intelligens. Finansforbundet er positivt indstillet over for regulering på området, hvor der bør reguleres med udgangspunkt i europæiske værdier og beskyttelse af mennesker. Virksomheder må redegøre for beslutninger som træffes al- goritmisk og stå til ansvar for fejlagtige beslutninger. Teknologierne må og skal anvendes konstruktivt og ikke til øget overvågning. Derfor skal regler og kodekser tilsige, hvad kunstig intelligens må bruges til, og navnlig hvad den ikke må bruges til. Transparens i anvendelsen af ethvert kunstig intel- ligens-værktøj er ligeledes af stor vigtighed. Finansforbundet mener, at virksomheder bør følge et forklaringsprincip og redegøre for de beslutninger, der træffes af algoritmer. Ansvaret ligger entydigt hos ledelsen, hvis der træffes fejlagtige beslutninger ud fra algo- ritmens beregninger. Virksomheden bør opstille klare retningslinjer og grænser for værktøjerne, ligesom virksomheder skal udvikle, implementere og følge et handlingsorienteret og praksisnært dataetisk kodeks. 20/35 Forbrugerrådet Tænk støtter Kommissionens forslag, idet det er nødven- digt med regler, der sikrer en dataetisk tilgang til udvikling og brug af kun- stig intelligens i hele EU. Kunstig intelligens indgår allerede i kommerci- elle produkter og tjenester målrettet forbrugere, ligesom kunstig intelligens er taget i anvendelse i den offentlige sektor. Udviklingen forventes at gå stærkt og derfor haster det med at få et regelsæt på plads, så en dataetisk tilgang til at udvikle og anvende teknologien harmoniseres på tværs af EU. Ingeniørforeningen IDA (IDA) er positive over for EU’s tilgang til regu- lering af kunstig intelligens, når formålet blandt andet er at skabe en euro- pæisk vej – et alternativ til den amerikanske ”data for profit” og den kine- siske ”data for control”. Kunstig intelligens er en ny og relativ umoden tek- nologi, der udvikler sig hurtigt. Der er flere steder i verden sat store summer af til forskning og udvikling med forskellige formål, der ikke nødvendigvis er i overensstemmelse med danske eller europæiske værdier. Det er derfor vigtigt, at myndighederne er med til at sætte demokratisk fastsatte rammer for, hvad man vil med denne teknologi, hvad den skal bruges til, og hvad man ikke ønsker, at den skal bruges til. IDA fremhæver, at kunstig intelligens og den enkelte borgers retssikkerhed skal gå hånd i hånd. Datakvaliteten skal ligeledes være i orden. De fejl, der lægges ind i kunstig intelligens, går igen i outputtet og i langt større skala, end man er vant til. Derudover finder kunstig intelligens mønstre i eksiste- rende data og gentager disse. Det vil sige, at hvis ikke man er opmærksom, kommer man til at forstærke de uhensigtsmæssigheder og problemer, som man allerede har i dag. IDA mener, at formålet med en regulering må være at understøtte tillid til brug af data, så flere data kan komme ud at arbejde. IT-Branchen mener, at det er positivt, at EU går forrest og skaber en ramme for regulering af kunstig intelligens som modspil til tilgangen fra USA og Kina. Helt overordnet bliver det afgørende, at reguleringen ikke afskrækker brugen af kunstig intelligens. For kunstig intelligens rummer store muligheder for at gøre samfundet endnu bedre. Danske virksomheder efterspørger klare og ensartede regler inden for kunstig intelligens, som gælder på tværs af landegrænser og som skaber lige konkurrencevilkår. IT-Branchen ser, at det bliver helt centralt, hvordan resten af verden tager imod reguleringen, så virksomhederne i EU ikke skal leve op til forskellige regler i forskellige verdensdele. Det vil ikke kun svække virksomheders konkurrenceevne, men det vil være en stopklods for innovation og udvik- ling til det globale marked. I værste fald risikerer EU at blive valgt fra som et attraktivt sted for nye startups. En forsigtig og præventiv tilgang til re- gulering kan have en stor effekt på innovationshøjden i EU. Helt generelt 21/35 mener IT-Branchen, at regulering som udgangspunkt bør være teknologi- neutral, og at etisk problematiske anvendelser af datadrevne løsninger ikke kan afgrænses til kunstig intelligens. Kommunernes Landsforening (KL) mener, at det er relevant med en EU- indsats til regulering af anvendelse af kunstig intelligens, og at den skal sikre borgernes rettigheder og tillid til den offentlige sektor. Reguleringen skal tage højde for medlemslandenes forskelligheder samt det forhold, at diskussionerne om dataetik og kunstig intelligens er forskellige steder på tværs af EU. KL mener, at der i den offentlige sektor er behov for klare juridiske rammer og brugbare redskaber samt hjælp til at forstå og fortolke, hvordan man må arbejde med kunstig intelligens. Det er afgørende, at gen- nemsigtighed sikrer, at borgere kan have tillid til og kan gennemskue, at myndigheder anvender kunstig intelligens ansvarligt. KL finder, at kunstig intelligens skal anvendes, hvor det kan effektivisere og forbedre den kommunale administration og sagsbehandling, men finder samtidig også, at det er afgørende, at beslutninger, der regulerer væsentlige forhold for borgere, ikke alene kan træffes på baggrund af behandlinger foretaget med kunstig intelligens. KL fremhæver ligeledes arbejdet med signaturprojekter vedrørende anvendelse af kunstig intelligens på en række kommunale fagområder. En kommende forordning og en efterfølgende dansk implementering bør blandt andet tage afsæt i de konkrete kommu- nale erfaringer og behov fra signaturprojekterne. Specifikke bemærkninger Forslagets anvendelsesområde og definitioner Dansk Erhverv (DE) bemærker, at en stor del af de problemer, som for- ordningen er sat i verden for at løse, allerede er eller burde være dækket under anden regulering. Bedre håndhævelse af de eksisterende regler er en genvej til at mitigere nogle af de risici, der søges at adressere. Heri ligger også, at der er nogle handlinger, hvor lovligheden ikke bør afgøres af, om det er en maskine, der udfører dem, eller et menneske. DE mener, at forslaget bruger en uklar og uhensigtsmæssig definition på kunstig intelligens, og der bør skelnes yderligere mellem, hvordan kunstig intelligens anvendes. Bilag 1 inkluderer ganske almindelige statistiske værktøjer og metoder til sandsynlighedsberegning. Med så bred en defini- tion er der et stort antal databehandlingsværktøjer, der risikerer at falde ind under lovgivningen, som ret beset intet har at gøre med kunstig intelligens. Samtidig nævnes ”AI systems that continue to ’learn’ after being placed in the market” som en særskilt kategori. Det understreger behovet for en kla- rere forståelse af, hvad kunstig intelligens dækker over, da netop evnen til 22/35 at imitere menneskelig læring og optimering i forhold til opgaveløsning er en del appellen ved at bruge kunstig intelligens. DE bemærker, at der i forslaget skelnes til formålet og konteksten for an- vendelse af kunstig intelligens, men at der med fordel også bør skelnes mellem algoritmer, der er designet til at kunne træffe beslutninger, samt de mange andre måder som kunstig intelligens anvendes på. DE støtter desuden, at kunstig intelligens-systemer, der allerede er bragt til markedet forud for forordningens ikrafttræden, ikke omfattes, såfremt der ikke sker væsentlige ændringer i systemernes design eller formål. DI bakker op om en risikobaseret tilgang til regulering af kunstig intelli- gens. DI fremhæver, at med forslagets definition af kunstig intelligens, der inkluderer brug af statistiske metoder, samt med definitionen af højrisi- koanvendelse i produkter vil forordningen komme til at ramme mange al- lerede etablerede digitale løsninger, hvor krav om involvering af tredje- partskontrol vil være urimelig dyr og unødvendig, når det gælder produk- ter. DI bemærker i den forbindelse, at de eksisterende krav allerede er om- kostningskrævende, og de ekstra krav risikerer derved at bremse innovati- onslysten. En løsning kunne være at indskrænke definitionen ved at ude- lade de statistiske metoder. Alternativt kan det undtages i maskinprodukt- forordningen og tilsvarende reguleringer. Finans Danmark anbefaler en risikobaseret tilgang med flere risikoni- veauer. En risikobaseret tilgang med kun to niveauer vil sandsynligvis re- ducere anvendelsen af kunstig intelligens. Finans Danmark ser, at der med fordel kan søges inspiration i, hvorledes den finansielle regulering fungerer i forhold til fintech, hvor man arbejder med en regulatorisk perimeter. Så- dan en tilgang vil både sikre forbrugerbeskyttelsen samt understøtte inno- vation og udvikling. Finans Danmark finder, at forslaget ikke sondrer tydeligt mellem kunstig intelligens, der anvendes til at støtte menneskelige beslutninger, og den kunstige intelligens, der fungerer autonomt. En risikobaseret tilgang bør afstedkomme lettere regulatoriske krav til kunstige intelligens, der kun bru- ges til at hjælpe mennesker med at træffe beslutninger, hvorimod autonome kunstige intelligenser skal reguleres mere indgående. Samtidig er det vig- tigt at sikre lige vilkår for alle brancher og geografier. Finansforbundet mener, at den valgte tilgang med horisontal lovgivning og proportional, risikobaseret tilgang til brugen af kunstig intelligens, her- under med angivelse af ikke tilladt kunstig intelligens-benyttelse, som går imod EU’s værdier, virker fornuftig. 23/35 Forsikring & Pension mener, at det er positivt, at Kommissionen lægger op til, at reguleringen bliver risikobaseret og proportional, så der alene fo- kuseres på højrisiko og forbudte applikationer, og at almindelige robot-au- tomatiseringsprocesser ikke rammes af unødvendige skrappe krav. Defini- tionen af kunstig intelligens og anvendelsesområdet for reguleringen ser ud til at blive indskrænket. Det er positivt, fordi en bred definition af begrebet kunstig intelligens vil ramme en lang række almindelige automatiserings- processer, der ikke udgør nogen risiko for forbrugerne. Forsikring & Pen- sion fremhæver, at bilag 1 referer til en række teknikker, der karakteriseres som kunstig intelligens. Der kan dog stadig være juridisk uklarhed om, hvorvidt et system er omfattet eller ej, hvilket bør klarlægges. KL mener, at en risikobaseret tilgang i sig selv er fornuftig, men at der er behov for en udfoldning og dialog om, hvilke kriterier der skal lægges til grund for en bestemt risikovurdering, og at der skal være mulighed for at kategorierne kan nuanceres af de enkelte lande. Der vil i konkrete tilfælde være stor forskel på, hvilke formål som løsningen skal bidrage til, og der er derfor behov for en nuanceret tilgang, der indeholder en relativt fintma- sket risikovurdering til det enkelte projekt. Placeringen i risikogruppen og dertilhørende forpligtelser skal tage højde for en given løsnings kombina- tion af formål, teknologi og output. KL mener, at det på nuværende tids- punkt er vanskeligt at vurdere konsekvenserne af forordningen, og at der er derfor behov for dybere præciseringen af konkrete reguleringstiltag. Forbudt praksis med hensyn til kunstig intelligens DE mener, at nogle af de problemer, som forslaget skal løse, allerede er klart ulovlige. Som eksempel på kunstig intelligens, der udnytter udsatte grupper, har Kommissionen præsenteret, at dette kan være en dukke, der med en integreret stemmeassistent, opfordrer børn til at udføre farlige handlinger. Uanset om denne stemmeassistent har en kunstig intelligens- komponent eller blot er en optagelse, der afspilles ved faste intervaller, har DE en klar formodning om, at dette allerede er dækket af eksisterende lov- givning – og at det ellers under alle omstændigheder burde være det. Det er med til at understrege, at Kommissionen enten er i færd med at regulere områder, som allerede er dækket under anden lovgivning, eller at Kommis- sionen er uklar på, hvad formålet med forordningen er. Derfor mener DE, at der med fordel kan arbejdes på at skabe større klarhed om forordningens intention og formål. DE er til dels enige i, at der kan være brug af kunstig intelligens, som strider mod vores europæiske værdier og rettigheder, men i artikel 5 forbydes an- vendelse af kunstig intelligens i for brede træk , således at det kan forhin- dre, at teknologiens potentiale bruges til gode formål. 24/35 Forbrugerrådet Tænk mener, at selvom kunstig intelligens kan skabe en positiv forandring i samfundet, kan teknologien også gøre skade på det en- kelte individ. Det sker, hvis de algoritmer, der i fremtiden kommer til at træffe beslutninger og afgørelser, diskriminerer og dermed ikke udvikles på betryggende vis, eller hvis den data, der anvendes til analyserne, ikke er forsvarligt sikret. Forbrugerrådet Tænk støtter derfor, at forslaget lægger op til at forbyde visse former for brug af kunstig intelligens, ligesom for- slaget henviser til, at charteret for menneskerettigheder og databeskyt-tel- seslovgivningen/GDPR skal overholdes. Højrisiko kunstig intelligens-systemer DE bemærker, at en række produkter, hvor højrisiko kunstig intelligens indgår som komponent, blandt andet køretøjer, kun er omfattet af forord- ningens artikel 84 vedrørende evaluering og gennemgang. Dette bør udvi- des til at gælde alle eksisterende produktdirektiver mv., da den nuværende opdeling, hvor nogle produktkategorier både reguleres af sektorspecifik re- gulering og denne forordning, giver anledning til regulatorisk overlap, uigennemsigtighed og usikkerhed for virksomhederne. DE bemærker, at datasæt til træning, validering og test af kunstig intelli- gens-systemer pålægges krav om at være fri for fejl. DE støtter intentionen om høj datakvalitet, som er fri for bias og er repræsentativ, men med de meget store datasæt, der kræves for at kunne træne algoritmer, vil det være tidskrævende og ressourcetungt at skulle sikre, at der ikke er en eneste fejl i datasættet. Dette vil medføre betydelige administrative byrder for virk- somheder og kan reducere innovation og afprøvning af nye løsninger. DE fremhæver, at der stilles krav om, at teknisk dokumentation bør være opdateret. Her vil det være hensigtsmæssigt at have klare rammer for, hvor ofte materialet skal opdateres for at leve op til dette krav. Derudover vil det være hensigtsmæssigt med flere templates og/eller eksempler. Det gælder både systemer til kvalitetstjek, men kan også udvides til at omfatte eksem- pelvis teknisk dokumentation mv. DE fremhæver, at det vil være vanskeligt for udviklere, leverandører og forhandlere at sikre fuld forståelse for kapacitet og begrænsninger ved et givent kunstig intelligens-system hos den person hos brugeren, der har an- svar for menneskeligt tilsyn. En del af dette ansvar bør pålægges brugerne, ligesom det understreger behovet for investeringer i uddannelse, kompe- tence- og vidensløft i befolkningen, efterhånden som flere medarbejdsgrup- per skal bruge forskellige former for kunstig intelligens. DE anser det for fornuftigt, at der stilles krav til modstandsdygtigheden i højrisiko kunstig intelligens-systemer, men der vil altid være en mulighed 25/35 for, at der opstår fejl eller lignende, når systemet interagerer med menne- sker. Det er ikke muligt at lave systemer, som er fuldstændigt sikrede mod fejl 40-hændelser, og derfor er investeringer i uddannelse vigtig for at re- ducere denne type risiko. DE mener desuden, at der er uklarhed, i forhold til hvornår et højrisiko kunstig intelligens-system skal revurderes. DI mener, at der er behov for afklaring af definitionen af højrisikoanven- delse i produkter. Det er uklart, om det alene er kunstig intelligens designet til at indgå i sikkerhedskomponenter, der er omfattet, eller om det også gælder andre anvendelser, der kræver tredjepartskontrol. Ifølge NLF skal lovgiver vælge de moduler til overensstemmelsesvurdering, som er rele- vante i forhold til størrelsen af risikoen. Derfor synes det logisk at kræve tredjepartskontrol ved højrisikoanvendelse. DI finder dog, at forslaget de- finerer risiko omvendt, hvor en anvendelse af kunstig intelligens bliver be- tragtet som højrisiko, hvis sektorlovgivningen stiller krav om tredjeparts- kontrol. Det kan gælde produktkategorier, men det kan også opstå ved manglende harmoniserede standarder. De nuværende problemer med at harmonisere europæiske standarder kan få afgørende indflydelse på, hvilke anvendelser af kunstig intelligens der karakteriseres som højrisikoanven- delse. Løses problemet ikke, vil det medføre unødigt store omkostninger. DI fremhæver, at forslagets massive bødestørrelser stiller ekstra høje krav til, at det skal være tale om tydelige kriterier, klarhed over hvorvidt virk- somhederne indfrier kravene, og at reguleringen ikke rammer bredere end tiltænkt. I forhold til selve kravene ved højrisikoanvendelse af kunstig in- telligens bør der være mere fokus på den ønskede effekt end at stille speci- fikke krav til at opnå den ønskede effekt. DI finder det afgørende for regu- leringens succes og europæiske virksomhedernes konkurrenceevne, at der arbejdes videre med forslaget på disse områder for at skabe mere klarhed. Det er vigtigt, at reguleringen ikke rammer skævt, for bredt eller bliver uhåndterbar for virksomhederne, når den rammer virkeligheden. Finans Danmark mener, at der kan forventes et løbende behov for at re- vurdere, hvilken kunstig intelligens der er højrisiko, da teknologien er un- der udvikling. Hvis ikke der etableres løbende justeringer, vil regulering sandsynligvis over tid komme til at ramme skævt i forhold til formålet om beskyttelse og innovation. Forbrugerrådet Tænk mener, at definitionen af højrisiko kunstig intelli- gens ikke må være for snæver. Hvis begrebet fortolkes snævert, vil en masse kunstig intelligens-løsninger, som forbrugerne omgiver sig med hver eneste dag, falde uden for reglerne, og forbrugerbeskyttelsen vil alene skulle sikres gennem frivillige retningslinjer. Forbrugerrådet Tænk mener, 26/35 at højrisiko kunstig intelligens også bør omfatte andre mulige skader eller ulemper hos forbrugeren såsom økonomisk tab eller økonomisk diskrimi- nation samt købs- og fastholdelsesmanipulation. Forordningens krav om fysisk og psykisk skadevirkning bør derfor udvides. Forsikring & Pension finder det positivt, at Kommissionen er gået bort fra at definere særlige sektorer som højrisikosektorer med høj regulering af al anvendelse af kunstig intelligens inden for den pågældende sektor til følge. Det giver bedre mening at fokusere på en risikobaseret tilgang til den konkrete anvendelse af kunstig intelligens og alene fokusere på at sætte rammer omkring højrisikoanvendelse for at sikre borgernes rettigheder, hvor der er en reel risiko. Forsikring & Pension opfordrer til, at man fra dansk side bakker op om dette fremadrettet. IT-Branchen byder opdelingen i risikokategorier velkommen, da det er med til at skabe klarhed. Samtidig bliver det afgørende, at listen over høj- risiko kunstig intelligens med tiden ikke vokser sig lang og uoverskuelig. Man skal være helt skarpe på, at det kun er løsninger, hvor det er betydelig risiko for skade, ender med at falde i kategorien højrisiko kunstig intelli- gens. IT-Branchen mener, at der skal foreligge et klart mandat og kriterier, før listen kan udvides med nye områder - og først efter dialog med eksperter og virksomheder med branchekendskab. Overensstemmelsesvurdering af højrisiko kunstig intelligens, herunder ud- arbejdelse af standarder og fælles specifikationer DE bemærker, at der vil være behov for fælles standarder og specifikatio- ner, der i dag ikke eksisterer, for at udføre overensstemmelsesvurderinger. Forslaget giver Kommissionen opgaven med at implementere disse. DE mener, det vil være bedre, hvis denne opgave blev løst i de regulatoriske sandkasser, da det vil være en ny tilgang til regulering af teknologi. Det vil samtidig give en mere permanent og veldefineret rolle til sandkasserne. DI ser, at når det gælder de standarder, der skal gøre det muligt at opnå formodning om overensstemmelse med forslagets krav, vil Kommissionen udvikle mandater til brug for det europæiske standardiseringssystem. Sam- tidig vil forordningen finde anvendelse 30 måneder efter, at den er trådt i kraft. DI sætter spørgsmålstegn ved, om det er realistisk, at de nødvendige standarder er tilgængelige på det tidspunkt, samt om disse standarder også skal harmoniseres under sektorreguleringen eller alene under forordning om kunstig intelligens. Forslaget lægger op til, at overensstemmelsen med kravene skal foretages i forbindelse med udarbejdelse af overensstemmel- sesvurderingen i sektorlovgivningen. Der er derfor behov for en nærmere analyse af, hvordan samspillet mellem denne forordning og den sektorspe- cifikke lovgivning skal fungere i praksis. 27/35 DI og Dansk Standard fremhæver, at der i forslaget lægges op til, at Kom- missionen selv kan udvikle tekniske specifikationer, hvis standarder til brug for publicering ikke udvikles tilstrækkeligt hurtigt. Reelt betyder det, at Kommissionen får beføjelser til at udvikle detailregulering, som det el- lers med NLF er formålet at undgå. Beføjelsen bør skrives ud af forslaget. Alternativt bør der stilles samme krav til udvikling af de tekniske specifi- kationer som i standardiseringsforordningen. Dansk Standard finder det positivt, at Kommissionen lægger op til, at høj- risiko kunstig intelligens håndteres med NLF-tilgangen og brug af CE- mærkning med henholdsvis egne erklæringer og tredjepartserklæringer. Denne tilgang bør fastholdes. Dansk Standard finder det positivt, at harmoniserede standarder er til- tænkt en vigtig rolle i forhold til at hjælpe virksomhederne med at over- holde den nye lovgivning. Samtidig er det vigtigt, at myndigheder, som senere skal varetage markedsovervågning på området, har forståelse for det tekniske indhold i standarderne. Ligeledes kan det være en fordel, at de bemyndigede organer, som skal udføre tredjepartsvurderinger, får grundigt kendskab til de standarder, som de skal anvende. IT-Branchen mener, at det kommer til at kræve betydelige administrative omkostninger for virksomhederne at skulle dokumentere og teste, at de le- ver op til reglerne inden for højrisikoområderne. Det bliver derfor afgø- rende, at danske og europæiske virksomheder kan forstå og agere ud fra lovgivningen, og at virksomhederne i videst muligt omfang ikke skal ind- sende samme dokumentation til flere instanser. Det kræver, at EU får skabt en fleksibel lovgivningsramme uden unødigt bureaukrati. Der kan med for- del fra national side oprettes støttefunktioner til at guide særligt de små og mellemstore virksomheder (SMV’erne). KL finder det væsentligt, at ny regulering ikke påfører myndigheder bu- reaukrati i forhold til at implementere de kommende regler. Særligt kan der være opmærksomhed på at holde eventuelle dokumentationskrav på et mi- nimum. Derudover fremhæver KL, at det bør anerkendes, at reguleringen introduceres på et område, hvor der allerede sker anvendelse af teknolo- gien. Myndighederne, herunder kommunerne, bør således sikres en til- strækkelig frist og fleksibilitet til at forholde sig til reguleringen, så man ikke sanktioneres for positive frontrunner indsatser. Samtidig er det cen- tralt, at kommunernes erfaringer med konkrete løsninger indarbejdes i stan- dardiseringsarbejdet, således at de danske myndigheders erfaringer og den danske forvaltningstradition bliver repræsenteret i arbejdet. 28/35 Eksisterende lovgivning og NLF DI støtter, at kravene vedrørende højrisikoanvendelsen i produkter bygger på principperne bag NLF. Visse steder bryder forslaget med NLF såsom Kommissionens mulighed for at udarbejde tekniske specifikationer samt kravet om, at udbyder skal monitorere regelefterlevelse af systemet gen- nem hele dets livscyklus. Sidstnævnte åbner desuden en række spørgsmål om deling af data, der kan påvirke fortrolighed og intellektuelle ejendoms- rettigheder. DI opfordrer til, at man fra dansk side anmoder Kommissionen om at redegøre for uoverensstemmelser med NLF-grundlaget. DI mener, at man kun bør ændre på de grundlæggende principper bag NLF, hvis det er absolut nødvendigt, og DI savner argumenter, der begrunder denne gen- nemgribende ændring. Desuden vil Kommissionen som led i evaluering af NLF undersøge, hvordan brug af nye teknologier påvirker NLF, hvorfor introduktion af ændringer i dette forslag forekommer præmaturt. DI fremhæver, at mange EU-initiativer påvirker produkter. Hvis regelef- terlevelse skal sikres på sigt, er det vigtigt at forholde sig til, hvordan de forskellige lovgivninger spiller sammen, så resultatet bliver en lovgiv- ningsmæssig ramme, der fungerer for virksomhederne. Dansk Standard fremhæver, at Kommissionens tilgang, der bygger på NLF og udarbejdelsen af standarder, er en væsentlig lettere metode for virksomhederne at efterleve samt vil være med til at skabe en agil regule- ring, da der løbende kan justeres via tekniske standarder. Det kan i den forbindelse være vigtigt at fastholde krav om rimelige overgangsordninger, således at virksomheder kan nå at omstille sig til nye krav. Dansk Standard ser desuden positivt på, at for kunstig intelligens-kompo- nenter, der allerede er en del af regulerede produkter med tredje-partsvur- dering, bygges der videre på NLF-modellen med CE-mærkning. Der vil dog være udgifter forbundet med udvidelsen af tredjepartsvurderingerne. Samtidig bør det overvejes, hvad samspillet mellem lovgivninger kommer til at indebære, også i relation harmoniserede standarder. Krav om forbrugerrettigheder Forbrugerrådet Tænk savner, at der i regelsættet indgår forbrugerret- tigheder, som forbrugerne kan gøre brug af, når de agerer med virksomhe- der og myndigheder, der anvender kunstig intelligens. Forslaget henvender sig nuværende udformning først og fremmest til virksomhederne med ram- mer og krav, hvorimod forbrugerbeskyttelse som et grundelement og de rettigheder, der medfølger i den forbindelse, helt er udeladt. En forbruger bør eksempelvis kunne klage direkte til virksomheden, såfremt den er uenig i en algoritmisk afgørelse, ligesom muligheden for et menneskeligt til- syn/revurdering bør sikres. Uanset at GDPR indeholder en bestemmelse 29/35 om kunstig intelligens, bør en tilsvarende regel adresseres direkte i dette forslag. Gennemsigtighedsforpligtelser for visse systemer Forbrugerrådet Tænk mener, at der bør indgå et krav om, at kunstig in- telligens-systemer rettet mod forbrugere skal deklareres. Forsikring & Pension fremhæver, at der fastsættes krav om, at systemer, der skal interagere med mennesker, er designet på en måde, så det er tyde- ligt for personen, at det er et kunstig intelligens-system, der interageres med. I det omfang det måtte omfatte chatbots, henstilles det, at kravet ikke bliver unødvendigt bebyrdende. Foranstaltninger til støtte for innovation DE støtter ideen om regulatoriske sandkasser for at give bedre vilkår for innovation. DE mener dog, at dette bør følges af medfinansiering fra EU- budgettet og andre incitamenter, så det sikres, at der på tværs af medlems- staterne etableres et tilstrækkeligt antal sandkasser. Derudover ser DE po- sitivt på forslagene om at understøtte SMV’erne. Dog bør der fastsættes en grænse, så de mindste virksomheder og iværksættere fritages helt for at be- tale gebyrer og lignende i forbindelse med forordningens krav. Forvaltning og gennemførelse Dansk Standard mener, at det er vigtigt, at der indføres rimelige over- gangsperioder, da der er lagt op til en ambitiøs lovgivning, der stiller store krav til virksomheder og myndigheders kompetencer og viden på området. Finans Danmark støtter, at kommende tilsyn af den finansielle sektor vil skulle foretages af de reguleringsmyndigheder, som i dag har tilsynsfor- pligtelsen for de finansielle virksomheder. Hertil vil det være hensigtsmæs- sigt, hvis det for dette specifikke sektortilsyn blev muligt at anvende en mere risikobasseret tilgang, og at de finansielle tilsynsmyndigheder i højere grad kan fravige den firkantede højrisiko og lavrisiko tilgang. Finansforbundet mener, at det i denne sammenhæng kan være på sin plads med en forordning, så der sikres en helt ensartet tilgang i EU til dette vig- tige og komplicerede område. Det må dog sikres, at medlemsstaterne ikke hindres i at udvikle nationale tiltag for at understøtte forordningens regel- sæt og intentioner. Finansforbundet fremhæver desuden, at meget kunstig intelligens-software, som anvendes af virksomheder i Danmark og andre europæiske lande, er udviklet uden for EU. Det sætter ekstra fokus på krav om overholdelse af danske og europæiske værdier i implementeringen. Forbrugerrådet Tænk bemærker, at foruden klageadgang, er tilsyn og håndhævelse en afgørende forudsætning for reglernes effekt. Det er derfor 30/35 vigtigt, at tilstrækkelige myndighedsressourcer og tidseffektiv behandling af forbrugerklager ikke mindst over for globale teknologivirksomheder sik- res bedre, end tilfældet er i dag efter databeskyttelsesreglerne/GDPR. IT-Branchen noterer, at implementeringen af forslaget er henlagt til med- lemslandene. Det bliver afgørende, at der kommer ensartede nationale af- gørelser i alle medlemslande, og at der ikke skabes smuthuller og gråzoner ud fra nationale hensyn. IT-Branchen stiller spørgsmål ved, om medlems- landene er gearet til denne nye opgave, og hvilke(n) instans(er) der skal varetage opgaven. Det kommer til at kræve stor ekspertise i medlemslan- dene at varetage denne opgave, blandt andet da anvendelsesområderne ud- vikler sig over tid. Dette gør den administrative opgave med den fortlø- bende kontrol og regulering ekstremt tung. IT-Branchen er bekymret for, om alle medlemslandene har de nødvendige kompetencer, og om den uklare nationale implementering kan skabe øget usikkerhed for virksomhe- der på det europæiske marked. KL mener, at en god og effektiv implementering kræver viden og støtte. Det er vigtigt, at forordningen skaber klarhed over, hvilke regler og for- tolkninger der gælder. Med erfaring fra tidligere forordninger anbefales det, at der bliver krav om støtte til myndigheder i form af hurtig hjælp til afklaring af eventuelle spørgsmål, der følger af forordningen. På samme måde er det centralt, at leverandører af løsninger forpligtes til at sikre over- holdelse af reglerne i de løsninger, som de udbyder. Dermed vil de for- mentlig have samme behov for grundig regelindføring og -afklaring. KL mener, at der er brug for vejledning og konkrete værktøjer til at under- støtte reguleringen, og at disse skal være på plads inden reglerne træder i kraft, så virksomheder og myndigheder kan sikre overensstemmelse med lovgivningen uden overimplementering eller unødig bureaukratisk doku- mentation. Der bør afsættes finansiering til arbejdet med disse aktiviteter. Etablering af det europæiske udvalg for kunstig intelligens DE mener, at relevante interessenter skal inddrages i møderne i det euro- pæiske udvalg for kunstig intelligens. DI mener, at udvalget ikke alene skal følge implementeringen af den nye regulering for at sikre en gnidningsfri implementering, men også tage an- svaret på sig for at sikre, at implementeringen af reguleringen understøtter EU’s ambitioner om at tage ny teknologi i brug til innovation, vækst og for at skabe et bedre samfund. At skabe en god balance mellem at tage ny tek- nologi i brug og at beskytte samfundet mod en uhensigtsmæssig udvikling bør være en formel og prioriteret opgave for det foreslåede europæiske ud- valg for kunstig intelligens. 31/35 Sanktioner DE mener, at bødestørrelsen for brud på artikel 5 vedrørende forbudte an- vendelser virker unødvendigt højt. Det lægger to procentpoint oveni ram- men fra GDPR og kan være en medvirkende faktor til, at virksomheder helt fravælger at udvikle og levere kunstig intelligens til skade for europæisk vækst og innovation. Forsikring & Pension noterer, at forslaget anvender et bøderegime, der kendes fra konkurrenceretten og GDPR. Der stilles dog spørgsmålstegn ved proportionaliteten i det foreslåede bødeniveau, der umiddelbart virker voldsomt højt. KL mener, at det er vanskeligt at vurdere, hvilke sanktioner der vil blive gennemført, såfremt forpligtelserne ikke overholdes. Som ved GDPR er KL meget kritisk over for eventuelle økonomiske sanktioner til offentlige myndigheder. Adfærdskodeks DE bakker generelt op om initiativer båret af frivillighed, der kan bruges til at promovere en ansvarlig tilgang til digitalisering, herunder kunstig in- telligens. Her bør Danmark søge at integrere eksisterende indsatser, eksem- pelvis den danske mærkningsordning D-mærket, og eventuelt bruge for- ordningen som en løftestang for at udbrede mærket til resten af EU. DI fremhæver, at reguleringen ikke kommer til at finde anvendelse på en lang række anvendelser af kunstig intelligens, men derfor skal virksomhe- der ikke lade være med at tage ansvar. DI ser, at den danske mærknings- ordning D-mærket vil være et godt eksempel på et adfærdskodeks for kun- stig intelligens, der ikke er kategoriseret som højrisiko. DI opfordrer til, at der fra dansk side arbejdes for, at D-mærket anerkendes som et adfærdsko- deks for anvendelse af kunstig intelligens, der ikke reguleres som højrisiko. Finans Danmark mener, at den skarpe binære sondring mellem høj risiko og lav risiko sammenholdt med adgangen til frivilligt at underlægge sig højrisikoregulering sandsynligvis vil risikere ikke at have den ønskede virkning. Finans Danmarks vurderer, at en mere differentieret og risiko- baseret tilgang til reguleringen i højere grad vil styrke virksomhedernes in- teresse for frivilligt at efterleve kravene i den nye regulering. Finansforbundet støtter udvikling af adfærdskodekser som et vigtigt sup- plement til forordningens regler og intentioner. Det er samtidig vigtigt, at tilsynsmyndigheder mv. sættes i stand til at anvende disse kodekser proak- tivt, uden at området udvikler sig i omfang og kompleksitet på samme måde som eksempelvis GDPR. Det er vigtigt, at tiltagene kan være effektivt ret- ningssættende og eksempelvis facilitere transparente rapporteringer. 32/35 Delegerede retsakter DE bemærker, at forslaget i vid udstrækning åbner for brug af delegerede retsakter, hvilket øger usikkerheden for de virksomheder, som lovgivnin- gen rammer. DE er generelt af den holdning, at delegerede retsakter bør anvendes mindst muligt. DI bemærker, at forordningen lægger op til, at de nærmere krav til moni- toreringen af regelefterlevelsen skal ske i form af en delegeret retsakt. DI har brug for mere tid til at tage stilling til, om dette er den mest hensigts- mæssige løsning, skulle kravet blive fastholdt. 9. Generelle forventninger til andre landes holdninger Der foreligger på nuværende tidspunkt ikke konkrete oplysninger om andre landes holdninger til selve forslaget. Der forventes dog overordnet opbakning blandt medlemslandene til udform- ningen af en fælles lovgivningsramme til at fremme et indre marked for kun- stig intelligens. Dette set i lyset af det Europæiske Råds konklusioner fra ok- tober 2020, hvori der blev lagt vægt på, at EU bør være en global leder inden for udviklingen af sikker, pålidelig og etisk kunstig intelligens. 10. Regeringens foreløbige generelle holdning Regeringen mener, at digitaliseringen skal tjene samfundets interesser ved, at digitalisering bidrager til at adressere samfundets udfordringer, mens etisk, ansvarlig og sikker digitalisering går hånd i hånd med digital vækst. Regeringen arbejder for, at den digitale økonomi i Europa generelt kende- tegnes ved et højt niveau af tillid og tryghed samt en stærk digital konkur- renceevne baseret på innovationsfremmende og teknologineutrale ramme- vilkår, uden unødige byrder og barrierer. På den baggrund støtter regeringen ambitionen om at skabe et velfunge- rende indre marked for etisk, ansvarlig og sikker kunstig intelligens. Rege- ringen anser kunstig intelligens som en af de afgørende teknologier til at understøtte EU’s konkurrenceevne, velstand, grønne omstilling samt den offentlige forvaltning. Regeringen anerkender imidlertid, at anvendelsen af kunstig intelligens i visse situationer kan indebære en række alvorlige ri- sici, der kan underminere en etisk, ansvarlig og sikker anvendelse af kun- stig intelligens. Derfor støtter regeringen, at disse alvorlige risici adresseres i en europæisk lovgivningsramme. Regeringen lægger vægt på, at den europæiske lovgivningsramme følger en risikobaseret, teknologineutral og proportionel tilgang, hvor graden af forpligtelser følger graden af mulig skadevirkning. På den baggrund er det 33/35 nødvendigt med en klar og operationel lovgivningsramme, der sikrer bor- gernes tillid og øger beskyttelsen i samfundet, uden at dette unødigt hæm- mer innovationsevnen eller forringer konkurrenceevnen. Det er derfor cen- tralt at finde den rette balance, hvor alvorlige risici adresseres, samtidig med at teknologien kan udvikles og anvendes til gavn for vores samfund samt understøtte fremtidens arbejdspladser. I den henseende lægger rege- ringen vægt på, at lovgivningsrammen skaber et indre marked med sam- menhængende regler, hvor der tages højde for eksisterende lovgivning, og hvor der ikke skabes unødige administrative og økonomiske byrder for virksomheder og offentlige myndigheder. Fra regeringens side lægges der desuden vægt på, at forordningen ligger inden for rammerne af eksisterende kompetencefordeling, herunder for så vidt angår national sikkerhed. Overordnet finder regeringen, at der behov for klarlægning og afgrænsning af centrale begreber i forslaget. Regeringen lægger blandt andet vægt på, at definitionen af kunstig intelligens afgrænses, da egenskaberne af kunstig intelligens som defineret på nuværende tidspunkt spænder for bredt. I de helt særlige tilfælde, hvor anvendelsen af kunstig intelligens kan resul- tere i alvorlig, uoprettelig skade for individer eller samfundet eller er ufor- enelig med gældende lovgivning eller rettigheder, samt hvor dette ikke kan adresseres på anden vis, støtter regeringen et forbud af en sådan specifik anvendelse af kunstig intelligens. I forlængelse heraf mener regeringen, at anvendelsen af kunstig intelligens til biometrisk fjernidentificering i visse, men strengt begrænsede situatio- ner, kan retfærdiggøres. Det må dog hverken resultere i generel overvåg- ning eller undergravning af grundlæggende rettigheder såvel som eksiste- rende lovgivning. Regeringen lægger desuden vægt på, at forordningen er i overensstemmelse med retsforbeholdet. Regeringen finder det hensigtsmæssigt, at der stilles skærpede krav til den anvendelse af kunstig intelligens, der kan medføre en høj risiko for indivi- der og samfundet. Regeringen lægger imidlertid vægt på, at kategorien for højrisiko kunstig intelligens klart afgrænses til anvendelser, der reelt kan medføre betydelig og svært genoprettelig skade, og at innovation ikke hæmmes, og at nye løsninger fortsat kan udvikles på disse områder. Sam- tidig skal en potentiel, fremtidig udbygning af højrisikokategorien altid ske på grundlag af en konkret risikovurdering samt klare og forudsigelige kri- terier. I forlængelse heraf finder regeringen det vigtigt, at der stilles operationelle og proportionale krav til højrisiko kunstig intelligens. Regeringen finder det positivt, at der anlægges en principbaseret tilgang, der efterlader et vist manøvrerum til den specifikke tekniske løsning i forhold til efterlevelse, 34/35 samt at der blandt andet gives mulighed for anvendelsen af harmoniserede standarder. Forudsætningen for den principbaserede tilgang er dog udar- bejdelsen af vejledning i forhold til efterlevelsen og håndhævelsen af kra- vene samt udarbejdelsen af standarder, inden forordningen finder anven- delse. Desuden vil regeringen arbejde for, at højrisiko kravene tager højde for princippet om automatisk sagsbehandling i aftalen om digitaliserings- klar lovgivning, samt at automatiserede systemer kan tildeles en digital identitet for at styrke datasikkerhed og transparens. Regeringen støtter forudgående overensstemmelsesvurderinger til at sikre efterlevelse af højrisiko kravene. I den forbindelse ser regeringen positivt på Kommissionens forslag, der blandt andet tager højde for eksisterende lovgivning og kombinerer forskellige procedurer, herunder både intern og tredjepartskontrol. Regeringen finder det imidlertid vigtigt, at efterlevel- sesbyrderne, herunder de administrative byrder, begrænses mest muligt. Samtidig er det vigtigt, at der sikres effektive efterlevelsesprocedurer, her- under tilstrækkelig kapacitet samt kompetencer til at certificere den omfat- tede kunstig intelligens effektivt. Regeringen støtter enkle gennemsigtighedsforpligtelser for visse anvendel- ser af kunstig intelligens. Målet om gennemsigtighed skal dog give mer- værdi, og regeringen lægger derfor vægt på, at de omfattede anvendelser af kunstig intelligens klarlægges, og at gennemsigtighedsforpligtelserne er proportionelle og ikke skaber modsatrettede hensyn. Da det overordnede mål er at styrke etisk, ansvarlig og sikker kunstig in- telligens, støtter regeringen udformningen af frivillige adfærdskodeks, der kan blive et konkurrenceparameter for danske og europæiske virksomhe- der. Regeringen lægger dog vægt på, at der bør være forskel på højrisiko kravene og kravene i adfærdskodeks, da al kunstig intelligens ellers de facto vil være underlagt de skærpede højrisikokrav. Frivillige adfærdsko- deks kan være et indledende skridt mod en europæisk frivillig mærknings- ordning for kunstig intelligens, som regeringen fortsat vil arbejde for. Regeringen ser positivt på, at forvaltningen og håndhævelsen af forordnin- gen bygger på eksisterende, nationale strukturer. I den henseende lægger regeringen vægt på, at medlemslandene bevarer retten til at fastlægge den nationale organisering i forhold til forvaltning og håndhævelse. Regeringen finder det dog vigtigt, at forslaget ikke pålægger medlemslandene unødige statsfinansielle omkostninger, og at gevinsterne ved forslaget står mål med de administrative byrder Samtidig bakker regeringen op om etablering af et europæisk udvalg for kunstig intelligens, der skal sikre effektiv og ens- artet håndhævelse af de nye regler på tværs af grænserne. 35/35 Regeringen mener, at effektiv håndhævelse er vigtigt, hvis målet om at ud- vikle og anvende etisk, ansvarlig og sikker kunstig intelligens skal nås. Re- geringen støtter derfor indførelsen af effektive og passende sanktioner, her- under bøder. I samme ombæring lægger regeringen vægt på, at hensynet til medlemslandenes forskellige juridiske systemer bevares. Som udgangspunkt er regeringen skeptisk over for Kommissionens forslag om delegerede retsakter. I den forbindelse arbejder regeringen for, at an- vendelsesområdet for potentielle, følgende retsakter med betydning for lov- givningsmæssige og økonomiske konsekvenser klart afgrænses. Regeringen støtter initiativer, der kan fremme innovationskraften inden for kunstig intelligens, herunder etableringen af reguleringsmæssige sandkas- ser. Disse kan blandt andet understøtte de små og mellemstore virksomhe- ders efterlevelse af kravene og deraf bidrage til at understøtte udviklingen af kunstig intelligens. Regeringen vil arbejde for, at flest mulige sektorer omfattes af de reguleringsmæssige sandkasser. 11. Tidligere forelæggelse for Folketingets Europaudvalg Sagen har ikke tidligere været forelagt Folketingets Europaudvalg.