Samlenotat vedr. forordning om harmoniserede regler for kunstig intelligens
Tilhører sager:
Aktører:
EMs samlenotat vedr. harmoniserede regler for kunstig intelligens
https://www.ft.dk/samling/20211/kommissionsforslag/kom(2021)0206/bilag/2/2583965.pdf
Udenrigsministeriet Asiatisk Plads 2 DK-1448 København K Telefon +45 33 92 00 00 Telefax +45 32 54 05 33 E-mail: um@um.dk http://www.um.dk Girokonto 3 00 18 06 Medlemmerne af Folketingets Europaudvalg Bilag Sagsnummer Kontor 1 2022-45 EKN 30. maj 2022 SAMLENOTAT Harmoniserede regler for kunstig intelligens Med henblik på mødet i Folketingets Europaudvalg den 3. juni 2022 - vedlægges Erhvervsministeriets samlenotat vedrørende Europa- Kommissionens forslag til Europa-Parlamentet og Rådets forordning om harmoniserede regler for kunstig intelligens og ændring af visse af Unio- nens lovgivningsmæssige retsakter Jeppe Kofod Offentligt KOM (2021) 0206 - Bilag 2 Europaudvalget 2021
Samlenotat forud for KKE d. 090622
https://www.ft.dk/samling/20211/kommissionsforslag/kom(2021)0206/bilag/2/2583966.pdf
30. maj 2022 askmyr NOTAT TIL FOLKETINGETS EUROPAUDVALG Indhold Europa-Kommissionens forslag til Europa-Parlamentet og Rådets forordning om harmoniserede regler for kunstig intelligens og ændring af visse af Unionens lovgivningsmæssige retsakter .................... 2 Offentligt KOM (2021) 0206 - Bilag 2 Europaudvalget 2021 2/37 Forslag til forhandlingsoplæg Europa-Kommissionens forslag til Europa-Parlamentet og Rådets forordning om harmoniserede regler for kunstig intelligens og æn- dring af visse af Unionens lovgivningsmæssige retsakter Notatet er en opdateret version af samlenotat af den 17. maj 2022. Ændrin- ger er markeret med fed og kursiv. 1. Resume Europa-Kommissionen har den 21. april 2021 fremsat et forslag til forord- ning om harmoniserede regler for kunstig intelligens og ændring af visse af Unionens lovgivningsmæssige retsakter (KOM (2021) 206). Forordnin- gen er den første af sin slags til at fastlægge en juridisk ramme specifikt for kunstig intelligens. Formålet er at sikre et velfungerende indre marked ved at etablere betin- gelser for udvikling og anvendelse af lovlig, sikker og pålidelig kunstig in- telligens i EU. De fælles regler skal samtidig sikre, at kunstig intelligens, i EU respekterer eksisterende lovgivning, grundlæggende rettigheder samt EU’s værdier. Samtidig skal reglerne bidrage til juridisk klarhed for at fremme investeringer og innovationsevnen. Forordningen følger en risikobaseret tilgang, hvor graden af forpligtelser følger graden af risici, der er forbundet med den pågældende anvendelse af et kunstig intelligens-system. Forordningen opdeler kunstig intelligens i følgende risikokategorier: 1) Uacceptabel risiko, hvor der er direkte for- bud af visse anvendelser, 2) højrisiko, hvor der er specifikke krav forbundet med visse anvendelser, og hvor der påkræves forudgående overensstem- melsesvurderinger samt efterfølgende markedsovervågning, 3) begrænset risiko, hvor der er gennemsigtighedsforpligtelser tilknyttet visse anvendel- ser af teknologien, samt 4) lav eller minimal risiko, hvor der ikke er speci- fikke krav, men i stedet er mulighed for at udarbejde frivillige adfærdsko- deks til blandt andet at fremme den frivillige efterlevelse af kravene under højrisikokategorien. Forvaltningen og håndhævelsen af forordningen skal hovedsageligt ske i medlemslandene. I forlængelse heraf skal medlemslandene indføre regler om sanktioner ved overtrædelse af forordningen. Derudover nedsættes der et europæisk udvalg for kunstig intelligens, der blandt andet skal bidrage til et effektivt samarbejde på tværs af grænser og ensartet implementering. Forordningen indeholder foranstaltninger til at fremme innovation. Blandt andet fastsættes der en fælles ramme for implementering af regulerings- mæssige sandkasser. 3/37 Forslaget forventes at have lovgivningsmæssige og væsentlige erhvervs- økonomiske såvel som statsfinansielle konsekvenser. Regeringen er i gang med at undersøge omfanget af de erhvervsøkonomiske og statsfinansielle konsekvenser nærmere. Regeringen støtter overordnet ambitionen om at skabe et velfungerende in- dre marked for etisk, ansvarlig og sikker kunstig intelligens. Regeringen anser kunstig intelligens som en af de afgørende teknologier til at under- støtte EU’s konkurrenceevne, velstand, grønne omstilling samt den offent- lige forvaltning. Regeringen anerkender imidlertid, at anvendelsen af kun- stig intelligens i visse situationer kan indebære en række alvorlige risici. Regeringen støtter, at risiciene forbundet ved kunstig intelligens adresseres i en europæisk lovgivningsramme. Overordnet finder regeringen det vigtigt, at den europæiske lovgivnings- ramme følger en risikobaseret, teknologineutral og proportionel tilgang, hvor graden af forpligtelser følger graden af mulig skadevirkning. På den baggrund er det nødvendigt med en klar og operationel lovgivningsramme, der sikrer borgernes tillid og øger beskyttelsen i samfundet, uden at dette unødigt hæmmer innovationsevnen eller forringer konkurrenceevnen. Det er derfor centralt at finde den rette balance, hvor risici adresseres, samti- dig med at teknologien kan udvikles og anvendes til gavn for samfundet samt understøtte fremtidens arbejdspladser. Regeringen finder det centralt, at centrale begreber i forslaget klarlægges og afgrænses, herunder defini- tionen af kunstig intelligens samt at der opstilles klare kriterier for, hvilke anvendelser der klassificeres som højrisiko kunstig intelligens. Desuden finder regeringen det centralt, at forordningen ligger inden for rammerne af eksisterende kompetencefordeling, herunder for så vidt angår national sikkerhed, og tager højde for eksisterende lovgivning, herunder GDPR og produktlovgivningen, hvor gevinsterne ved forslaget står mål med de ad- ministrative og økonomiske omkostninger for virksomheder. Samtidig vil regeringen arbejde for et europæisk tilsyn til at håndtere sager af en vis størrelse eller grænseoverskridende karakter. Derudover fremhæver rege- ringen vigtigheden af udformningen af frivillige adfærdskodeks, der kan blive et konkurrenceparameter for danske og europæiske virksomheder og på etableringen af initiativer, der kan fremme innovationskraften inden for kunstig intelligens herunder effektive og fleksible rammer for regulatoriske sandkasser. Sagen forelægges til forhandlingsoplæg 2. Baggrund 4/37 Europa-Kommissionen (’Kommissionen’) har den 21. april 2021 fremlagt et forslag til forordningen om harmoniserede regler for kunstig intelligens og ændring af visse af Unionens lovgivningsmæssige retsakter (KOM (2021) 206). Forslaget er oversendt til Rådet i dansk sprogversion den 7. juni 2021. Forslaget er en del af en kunstig intelligens pakke bestående af dette forslag til en forordning, revision af den koordinerede plan for kunstig intelligens samt forslag af revision af det eksisterende maskindirektiv. Pakken kommer som opfølgning på Kommissionens hvidbog om kunstig intelligens, der blev præsenteret den 19. februar 2019.1 Baggrunden for hvidbogen var Kommissionsformand von der Leyens annoncering af, at der i løbet af de første 100 dage af Kommissionens mandatperiode skulle fast- lægges en europæisk tilgang til kunstig intelligens, herunder dens konse- kvenser for mennesker og etik. Som opfølgning på hvidbogen vedtog det Europæiske Råd konklusioner i oktober 2020, hvori der blev lagt vægt på, at EU bør være en global leder inden for udviklingen af sikker, pålidelig og etisk kunstig intelligens. Sam- tidig opfordrede det Europæiske Råd til, at Kommissionen fremlagde en klar, objektiv definition af højrisiko systemer. Forud for lanceringen af hvidbogen underskrev 24 medlemslande en mini- stererklæring vedrørende samarbejde om kunstig intelligens i forbindelse med Digital Day tilbage i 20182 , hvorpå Kommissionen som opfølgning præsenterede en strategi for kunstig intelligens den 25. april 20183 . Denne fokuserede både på socioøkonomiske aspekter samt en forøgelse af inve- steringer i forskning, innovation og kapabiliteter inden for kunstig intelli- gens. Som led i arbejdet etablerede Kommissionen en højniveauekspert- gruppe for kunstig intelligens, der i april 2019 præsenterede sine etiske ret- ningslinjer for pålidelig kunstig intelligens. Disse omfattede menneskelige aktiviteter og tilsyn udført af mennesker; teknologisk robusthed og sikkerhed; privatlivets fred og datastyring; gen- nemsigtighed, mangfoldighed, ikkediskrimination og retfærdighed; social og miljømæssig velfærd; samt ansvarlighed. I tillæg hertil offentliggjorde Kommissionen den 8. april 2019 meddelelsen ”Opbygning af tillid til menneskecentreret kunstig intelligens” (KOM (2019) 168), der havde til 1 Kommissionens hvidbog om kunstig intelligens: ”En europæisk tilgang til ekspertise og tillid” (KOM (2020) 65) fra den 19. februar 2020 2 https://ec.europa.eu/jrc/communities/en/node/1286/document/eu-declaration-cooperation-artifi- cial-intelligence 3 Kommissionens meddelelse ”Kunstig intelligens for Europa” (KOM (2018) 237) fra den 25. april 2018 5/37 formål at iværksætte en pilotfase med afprøvning af den praktiske anven- delse af højniveauekspertgruppens etiske retningslinjer. Dette førte til en revision af retningslinjerne på baggrund af modtagen feedback samt ud- formningen af en konkret evalueringsliste for pålidelig kunstig intelligens. 3. Formål og indhold Forordningens overordnede formål er at sikre et velfungerende indre mar- ked ved at etablere betingelserne for udvikling og anvendelse af lovlig, sik- ker og pålidelig kunstig intelligens i EU. Dette skal ske gennem fælles regler, der skal sikre, at kunstig intelligens, der bringes i omsætning og anvendes i EU, er sikker og respekterer eksi- sterende lovgivning, grundlæggende rettigheder samt EU’s værdier. Sam- tidig skal reglerne også være med til at sikre juridisk klarhed for at fremme investeringer og innovationsevnen samt muliggøre effektiv håndhævelse. Afsnit I: Anvendelsesområde og definitioner (artikel 1-4) Forordningen indfører harmoniserede regler for omsætning, ibrugtagning og anvendelse af kunstig intelligens-systemer i EU. Reglerne følger en risikobaseret tilgang, hvor graden af forpligtelser følger graden af de risici, der er forbundet med den pågældende anvendelse af kun- stig intelligens. Forordningen opdeler kunstig intelligens i følgende risikoka- tegorier: Uacceptabel risiko, højrisiko, begrænset risiko samt lav eller mini- mal risiko. På den baggrund fastsætter forordningen regler for: - Forbud mod anvendelser af kunstig intelligens, der udgør en uaccep- tabel risiko. - Specifikke krav for anvendelser af kunstig intelligens, der udgør en høj risiko. - Gennemsigtighedsforpligtelser for anvendelsen af kunstig intelligens- systemer, der udgør en begrænset risiko. Omfattede systemer af gen- nemsigtighedsreglerne er beregnet til at interagere med personer, fø- lelsesgenkendelsessystemer og biometriske kategoriseringssystemer, samt systemer, der anvendes til at generere eller manipulere billede-, lyd- eller videoindhold. - Regler om markedsovervågning – og tilsyn. Forordningen definerer kunstig intelligens som software, der er udviklet ved hjælp af en eller flere teknikker eller tilgange, eksempelvis maskinlæring eller statistiske metoder, og der ud fra et sæt menneskeligt definerede mål kan ge- nere output såsom indhold, forudsigelser, anbefalinger eller beslutninger, der påvirker de miljøer, som de interagerer med. 6/37 For at fremtidssikre definitionen i forhold til fremtidig teknologisk og mar- kedsmæssig udvikling har Kommissionen specificeret de førnævnte teknik- ker og tilgange, der kan anvendes til at udvikle kunstig intelligens, i et bilag til forordningen. Bilaget oplister en række konkrete kunstig intelligens-tek- nikker, som forordningen omfatter. Det gælder maskinlæring, logiske og vi- densbaserede tilgange samt statistiske metoder. Forslaget giver derudover Kommissionen beføjelser til at ændre bilaget via delegerede retsakter. De harmoniserede regler finder ikke anvendelse på kunstig intelligens, der er udviklet eller udelukkende anvendes til militære formål, eller i forbindelse med offentlige myndigheder i tredjelande eller internationale organisationers brug af kunstig intelligens, hvis denne brug sker inden for rammerne af en aftale om retshåndhævelse og retligt samarbejde med EU eller med en eller flere medlemslande. Afsnit II: Forbudt praksis med hensyn til kunstig intelligens (artikel 5) Visse anvendelser af kunstig intelligens medfører uacceptable risici for sam- fundet og individers rettigheder, da de anses for at være i strid med EU’s vær- dier, for eksempelvis ved at krænke grundlæggende rettigheder. Forordningen fastlægger, at følgende former for anvendelse af kunstig intel- ligens skal være forbudt: - anvendelse af subliminale teknikker, dvs. teknikker der formidler et budskab skjult, der rækker ud over den menneskelige bevidsthed og har til hensigt i en væsentlig grad at ændre personens adfærd på en måde, der forårsager eller sandsynligvis vil forårsage fysiske eller psykisk skade. - udnytte sårbarheder hos en specifik gruppe på baggrund af deres alder eller handicap ved i en væsentlig grad at ændre adfærden hos en per- son tilhørende denne gruppe på en måde, der forårsager eller sandsyn- ligvis vil forårsage fysiske eller psykisk skade. - offentlige myndigheders - eller private virksomheders på vegne af of- fentlige myndigheder - evaluering eller klassificering af troværdighe- den af personer baseret på deres sociale adfærd, personlige egenska- ber eller personlighedstræk, hvor den sociale bedømmelse vil lede til en skadelig eller ugunstig behandling. - anvendelse af systemer til biometrisk fjernidentifikation i realtid i det offentlige rum med henblik på retshåndhævelse. Sidstnævnte kan dog anvendes til visse strengt nødvendige formål såsom ved målrettet eftersøgning af specifikke potentielle ofre for kriminalitet, herunder børn, samt forebyggelse af terrorangreb. Forordningen fastlægger en udtøm- mende liste over de tilfælde, hvor biometrisk fjernidentifikation i realtid kan anvendes i det offentlige rum. Anvendelsen kræver desuden en forudgående 7/37 tilladelse udstedt af en judiciel myndighed eller en uafhængighed administra- tiv myndighed på baggrund af indført national lovgivning. Det står således medlemslandene frit for, om de vil give mulighed for denne anvendelse, og om de vil tillade alle tilfælde på den udtømmende liste eller kun et udsnit heraf. Grundet retsforbeholdet er Danmark ikke underlagt reglerne i artikel 5 ved- rørende systemer til anvendelse for biometrisk fjernidentifikation i realtid. Afsnittet III: Højrisiko kunstig intelligens-systemer (artikel 6-51) Kapitel 1: Klassificering af højrisiko kunstig intelligens-systemer Kapitel 1 klassificerer den anvendelse af kunstig intelligens, der anses for at udgøre en høj risiko for samfundet og individers grundlæggende rettigheder. Forordningen identificerer to hovedkategorier for anvendelse af kunstig intel- ligens, der kan anses for at være højrisiko kunstig intelligens. Den ene kategori omfatter kunstig intelligens, der er beregnet til at blive an- vendt som en sikkerhedskomponent i et produkt eller i sig selv er et produkt omfattet af harmoniseret EU-lovgivning anført i bilag 2, og der er forpligtet til at gennemgå en tredjepartsoverensstemmelsesvurdering. Bilaget omfatter retsakter baseret på den nye lovgivningsmæssige ramme, ”New Legislative Framework” (NLF), der blandt andet omfatter maskiner, legetøj, elevatorer, radioudstyr samt medicinsk udstyr. Derudover omfatter bilaget også retsak- ter, der ikke er baseret på NLF, men derimod den gamle metode, såsom land- brugskøretøjer, skibsudstyr, jernbanesystemet, civil luftfart og biler. Disse retsakter omfattes også af højrisiko kategorien, men underlægges dog ikke direkte kravene for højrisiko. Dette skyldes, at de pågældende retsakter, der er baseret på den gamle metode, ikke indeholder mulighed for, at eksisterende overensstemmelsesprocedurer deri kan omfatte yderligere krav. Det vil enten kræve, at de pågældende retsakter genforhandles og tilpasses NLF, eller at kravene indføres via fremtidige delegerede eller gennemførelsesretsakter un- der disse retsakter. Kommissionen lægger op til, at tilpasningen i den kom- mende tid sker via sidstnævnte. Den anden kategori er selvstændige kunstig intelligens systemer – uaf- hængige af et produkt – hvor Kommissionen vurderer, at systemers formål udgør en høj risiko for menneskers sundhed og sikkerhed eller grundlæg- gende rettigheder. I vurderingen er der blandt andet taget højde for alvorligheden af den mulige skade samt sandsynligheden for, at den mulige skade vil udspille sig. Kom- missionen har oplistet disse systemer i bilag 3, der omfatter otte overordnede områder med dertilhørende specificerede anvendelser: 8/37 1. Biometrisk identifikation og kategorisering af fysiske personer • Systemer beregnet til biometrisk fjernidentifikation i realtid af personer. 2. Forvaltning og drift af kritisk infrastruktur • Systemer beregnet som sikkerhedskomponenter i forvalt- ning og drift af blandt andet forsyning af vand, gas, varme og elektricitet. 3. Uddannelse og erhvervsuddannelse • Systemer beregnet til at fastslå personers adgang til eller fordeling på uddannelsesinstitutioner, at evaluere stude- rende eller at vurdere deltagere i test, der normalt kræves for at få adgang til uddannelsesinstitutioner. 4. Beskæftigelse, forvaltning af arbejdstagere og adgang til selvstæn- dig beskæftigelse • Systemer beregnet til rekruttering eller udvælgelse af kan- didater eller beregnet til at træffe beslutninger om forfrem- melse og afskedigelse, opgavefordeling samt til overvåg- ning og evaluering af personers præstation og adfærd i ar- bejdsrelaterede kontraktforhold. 5. Adgang til og benyttelse af væsentlige private tjenester og offent- lige tjenester og fordele • Systemer beregnet til at blive anvendt af eller på vegne af offentlige myndigheder til at vurdere personers berettigelse til offentlige sociale ydelser og tjenester samt at tildele, re- ducere, annullere eller tilbagekalde sådanne ydelser og tje- nester. • Systemer beregnet til at foretage kreditvurderinger af perso- ner eller at fastslå deres kreditværdighed, med undtagelse af systemer der tages i brug af mindre udbydere til eget brug. • Systemer beregnet til at sende eller at prioritere i udsendel- sen af beredskabstjenester i nødsituationer, herunder brand- slukning og lægehjælp. 6. Retshåndhævelse • Systemer beregnet til at blive anvendt af retshåndhævende myndigheder med henblik på at foretage individuelle risiko- vurderinger af personer for at vurdere risikoen for lovover- trædelser, at anvende som polygrafer eller lignende værktø- jer til at påvise en persons følelsesmæssige tilstand, at finde deep fakes, at vurdere pålideligheden af bevismateriale, at forudsige strafbare handlinger baseret på profilering, at pro- filere samt at anvende til kriminalitetsanalyse vedrørende personer. 7. Migrationsstyring, asylforvaltning og grænsekontrol • Systemer beregnet til at blive anvendt af kompetente offent- lige myndigheder med henblik på at anvende som polygra- 9/37 fer eller lignende værktøjer til at påvise en persons følelses- mæssige tilstand samt at vurdere en risiko, herunder en sik- kerhedsrisiko, en risiko for irregulær indvandring eller en sundhedsrisiko som udgøres af en person, der har til hensigt at komme ind eller er indrejst i et medlemsland. • Systemer beregnet til offentlige myndigheder til at kontrol- lere ægtheden af rejsedokumenter. • Systemer beregnet til at hjælpe offentlige myndigheder med behandlingen af ansøgninger om asyl, visum og opholdstil- ladelse og tilhørende klager. 8. Retspleje og demokratiske processer • Systemer beregnet til at hjælpe retlige myndigheder med blandt andet at undersøge og fortolke fakta og lovgivning. Forslaget giver Kommissionen beføjelser til at ændre bilag 3 via en delegeret retsakt, hvor Kommissionen kan tilføje anvendelser af kunstig intelligens, der falder under et af de otte områder, og der udgør en risiko for sundhed, sikker- hed eller de grundlæggende rettigheder. I vurderingen heraf skal Kommissi- onen tage højde for en række kriterier, herunder det potentielle omfang af den mulige skade, hvorvidt mennesker er afhængige af systemets resultat, samt hvor nemt det er at omgøre resultatet af systemet. Selvom et system klassificeres som højrisiko i forordningen, betyder det ikke, at anvendelsen af systemet er lovlig under andre EU-retsakter eller national lovgivning. De eksisterende krav i den sammenhæng vil således stadig finde anvendelse. Kapitel 2: Kravene for højrisikosystemer Systemer, der er kategoriseret som et højrisikosystem, pålægges en række forpligtelser. Det omfatter etableringen af et risikostyringssystem, der blandt andet skal identificere risici tilknyttet systemet samt indføre passende risiko- styringsforanstaltninger til at adressere de pågældende risici. Ud over risikostyringssystemet skal højrisiko kunstig intelligens desuden ef- terleve krav inden for: - data og datastyring: Såfremt systemer involverer træning af modeller med data, skal de pågældende datasæt efterleve en række kvalitetskri- terier, herunder blandt andet for passende datastyring- og dataforvalt- ningspraksis samt at datasæt skal være relevante, repræsentative, fejl- fri og fuldstændige. - teknisk dokumentation: Der skal udarbejdes teknisk dokumentation, der skal demonstrere efterlevelse af højrisiko kravene samt give nati- onale kompetente myndigheder og bemyndigede organer den nød- vendig information til at vurdere overholdelsen af kravene. Bilag 4 10/37 indeholder de elementer, som den tekniske dokumentation som mini- mum skal omfatte. Det omfatter blandt andet en detaljeret beskrivelse af systemets elementer og processen for udviklingen, oplysninger om systemets funktion, overvågning og kontrol af systemet, en kopi af EU-overensstemmelseserklæringen samt en detaljeret beskrivelse af proceduren, der er på plads for at evaluere systemets ydeevne, efter det er kommet på markedet. Kommissionen får beføjelser til at ændre bilag 4 gennem delegerede retsakter. - registrering: Systemer skal udformes og udvikles, således at der fore- tages automatisk registrering af systemets handlinger, dvs. logfunkti- oner, når det er i drift. Dette skal blandt andet muliggøre overvågning af driften af systemet samt sikre en passende grad af sporbarhed gen- nem hele systemets livscyklus. - gennemsigtighed og formidling af oplysninger til brugere: Systemer skal udformes og udvikles, således at det sikres, at driften heraf er tilstrækkelig gennemsigtig til, at brugeren kan fortolke systemets out- put og anvende det korrekt. Samtidig skal systemet ledsages af en brugsanvisning i et passende digitalt format eller på anden vis, der blandt andet skal omfatte udbyderens kontaktoplysninger samt oplys- ninger om systemets egenskaber, kapaciteter, begrænsninger, foran- staltninger til menneskeligt tilsyn og forventede levetid. - menneskeligt tilsyn: Systemer skal udformes og udvikles, således at de effektivt kan overvåges af personer i den periode, hvor systemet anvendes. Dette skal enten sikres ved, at menneskeligt tilsyn indbyg- ges direkte i systemet eller ved at menneskeligt tilsyn implementeres af brugeren. Det skal muliggøre, at de personer, der har ansvar for det menneskelige tilsyn, blandt andet er i stand til at forstå systemets ka- paciteter og begrænsninger, at være opmærksom på den mulige ten- dens til automatisk at stole på systemet eller at gribe ind i driften af systemet og afbryde, hvis nødvendigt. - nøjagtighed, robusthed og cybersikkerhed: Systemer skal udformes og udvikles, således at de i lyset af deres tilsigtede formål opnår et passende niveau af nøjagtighed, robusthed og cybersikkerhed. Nøjag- tighedsniveauet skal fremgå af den medfølgende brugsanvisning. Ro- bustheden kan opnås gennem tekniske løsninger såsom backupplaner. Cybersikkerhed skal sikre, at systemet er modstandsdygtigt med hen- syn til at afværge en uautoriseret tredjeparts forsøg på at udnytte sy- stemets sårbarheder. Dette kan omfatte tekniske løsninger, der blandt andet omfatter tiltag til at forhindre eller kontrollere for angreb. 11/37 Det er tanken med de ovenstående principbaserede krav, at den konkrete tek- niske løsning enten kan leveres via harmoniserede standarder, fælles specifi- kationer eller udvikles på baggrund af udbydernes tekniske eller videnskabe- lig viden. Kapitel 3: Forpligtelser for udbydere og brugere af højrisiko systemer og an- dre parter Kapitlet fastlægger forpligtelser for de forskellige aktører afhængig af deres placering i værdikæden: - udbydere pålægges blandt andet at sikre overensstemmelse med højri- siko kravene, at etablere et kvalitetsstyringssystem, at udarbejde den tekniske dokumentation, at samarbejde med den kompetente myndig- hed, at gennemgå den relevante overensstemmelsesvurdering samt at CE-mærke systemet. - importører og distributører pålægges blandt andet at sikre, at den re- levante overensstemmelsesvurdering er udført af udbyderen, at syste- met er forsynet med CE-mærkning samt ledsaget af påkrævet doku- mentation og brugsanvisning. - brugere pålægges blandt andet at sikre, at anvendelsen af systemet sker i overensstemmelse med den medfølgende brugsanvisning, at overvåge driften af systemet med henblik på mulige risici samt at un- derrette udbydere eller distributører om alvorlige hændelser eller funktionsfejl. Såfremt en distributør, importør, bruger eller anden part under eget navn eller varemærke bringer et højrisiko kunstig intelligens-system i omsætning eller tager det i brug, eller såfremt de ændrer den påtænkte anvendelse eller fore- tager en væsentlig ændring af systemet, får de status som en udbyder og bliver deraf underlagt disse forpligtelser. Kapitel 4-5: Proceduren for overensstemmelsesvurdering Forordningen fastlægger, at efterlevelsen af højrisiko kravene skal kontrolle- res via forudgående overensstemmelsesvurderinger. Dog formodes systemet at være i overensstemmelse med kravene, såfremt der er anvendt harmonise- rede standarder eller fælles specifikationer, hvoraf sidstnævnt er vedtaget af Kommissionen via gennemførelsesretsakter. De pågældende procedurer for overensstemmelsesvurderinger er forskellige, afhængigt af hvorvidt der er tale om kunstig intelligens, der er selvstændige systemer (punkt 2-8 i bilag 3), biometrisk identifikation og kategorisering af personer (punkt 1 i bilag 3) eller indlejret i et produkt (bilag 2). 12/37 Ved de selvstændige systemer omfattet af punkt 2-8 i bilag 3 skal overens- stemmelsesvurderingen basere sig på intern kontrol, der ikke kræver inddra- gelsen af en tredjepart, dvs. et bemyndiget organ. Proceduren herfor er fast- lagt i bilag 6 og påkræver blandt andet, at udbyderen kontrollerer, at det etab- lerede kvalitetssyringssystem er i overensstemmelse med kravene; at udby- deren undersøger oplysninger i den tekniske dokumentation for at vurdere, om systemet er i overensstemmelses med de relevante højrisiko krav; samt at udbyderen kontrollerer, at systemet og dets overvågning efter omsætning er i overensstemmelse med den tekniske dokumentation. Derudover skal udby- dere af selvstændige systemer også registrere systemet i en offentlig tilgæn- gelig EU-database, der etableres i forbindelse med forordningen samt vareta- ges og vedligeholdes af Kommissionen. Ved biometrisk identifikation og kategorisering af personer omfattet af punkt 1 i bilag 3 kan udbyderne basere overensstemmelsesvurderingen på intern kontrol eller gå via overensstemmelsesvurdering gennem tredjepartskontrol, der blandt andet skal kontrollere kvalitetsstyringssystemet samt den tekniske dokumentation. Proceduren for tredjepartsoverensstemmelsesvurdering er fastlagt i bilag 7. Intern kontrol er dog kun muligt, såfremt udbyderen har anvendt harmoniserede standarder eller fælles specifikationer. Forslaget giver Kommissionen beføjelser til at ændre bilag 6 og 7 via delege- rede retsakter. Ved de indlejrede systemer i produkter, der er omfattet af den harmoniserede EU-lovgivning baseret på ”NLF” i bilag 2, skal den eksisterende overens- stemmelsesvurdering under den pågældende sektorretsakt gøre sig gældende, hvor der også tages højde for højrisiko kravene samt den tekniske dokumen- tation herom. Såfremt sektorretsakternes overensstemmelsesvurderinger gi- ver mulighed for anvendelsen af harmoniserede standarder eller fælles speci- fikationer, der dækker kravene, kan udbyderne fravælge en tredjepartsover- ensstemmelsesvurdering. Såfremt der foretages en væsentlig ændring af systemet, kræver det, at syste- met gennemgår en ny overensstemmelsesvurdering. Væsentlige ændringer omfatter imidlertid ikke ændringer, der er fastlagt på forhånd ved den indle- dende overensstemmelsesvurdering samt indgår i den tekniske dokumenta- tion. Udbyderne er pålagt at opbevare dokumentation, herunder den tekniske do- kumentation, dokumenter i forbindelse med overensstemmelsesvurderingen samt EU-overensstemmelseserklæringen i en periode på 10 år til rådighed for de nationale kompetente myndigheder. 13/37 I tilfælde af ekstraordinære situationer i forhold til beskyttelse af offentlig sikkerhed, menneskers liv og sundhed, miljø eller centrale industrielle samt infrastrukturmæssige aktiver kan markedsovervågningsmyndighederne til- lade, at specifikke højrisiko systemer bringes i omsætning eller tages i brug uden en overensstemmelsesvurdering, såfremt tilladelsen gælder for en be- grænset periode, mens de nødvendige overensstemmelsesvurderinger gen- nemføres, og såfremt myndigheden konkluderer, at højrisiko kravene over- holdes. Dette skal underrettes til både Kommissionen og de øvrige medlems- lande, der får mulighed for at gøre indsigelse. Afsnit IV: Gennemsigtighedsforpligtelser for visse systemer (artikel 52) For visse anvendelser af kunstig intelligens pålægges der gennemsigtigheds- forpligtelser: - Ved systemer, der er beregnet til at interagere med personer, skal per- soner informeres om denne interaktion, medmindre dette er indly- sende ud fra omstændighederne og anvendelsessammenhængen. - Ved systemer, der er beregnet til at genkende følelser eller biometrisk kategorisering, skal personer informeres om deres eksponering for så- danne systemer. - Ved systemer, der er beregnet til at generere eller manipulere billede- , lyd- eller videoindhold, der i væsentlig grad ligner blandt andet fak- tiske personer eller genstande, og der fejlagtigt vil fremstå ægte, ek- sempelvis deep fakes, skal der informeres om, at indholdet er genere- ret på kunstig vis eller er manipuleret. Kravene er dog undtaget i forbindelse med systemer, der er tilladt ved lov med henblik på retshåndhævelse. Ved sidstnævnte anvendelse er kravet der- udover heller ikke gældende, hvis anvendelsen er nødvendig for at udøve ret- ten til ytringsfrihed eller retten til kunst og videnskab, der er sikret ved Den Europæiske Unions charter om grundlæggende rettigheder. Afsnit V: Foranstaltninger til støtte for innovation (artikel 53-55) Forordningen fastsætter fælles regler for oprettelsen af reguleringsmæssige sandkasser inden for kunstig intelligens samt samarbejde mellem relevante myndigheder. Sandkasserne kan etableres af et eller flere medlemslandes kompetente myndigheder samt den Europæiske Tilsynsførende for Databe- skyttelse. Formålet er at fremme innovationen inden for kunstig intelligens ved at etablere et kontrollereret miljø blandt andet med henblik på at lette udviklingen og validering af systemer i et begrænset tidsrum, inden de brin- ges i omsætning eller tages i brug, accelerere markedsadgang samt at sikre overholdelse af forordningen og anden relevant lovgivning. 14/37 Medlemslandene forpligtes desuden til at indføre foranstaltninger for mindre udbydere og brugere, blandt andet skal medlemslandene prioritere disse ak- tører samt nystartede virksomheders adgang til de reguleringsmæssige sand- kasser samt organisere informationsaktiviteter. Afsnit VI, VII og VIII: Forvaltning og gennemførelse (artikel 56-68) Medlemslande spiller en nøglerolle i forvaltningen og håndhævelsen af for- ordningen. Hvert medlemsland skal i den forbindelse udpege en eller flere nationale kompetente myndigheder, hvoraf en af myndighederne skal fungere som ansvarlig national tilsynsmyndighed og dermed det officielle kontakt- punkt over for andre medlemslande og Kommissionen. Et europæisk udvalg for kunstig intelligens skal desuden nedsættes for at as- sistere Kommissionen i forvaltningen af forordningen. Formålet med udval- get er at bidrage til et effektivt samarbejde mellem de nationale tilsynsmyn- digheder og Kommissionen, at koordinere og bidrage til vejledning og ana- lyse samt at assistere i sikringen af en ensartet anvendelse af forordningen. Udvalget skal bestå af repræsentanter fra de nationale tilsynsmyndigheder samt den Europæiske Tilsynsførende for Databeskyttelse. Udbydere af højrisiko systemer er pålagt at etablere et overvågningssystem og -plan, der efter omsætningen af højrisiko systemet på markedet blandt an- det skal sørge for en løbende evaluering af overholdelsen af højrisiko kravene. De nærmere detaljer herfor vil blive fastlagt af Kommissionen via en gen- nemførelsesretsakt. I tilfælde af alvorlige hændelser eller funktionsfejl såsom en persons død, al- vorlig skade eller afbrydelse af driften af kritisk infrastruktur eller overtræ- delse af grundlæggende rettigheder er udbyderne af højrisiko systemer pålagt at informere den relevante markedsovervågningsmyndighed herom. Markedsovervågningen og kontrol af kunstig intelligens-systemer skal ske på baggrund af markedsovervågningsforordningen, der skal finde anvendelse på kunstig intelligens-forordningens udbydere, importører, distributører og bru- gere på tilsvarende måde, som markedsovervågningen i dag finder anven- delse på økonomiske operatører af produkter. Procedurerne i markedsover- vågningsforordningen suppleres blandt andet med regler om adgang til data og dokumentation samt procedurer for meddelelse af og kontrol med natio- nale indgreb over for kunstig intelligens-systemer. Herudover skal kompeten- cedelingen imellem markedsovervågningsmyndighederne hovedsageligt følge den kompetencedeling, der findes i dag. Afsnit IX: Adfærdskodeks (artikel 69) Forordningen fastlægger en ramme for udformningen af adfærdskodeks, der har til formål at tilskynde udbydere uden for højrisikokategorien til frivilligt 15/37 at anvende højrisiko kravene. Sådanne adfærdskodeks kan også tilskynde den frivillige anvendelse af yderligere krav, eksempelvis inden for bæredygtighed eller mangfoldighed i udviklingsholdet. Afsnit X, XI og XII: Afsluttende bestemmelser (artikel 70-85) Afsnit X fastlægger forpligtelser vedrørende fortroligheden af information og data samt fastlægger regler for udveksling af oplysninger, der er indhentet i forbindelse med gennemførelsen af forordningen. Samtidig indeholder afsnittet også foranstaltninger til at sikre en effektiv gen- nemførelse af forordningen gennem sanktioner for overtrædelse af bestem- melserne, der er effektive, står i rimeligt forhold til overtrædelsen og har af- skrækkende virkning. Medlemslandene pålægges, at indfører regler om sank- tioner, herunder administrative bøder, hvor der blandt andet skal tages højde for mindre udbydere og nystartede virksomheder. Medlemslande skal med- dele Kommissionen om disse regler. I stil med GDPR tages der dog højde for medlemslandenes forskellige retssystemer, hvor det fastlægges, at admini- strative bøder kan anvendes på en sådan måde, at bøderne pålægges af kom- petente nationale domstole. I tilfælde af manglende overholdelse vedrørende forbud i artikel 5 eller ved manglende overholdelse af højrisiko kravene vedrørende data og datastyring i artikel 10 kan der pålægges bøder på op til 30 mio. euro eller op til 6 procent af den samlede globale omsætning i det foregående regnskabsår. I tilfælde af manglende overholdelse af andre bestemmelser i forordningen kan der på- lægges bøder op til 20 mio. euro eller op til 4 procent af den samlede globale omsætning i det foregående regnskabsår. I tilfælde af afgivelse af ukorrekte, ufuldstændige eller vildledende oplysninger til nationale kompetente myn- digheder eller bemyndigede organer kan der pålægges bøder op til 10 mio. euro eller op til 2 procent af den samlede globale omsætning i det foregående regnskabsår. Afsnit XI indeholder regler for udøvelse og delegering af beføjelser til Kom- missionen, herunder for brugen af delegerede og gennemførelsesretsakter. Forslaget bemyndiger Kommissionen til, hvor det er relevant, at vedtage gen- nemførelsesretsakter for at sikre ensartet anvendelse af forordningen eller de- legerede retsakter til opdatering eller supplering af bilag 1 til 7, herunder til definitionen af kunstig intelligens samt listen over selvstændige højrisiko sy- stemer. Afsnit XII indeholder blandt andet en forpligtelse for Kommissionen om år- ligt at vurdere behovet for en opdatering af bilag 3 og til regelmæssigt at ud- arbejde rapporter om evalueringen og gennemgangen af forordningen. 16/37 Samtidig fastlægges det i afsnittet, at forordningen kun finder anvendelse på højrisikosystemer, der allerede er bragt i omsætning eller taget i brug, hvis disse systemer undergår betydelige ændringer i forhold til deres design eller tilsigtede formål efter anvendelsesdatoen. Forordningen vil træde i kraft 20 dage efter offentliggørelse i Den Europæiske Unions Tidende og finde anvendelse to år efter ikrafttrædelsesdatoen. Dog skal overensstemmelsesvurderingerne, forvaltningen samt reglerne for sank- tioner være operationelle inden forordningens anvendelse. Derfor lægges der op til en tidligere anvendelsesdato for de disse områder, henholdsvis tre må- neder for overensstemmelsesvurderinger og forvaltningsstrukturen samt 12 måneder for sanktionsreglerne efter forordningens ikrafttrædelsesdato. 4. Europa-Parlamentets udtalelser I Europa-Parlamentet blev det 1. december 2021 besluttet at Udvalget om det Indre Marked og Forbrugerbeskyttelse (IMCO) og Udvalget om Bor- gernes Rettigheder og Retlige og Indre Anliggender (LIBE) har fælles kompetence på sagen. Derudover er industri, forsknings-, og energi-, ud- valget (ITRE), retsudvalget (JURI), og kultur og uddannelses- udvalget (CULT) associerede udvalg. IMCO og LIBE offentliggjorde deres fælles udkast den. 21. april og en en- delig plenarafstemning forventes i november 2022. I IMCO er italienske S&D medlem Brando Benifei udnævnt som ordfører, mens det i LIBE er rumænske RENEW medlem Dragos Tudorache. IMCO og LIBE støtter op om den risikobaserede tilgang mens det under- streges, at ingen kunstig intelligens skal ekskluderes fra forordningen ex- ante, hverken fra definitionen af kunstig intelligens eller ved at lave undta- gelser for visse typer af systemer. Det fremhæves, at forordningen i højere grad skal strømlines med GDPR, samt at interessenter og civilsamfundsor- ganisationer i højere grad skal inddrages ift. at opdatere listen over højrisi- kosystemer, standardiseringsprocessen samt udvalgets og sandkassernes aktiviteter. I rapporten tilføjes ”predictive policing” til listen over forbudte anvendel- ser, ligesom det foreslås at tilføje en række yderligere brugsscenarier til listen over højrisikosystemer. Derudover identificeres yderligere deepfakes og redaktionelt indhold skrevet af kunstig intelligens som systemer, der bør underlægges både gennemsigtighedskrav og højrisiko overensstemmelses- procedurerne. Rapporten indeholder et nyt kapitel 3a om håndhævelse på EU-niveau. Der lægges op til en ny håndhævelsesmekanisme til Kommissionen, som bl.a. 17/37 kan udløses hvis det vurderes, at et system vil føre til en såkaldt ”omfat- tende brud”, der omfatter tre eller flere medlemslande. Mekanismen bygger på modellen fra Digital Services Act. Samtidig lægges op til, at udvalget for kunstig intelligens skal spille en større rolle, fx i at vejlede Kommissi- onen og nationale tilsynsmyndigheder og udgøre et forum for voldgift af tvister mellem en eller flere medlemslande. Endelig foreslås et nyt kapitel om retsmidler for både fysiske og juridiske personer, herunder ift. retten til at klage. I Europa-Parlamentets Retsudvalg offentliggjorde ordføreren Axel Voss fra EPP sin rapport i marts og en lang række ændringsforslag blev offent- liggjort i starten af april. Voss har lagt op til at indsnævre definitionen be- tydeligt og anlægge en mere tydelig risikobaseret tilgang. Ændringsforsla- gene går dog i mange retninger, og det er derfor for tidligt at konkludere, hvordan retsudvalgets endelige rapport vil falde ud. 5. Nærhedsprincippet Kommissionen vurderer, at regulering på EU-niveau er nødvendig henset til karakteren af kunstig intelligens, der ofte er afhængig af store og varie- rede datasæt, og der kan være integreret i ethvert produkt eller enhver tje- neste til fri cirkulation i det indre marked. Uden regulering på EU-niveau vurderer Kommissionen, at der er risiko for, at medlemslande vedtager egne regler for kunstig intelligens, der potentielt kan divergere eller være modstridende. Dette vil hæmme den frie bevæge- lighed af produkter og tjenester med kunstig intelligens-systemer samt bremse markedsoptagelsen af kunstig intelligens i EU, herunder grundet juridiske usikkerhed og barrierer. Derudover vurderer Kommissionen, at dette vil lede til ineffektiv beskyttelse af sikkerheden og af de grundlæg- gende rettigheder samt EU’s værdier i de forskellige medlemslande. Af disse grunde ser Kommissionen derfor, at EU-regulering er nødvendig for at opnå formålet om at fremme et indre marked for lovlige, sikre og påli- delige kunstig intelligens-systemer. Regeringen er enig med Kommissionen i, at regulering af området bør ske på EU-niveau, da ensartet regulering er nødvendig for realiseringen af det digitale indre marked. Derfor vurderer regeringen på det foreliggende grundlag, at nærhedsprincippet er overholdt. 6. Gældende dansk ret Der findes på nuværende tidspunkt ikke en specifik juridisk ramme for kun- stig intelligens hverken på europæisk eller nationalt plan. 18/37 Udviklingen og anvendelsen af kunstig intelligens er dog underlagt eksi- sterende lovgivning, der ikke nødvendigvis indeholder specifikke krav til kunstig intelligens, men alligevel fastsætter regler om eksempelvis beskyt- telse af grundlæggende rettigheder, herunder blandt andet ligestilling, for- brugerbeskyttelse og databeskyttelse, samt inden for områderne såsom asyl, migration, retligt samarbejde, finansielle tjenester samt produktsik- kerhed. Disse har direkte indvirkning på udviklingen og anvendelsen af kunstig intelligens. 7. Konsekvenser Lovgivningsmæssige konsekvenser Forslaget vil indebære lovgivningsmæssige konsekvenser. Blandt andet vil forslaget supplere visse eksisterende sektorretsakter inden for produkt- samt finansområdet, hvor disse retsakter skal tage højde for højrisikokra- vene i forbindelse med overensstemmelsesvurderinger eller risikostyrings- procedurer. Såfremt disse sektorretsakter er implementeret i dansk lovgiv- ning, kan det potentielt kræve lovændringer i Danmark. Samtidig vil forslaget kræve, at Danmark indfører regler for sanktioner. Økonomiske konsekvenser Statsfinansielle konsekvenser Det forventes, at forslaget vil medføre statsfinansielle konsekvenser, idet udpegning eller etablering af en national tilsynsmyndighed, der er ansvarlig for implementeringen af forordningen, vil kræve ressourcer. Tilsynsfunk- tionen kan bygge på eksisterende strukturer, men vil kræve tilstrækkelig teknologisk ekspertise og ressourcer. Kommissionen vurderer, at ressour- cebehovet afhængig af den eksisterende struktur i hvert medlemsland kan udgøre 1 til 25 fuldtidsansatte. Derudover vil det kræve ressourcer i forhold til etableringen af det europæiske udvalg for kunstig intelligens, hvor hvert medlemsland skal udpege en repræsentant. Der vil ligeledes opstå en for- øgelse af ressourceforbruget hos den eller de myndigheder, der udpeges til kompetente myndigheder, idet forordningen medfører en øget sagsmængde eller en udvidet opgaveportefølje, herunder i forhold til den kontinuerlige evaluering af forordningen, der er indbygget i forslaget. Ligeledes forventes forslaget at medføre administrative byrder for offent- lige myndigheder til efterlevelse af de krav, der påkræves i forbindelse med højrisiko kunstig intelligens, herunder proces- og dokumentationskrav samt krav om menneskeligt tilsyn. Samtidig kan kravene medføre statsfi- nansielle konsekvenser for den højrisiko kunstig intelligens, der udvikles og anvendes af offentlige myndigheder i forbindelse med kravet i den po- litiske aftale om digitaliseringsklar lovgivning. 19/37 Regeringen er fortsat i gang med at evaluere de statsfinansielle omkostnin- ger forbundet med udvidelsen af tilsyn hos de eksisterende myndigheder som foreslået af Kommissionen. Det bemærkes, at de afledte nationale merudgifter skal holdes inden for de berørte ministeriers eksisterende bevillinger, jf. budgetvejledningens pkt. 2.4.1. Samfundsøkonomiske konsekvenser Forslaget vurderes at kunne få positive samfundsøkonomiske konsekven- ser, såfremt de harmoniserede regler er med til at styrke tilliden samt skabe juridisk klarhed i det indre marked for kunstig intelligens og deraf resultere i øget optag samt forbedrede skaleringsmuligheder. Det vurderes, at det potentielt kan have en positiv effekt på samfundsøkonomien i form af øget produktivitet og konkurrenceevne. Erhvervsøkonomiske konsekvenser Forslaget forventes at medføre væsentlige administrative byrder for de om- fattede virksomheder, herunder særligt i forbindelse med efterlevelsen af de krav, der påkræves i forbindelse med højrisiko kunstig intelligens. Byr- derne kan dog ikke kvantificeres nærmere på nuværende tidspunkt, da kra- venes endelige udformning og udmøntning endnu ikke er kendt. Da forslagets krav forventes at omfatte danske virksomheder, vurderes de samlede administrative byrder at kunne have et betydeligt omfang, idet lov- givning dækker et komplekst område, hvor anvendelsen potentielt kan fin- des på tværs af alle sektorer. Konsekvenser for danske virksomheder vil både omfatte udviklingen samt anvendelsen af de omfattede systemer, her- under ligeledes proces- og dokumentationskrav. Eksempelvis kan kravet om menneskeligt tilsyn samt efterlevelse af kravene i hele systemets livs- cyklus medføre omkostninger i forbindelse med opkvalificering af medar- bejdere samt årlige lønudgifter forbundet med tilsynet. Herudover forventes forslagets gennemsigtighedsforpligtelser ved visse systemer med begrænset risiko samt den frivillige vedtagelse af adfærds- kodeks at medføre administrative byrder. Forbud mod visse systemer kan derudover medføre øvrige efterlevelseskonsekvenser, idet forbud udgør en produktionsbegrænsning for virksomheder. Det er dog uvist, hvorvidt der er danske virksomheder, der vil være omfattet af de konkrete forbud. Andre konsekvenser og beskyttelsesniveauet 20/37 En vedtagelse af forslaget forventes at kunne forbedre beskyttelsesniveauet for borgere, forbrugere og samfundet som helhed som følge af, at forslaget har til hensigt at skabe et mere ansvarligt indre marked for kunstig intelli- gens. Dette ved at stille krav til udviklingen og anvendelsen af den del af teknologien, der kan have negativ eller direkte skadelig indvirkning på sik- kerhed, gældende lov samt grundlæggende rettigheder, samt ved at stille krav om gennemsigtighed ved visse anvendelser. 8. Høring Forslaget har været sendt i EU-specialudvalget for konkurrenceevne, vækst og forbrugerspørgsmål med frist for bemærkninger den 5. maj 2021. Der er indkommet høringssvar fra Dansk Erhverv, Dansk Industri, Dansk Stan- dard, Finans Danmark, Finansforbundet, Forbrugerrådet Tænk, Forsikring & Pension, Ingeniørforeningen IDA, IT-Branchen og Kommunernes Landsforening. Generelle bemærkninger Dansk Industri (DI) ser Kommissionens forslag som en mulighed for, at medlemslandene skal være de bedste i verden til at bruge data og kunstig intelligens på en ansvarlig måde. Der er behov for at regulere området, hvil- ket virksomhederne også har efterspurgt, men det skal ske med den rette balance. På den ene side skal anvendelsen af kunstig intelligens fører til beslutninger, resultater og anbefalinger, som man kan stole på. På den an- den side skal man huske, at anvendelsen af kunstig intelligens kan være en afgørende faktor i løsningen af samfundsudfordringer som den grønne om- stilling og skabe ny vækst, og at man ikke må stille urealistiske krav og administrative byrder, der hæmmer innovationen og rammer bredere end tiltænkt. Dansk Standard fremhæver, at den kommende lovgivning kan få global effekt. Høje standarder kan være en effektiv måde at opnå indflydelse glo- balt og kan fremme den europæiske konkurrenceevne. Virksomheder, som vil sælge deres produkter på det attraktive europæiske marked, må udvikle produkter som overholder europæisk lovgivning. De høje europæiske stan- darder og produktkrav kan dermed migrere til andre dele af verden. Finans Danmark hilser Kommissionens udspil velkomment. Finans Dan- mark ser store muligheder i brugen af kunstig intelligens, da det giver mu- lighed for, at Europa kan øge velstanden for borgerne og sætte skub i væk- sten for virksomhederne. Det er vigtigt, at der etableres en sammenhæn- gende og robust regulering af kunstig intelligens. Det vil på den ene side tilvejebringe gode rammer for at udvikle og udbrede kunstig intelligens, og på den anden side sikre at borgere og forbrugere trygt kan anvende de løs- ninger, der anvender kunstig intelligens. 21/37 Finansforbundet er positivt indstillet over for regulering på området, hvor der bør reguleres med udgangspunkt i europæiske værdier og beskyttelse af mennesker. Virksomheder må redegøre for beslutninger som træffes al- goritmisk og stå til ansvar for fejlagtige beslutninger. Teknologierne må og skal anvendes konstruktivt og ikke til øget overvågning. Derfor skal regler og kodekser tilsige, hvad kunstig intelligens må bruges til, og navnlig hvad den ikke må bruges til. Transparens i anvendelsen af ethvert kunstig intel- ligens-værktøj er ligeledes af stor vigtighed. Finansforbundet mener, at virksomheder bør følge et forklaringsprincip og redegøre for de beslutninger, der træffes af algoritmer. Ansvaret ligger entydigt hos ledelsen, hvis der træffes fejlagtige beslutninger ud fra algo- ritmens beregninger. Virksomheden bør opstille klare retningslinjer og grænser for værktøjerne, ligesom virksomheder skal udvikle, implementere og følge et handlingsorienteret og praksisnært dataetisk kodeks. Forbrugerrådet Tænk støtter Kommissionens forslag, idet det er nødven- digt med regler, der sikrer en dataetisk tilgang til udvikling og brug af kun- stig intelligens i hele EU. Kunstig intelligens indgår allerede i kommerci- elle produkter og tjenester målrettet forbrugere, ligesom kunstig intelligens er taget i anvendelse i den offentlige sektor. Udviklingen forventes at gå stærkt og derfor haster det med at få et regelsæt på plads, så en dataetisk tilgang til at udvikle og anvende teknologien harmoniseres på tværs af EU. Ingeniørforeningen IDA (IDA) er positive over for EU’s tilgang til regu- lering af kunstig intelligens, når formålet blandt andet er at skabe en euro- pæisk vej – et alternativ til den amerikanske ”data for profit” og den kine- siske ”data for control”. Kunstig intelligens er en ny og relativ umoden tek- nologi, der udvikler sig hurtigt. Der er flere steder i verden sat store summer af til forskning og udvikling med forskellige formål, der ikke nødvendigvis er i overensstemmelse med danske eller europæiske værdier. Det er derfor vigtigt, at myndighederne er med til at sætte demokratisk fastsatte rammer for, hvad man vil med denne teknologi, hvad den skal bruges til, og hvad man ikke ønsker, at den skal bruges til. IDA fremhæver, at kunstig intelligens og den enkelte borgers retssikkerhed skal gå hånd i hånd. Datakvaliteten skal ligeledes være i orden. De fejl, der lægges ind i kunstig intelligens, går igen i outputtet og i langt større skala, end man er vant til. Derudover finder kunstig intelligens mønstre i eksiste- rende data og gentager disse. Det vil sige, at hvis ikke man er opmærksom, kommer man til at forstærke de uhensigtsmæssigheder og problemer, som man allerede har i dag. IDA mener, at formålet med en regulering må være at understøtte tillid til brug af data, så flere data kan komme ud at arbejde. 22/37 IT-Branchen mener, at det er positivt, at EU går forrest og skaber en ramme for regulering af kunstig intelligens som modspil til tilgangen fra USA og Kina. Helt overordnet bliver det afgørende, at reguleringen ikke afskrækker brugen af kunstig intelligens. For kunstig intelligens rummer store muligheder for at gøre samfundet endnu bedre. Danske virksomheder efterspørger klare og ensartede regler inden for kunstig intelligens, som gælder på tværs af landegrænser og som skaber lige konkurrencevilkår. IT-Branchen ser, at det bliver helt centralt, hvordan resten af verden tager imod reguleringen, så virksomhederne i EU ikke skal leve op til forskellige regler i forskellige verdensdele. Det vil ikke kun svække virksomheders konkurrenceevne, men det vil være en stopklods for innovation og udvik- ling til det globale marked. I værste fald risikerer EU at blive valgt fra som et attraktivt sted for nye startups. En forsigtig og præventiv tilgang til re- gulering kan have en stor effekt på innovationshøjden i EU. Helt generelt mener IT-Branchen, at regulering som udgangspunkt bør være teknologi- neutral, og at etisk problematiske anvendelser af datadrevne løsninger ikke kan afgrænses til kunstig intelligens. Kommunernes Landsforening (KL) mener, at det er relevant med en EU- indsats til regulering af anvendelse af kunstig intelligens, og at den skal sikre borgernes rettigheder og tillid til den offentlige sektor. Reguleringen skal tage højde for medlemslandenes forskelligheder samt det forhold, at diskussionerne om dataetik og kunstig intelligens er forskellige steder på tværs af EU. KL mener, at der i den offentlige sektor er behov for klare juridiske rammer og brugbare redskaber samt hjælp til at forstå og fortolke, hvordan man må arbejde med kunstig intelligens. Det er afgørende, at gen- nemsigtighed sikrer, at borgere kan have tillid til og kan gennemskue, at myndigheder anvender kunstig intelligens ansvarligt. KL finder, at kunstig intelligens skal anvendes, hvor det kan effektivisere og forbedre den kommunale administration og sagsbehandling, men finder samtidig også, at det er afgørende, at beslutninger, der regulerer væsentlige forhold for borgere, ikke alene kan træffes på baggrund af behandlinger foretaget med kunstig intelligens. KL fremhæver ligeledes arbejdet med signaturprojekter vedrørende anvendelse af kunstig intelligens på en række kommunale fagområder. En kommende forordning og en efterfølgende dansk implementering bør blandt andet tage afsæt i de konkrete kommu- nale erfaringer og behov fra signaturprojekterne. Specifikke bemærkninger Forslagets anvendelsesområde og definitioner Dansk Erhverv (DE) bemærker, at en stor del af de problemer, som for- ordningen er sat i verden for at løse, allerede er eller burde være dækket 23/37 under anden regulering. Bedre håndhævelse af de eksisterende regler er en genvej til at mitigere nogle af de risici, der søges at adressere. Heri ligger også, at der er nogle handlinger, hvor lovligheden ikke bør afgøres af, om det er en maskine, der udfører dem, eller et menneske. DE mener, at forslaget bruger en uklar og uhensigtsmæssig definition på kunstig intelligens, og der bør skelnes yderligere mellem, hvordan kunstig intelligens anvendes. Bilag 1 inkluderer ganske almindelige statistiske værktøjer og metoder til sandsynlighedsberegning. Med så bred en defini- tion er der et stort antal databehandlingsværktøjer, der risikerer at falde ind under lovgivningen, som ret beset intet har at gøre med kunstig intelligens. Samtidig nævnes ”AI systems that continue to ’learn’ after being placed in the market” som en særskilt kategori. Det understreger behovet for en kla- rere forståelse af, hvad kunstig intelligens dækker over, da netop evnen til at imitere menneskelig læring og optimering i forhold til opgaveløsning er en del appellen ved at bruge kunstig intelligens. DE bemærker, at der i forslaget skelnes til formålet og konteksten for an- vendelse af kunstig intelligens, men at der med fordel også bør skelnes mellem algoritmer, der er designet til at kunne træffe beslutninger, samt de mange andre måder som kunstig intelligens anvendes på. DE støtter desuden, at kunstig intelligens-systemer, der allerede er bragt til markedet forud for forordningens ikrafttræden, ikke omfattes, såfremt der ikke sker væsentlige ændringer i systemernes design eller formål. DI bakker op om en risikobaseret tilgang til regulering af kunstig intelli- gens. DI fremhæver, at med forslagets definition af kunstig intelligens, der inkluderer brug af statistiske metoder, samt med definitionen af højrisi- koanvendelse i produkter vil forordningen komme til at ramme mange al- lerede etablerede digitale løsninger, hvor krav om involvering af tredje- partskontrol vil være urimelig dyr og unødvendig, når det gælder produk- ter. DI bemærker i den forbindelse, at de eksisterende krav allerede er om- kostningskrævende, og de ekstra krav risikerer derved at bremse innovati- onslysten. En løsning kunne være at indskrænke definitionen ved at ude- lade de statistiske metoder. Alternativt kan det undtages i maskinprodukt- forordningen og tilsvarende reguleringer. Finans Danmark anbefaler en risikobaseret tilgang med flere risikoni- veauer. En risikobaseret tilgang med kun to niveauer vil sandsynligvis re- ducere anvendelsen af kunstig intelligens. Finans Danmark ser, at der med fordel kan søges inspiration i, hvorledes den finansielle regulering fungerer i forhold til fintech, hvor man arbejder med en regulatorisk perimeter. Så- dan en tilgang vil både sikre forbrugerbeskyttelsen samt understøtte inno- vation og udvikling. 24/37 Finans Danmark finder, at forslaget ikke sondrer tydeligt mellem kunstig intelligens, der anvendes til at støtte menneskelige beslutninger, og den kunstige intelligens, der fungerer autonomt. En risikobaseret tilgang bør afstedkomme lettere regulatoriske krav til kunstige intelligenser, der kun bruges til at hjælpe mennesker med at træffe beslutninger, hvorimod auto- nome kunstige intelligenser skal reguleres mere indgående. Samtidig er det vigtigt at sikre lige vilkår for alle brancher og geografier. Finansforbundet mener, at den valgte tilgang med horisontal lovgivning og proportional, risikobaseret tilgang til brugen af kunstig intelligens, her- under med angivelse af ikke tilladt kunstig intelligens-benyttelse, som går imod EU’s værdier, virker fornuftig. Forsikring & Pension mener, at det er positivt, at Kommissionen lægger op til, at reguleringen bliver risikobaseret og proportional, så der alene fo- kuseres på højrisiko og forbudte applikationer, og at almindelige robot-au- tomatiseringsprocesser ikke rammes af unødvendige skrappe krav. Defini- tionen af kunstig intelligens og anvendelsesområdet for reguleringen ser ud til at blive indskrænket. Det er positivt, fordi en bred definition af begrebet kunstig intelligens vil ramme en lang række almindelige automatiserings- processer, der ikke udgør nogen risiko for forbrugerne. Forsikring & Pen- sion fremhæver, at bilag 1 referer til en række teknikker, der karakteriseres som kunstig intelligens. Der kan dog stadig være juridisk uklarhed om, hvorvidt et system er omfattet eller ej, hvilket bør klarlægges. KL mener, at en risikobaseret tilgang i sig selv er fornuftig, men at der er behov for en udfoldning og dialog om, hvilke kriterier der skal lægges til grund for en bestemt risikovurdering, og at der skal være mulighed for at kategorierne kan nuanceres af de enkelte lande. Der vil i konkrete tilfælde være stor forskel på, hvilke formål som løsningen skal bidrage til, og der er derfor behov for en nuanceret tilgang, der indeholder en relativt fintma- sket risikovurdering til det enkelte projekt. Placeringen i risikogruppen og dertilhørende forpligtelser skal tage højde for en given løsnings kombina- tion af formål, teknologi og output. KL mener, at det på nuværende tids- punkt er vanskeligt at vurdere konsekvenserne af forordningen, og at der er derfor behov for dybere præciseringen af konkrete reguleringstiltag. Forbudt praksis med hensyn til kunstig intelligens DE mener, at nogle af de problemer, som forslaget skal løse, allerede er klart ulovlige. Som eksempel på kunstig intelligens, der udnytter udsatte grupper, har Kommissionen præsenteret, at dette kan være en dukke, der med en integreret stemmeassistent, opfordrer børn til at udføre farlige handlinger. Uanset om denne stemmeassistent har en kunstig intelligens- komponent eller blot er en optagelse, der afspilles ved faste intervaller, har 25/37 DE en klar formodning om, at dette allerede er dækket af eksisterende lov- givning – og at det ellers under alle omstændigheder burde være det. Det er med til at understrege, at Kommissionen enten er i færd med at regulere områder, som allerede er dækket under anden lovgivning, eller at Kommis- sionen er uklar på, hvad formålet med forordningen er. Derfor mener DE, at der med fordel kan arbejdes på at skabe større klarhed om forordningens intention og formål. DE er til dels enige i, at der kan være brug af kunstig intelligens, som strider mod vores europæiske værdier og rettigheder, men i artikel 5 forbydes an- vendelse af kunstig intelligens i for brede træk, således at det kan forhindre, at teknologiens potentiale bruges til gode formål. Forbrugerrådet Tænk mener, at selvom kunstig intelligens kan skabe en positiv forandring i samfundet, kan teknologien også gøre skade på det en- kelte individ. Det sker, hvis de algoritmer, der i fremtiden kommer til at træffe beslutninger og afgørelser, diskriminerer og dermed ikke udvikles på betryggende vis, eller hvis den data, der anvendes til analyserne, ikke er forsvarligt sikret. Forbrugerrådet Tænk støtter derfor, at forslaget lægger op til at forbyde visse former for brug af kunstig intelligens, ligesom for- slaget henviser til, at charteret for menneskerettigheder og databeskyt-tel- seslovgivningen/GDPR skal overholdes. Højrisiko kunstig intelligens-systemer DE bemærker, at en række produkter, hvor højrisiko kunstig intelligens indgår som komponent, blandt andet køretøjer, kun er omfattet af forord- ningens artikel 84 vedrørende evaluering og gennemgang. Dette bør udvi- des til at gælde alle eksisterende produktdirektiver mv., da den nuværende opdeling, hvor nogle produktkategorier både reguleres af sektorspecifik re- gulering og denne forordning, giver anledning til regulatorisk overlap, uigennemsigtighed og usikkerhed for virksomhederne. DE bemærker, at datasæt til træning, validering og test af kunstig intelli- gens-systemer pålægges krav om at være fri for fejl. DE støtter intentionen om høj datakvalitet, som er fri for bias og er repræsentativ, men med de meget store datasæt, der kræves for at kunne træne algoritmer, vil det være tidskrævende og ressourcetungt at skulle sikre, at der ikke er en eneste fejl i datasættet. Dette vil medføre betydelige administrative byrder for virk- somheder og kan reducere innovation og afprøvning af nye løsninger. DE fremhæver, at der stilles krav om, at teknisk dokumentation bør være opdateret. Her vil det være hensigtsmæssigt at have klare rammer for, hvor ofte materialet skal opdateres for at leve op til dette krav. Derudover vil det være hensigtsmæssigt med flere templates og/eller eksempler. Det gælder 26/37 både systemer til kvalitetstjek, men kan også udvides til at omfatte eksem- pelvis teknisk dokumentation mv. DE fremhæver, at det vil være vanskeligt for udviklere, leverandører og forhandlere at sikre fuld forståelse for kapacitet og begrænsninger ved et givent kunstig intelligens-system hos den person, der har ansvar for men- neskeligt tilsyn. En del af dette ansvar bør pålægges brugerne, ligesom det understreger behovet for investeringer i uddannelse, kompetence- og vi- densløft i befolkningen, efterhånden som flere medarbejdsgrupper skal bruge forskellige former for kunstig intelligens. DE anser det for fornuftigt, at der stilles krav til modstandsdygtigheden i højrisiko kunstig intelligens-systemer, men der vil altid være en mulighed for, at der opstår fejl eller lignende, når systemet interagerer med menne- sker. Det er ikke muligt at lave systemer, som er fuldstændigt sikrede mod fejl 40-hændelser, og derfor er investeringer i uddannelse vigtig for at re- ducere denne type risiko. DE mener desuden, at der er uklarhed, i forhold til hvornår et højrisiko kunstig intelligens-system skal revurderes. DI mener, at der er behov for afklaring af definitionen af højrisikoanven- delse i produkter. Det er uklart, om det alene er kunstig intelligens designet til at indgå i sikkerhedskomponenter, der er omfattet, eller om det også gælder andre anvendelser, der kræver tredjepartskontrol. Ifølge NLF skal lovgiver vælge de moduler til overensstemmelsesvurdering, som er rele- vante i forhold til størrelsen af risikoen. Derfor synes det logisk at kræve tredjepartskontrol ved højrisikoanvendelse. DI finder dog, at forslaget de- finerer risiko omvendt, hvor en anvendelse af kunstig intelligens bliver be- tragtet som højrisiko, hvis sektorlovgivningen stiller krav om tredjeparts- kontrol. Det kan gælde produktkategorier, men det kan også opstå ved manglende harmoniserede standarder. De nuværende problemer med at harmonisere europæiske standarder kan få afgørende indflydelse på, hvilke anvendelser af kunstig intelligens der karakteriseres som højrisikoanven- delse. Løses problemet ikke, vil det medføre unødigt store omkostninger. DI fremhæver, at forslagets massive bødestørrelser stiller ekstra høje krav til, at det skal være tale om tydelige kriterier, klarhed over hvorvidt virk- somhederne indfrier kravene, og at reguleringen ikke rammer bredere end tiltænkt. I forhold til selve kravene ved højrisikoanvendelse af kunstig in- telligens bør der være mere fokus på den ønskede effekt end at stille speci- fikke krav til at opnå den ønskede effekt. DI finder det afgørende for regu- leringens succes og europæiske virksomhedernes konkurrenceevne, at der arbejdes videre med forslaget på disse områder for at skabe mere klarhed. 27/37 Det er vigtigt, at reguleringen ikke rammer skævt, for bredt eller bliver uhåndterbar for virksomhederne, når den rammer virkeligheden. Finans Danmark mener, at der kan forventes et løbende behov for at re- vurdere, hvilken kunstig intelligens der er højrisiko, da teknologien er un- der udvikling. Hvis ikke der etableres løbende justeringer, vil regulering sandsynligvis over tid komme til at ramme skævt i forhold til formålet om beskyttelse og innovation. Forbrugerrådet Tænk mener, at definitionen af højrisiko kunstig intelli- gens ikke må være for snæver. Hvis begrebet fortolkes snævert, vil en masse kunstig intelligens-løsninger, som forbrugerne omgiver sig med hver eneste dag, falde uden for reglerne, og forbrugerbeskyttelsen vil alene skulle sikres gennem frivillige retningslinjer. Forbrugerrådet Tænk mener, at højrisiko kunstig intelligens også bør omfatte andre mulige skader eller ulemper hos forbrugeren såsom økonomisk tab eller økonomisk diskrimi- nation samt købs- og fastholdelsesmanipulation. Forordningens krav om fysisk og psykisk skadevirkning bør derfor udvides. Forsikring & Pension finder det positivt, at Kommissionen er gået bort fra at definere særlige sektorer som højrisikosektorer med høj regulering af al anvendelse af kunstig intelligens inden for den pågældende sektor til følge. Det giver bedre mening at fokusere på en risikobaseret tilgang til den konkrete anvendelse af kunstig intelligens og alene fokusere på at sætte rammer omkring højrisikoanvendelse for at sikre borgernes rettigheder, hvor der er en reel risiko. Forsikring & Pension opfordrer til, at man fra dansk side bakker op om dette fremadrettet. IT-Branchen byder opdelingen i risikokategorier velkommen, da det er med til at skabe klarhed. Samtidig bliver det afgørende, at listen over høj- risiko kunstig intelligens med tiden ikke vokser sig lang og uoverskuelig. Man skal være helt skarpe på, at det kun er løsninger, hvor det er betydelig risiko for skade, ender med at falde i kategorien højrisiko kunstig intelli- gens. IT-Branchen mener, at der skal foreligge et klart mandat og kriterier, før listen kan udvides med nye områder - og først efter dialog med eksperter og virksomheder med branchekendskab. Overensstemmelsesvurdering af højrisiko kunstig intelligens, herunder ud- arbejdelse af standarder og fælles specifikationer DE bemærker, at der vil være behov for fælles standarder og specifikatio- ner, der i dag ikke eksisterer, for at udføre overensstemmelsesvurderinger. Forslaget giver Kommissionen opgaven med at implementere disse. DE mener, det vil være bedre, hvis denne opgave blev løst i de regulatoriske sandkasser, da det vil være en ny tilgang til regulering af teknologi. Det vil samtidig give en mere permanent og veldefineret rolle til sandkasserne. 28/37 DI ser, at når det gælder de standarder, der skal gøre det muligt at opnå formodning om overensstemmelse med forslagets krav, vil Kommissionen udvikle mandater til brug for det europæiske standardiseringssystem. Sam- tidig vil forordningen finde anvendelse 30 måneder efter, at den er trådt i kraft. DI sætter spørgsmålstegn ved, om det er realistisk, at de nødvendige standarder er tilgængelige på det tidspunkt, samt om disse standarder også skal harmoniseres under sektorreguleringen eller alene under forordning om kunstig intelligens. Forslaget lægger op til, at overensstemmelsen med kravene skal foretages i forbindelse med udarbejdelse af overensstemmel- sesvurderingen i sektorlovgivningen. Der er derfor behov for en nærmere analyse af, hvordan samspillet mellem denne forordning og den sektorspe- cifikke lovgivning skal fungere i praksis. DI og Dansk Standard fremhæver, at der i forslaget lægges op til, at Kom- missionen selv kan udvikle tekniske specifikationer, hvis standarder til brug for publicering ikke udvikles tilstrækkeligt hurtigt. Reelt betyder det, at Kommissionen får beføjelser til at udvikle detailregulering, som det el- lers med NLF er formålet at undgå. Beføjelsen bør skrives ud af forslaget. Alternativt bør der stilles samme krav til udvikling af de tekniske specifi- kationer som i standardiseringsforordningen. Dansk Standard finder det positivt, at Kommissionen lægger op til, at høj- risiko kunstig intelligens håndteres med NLF-tilgangen og brug af CE- mærkning med henholdsvis egne erklæringer og tredjepartserklæringer. Denne tilgang bør fastholdes. Dansk Standard finder det positivt, at harmoniserede standarder er til- tænkt en vigtig rolle i forhold til at hjælpe virksomhederne med at over- holde den nye lovgivning. Samtidig er det vigtigt, at myndigheder, som senere skal varetage markedsovervågning på området, har forståelse for det tekniske indhold i standarderne. Ligeledes kan det være en fordel, at de bemyndigede organer, som skal udføre tredjepartsvurderinger, får grundigt kendskab til de standarder, som de skal anvende. IT-Branchen mener, at det kommer til at kræve betydelige administrative omkostninger for virksomhederne at skulle dokumentere og teste, at de le- ver op til reglerne inden for højrisikoområderne. Det bliver derfor afgø- rende, at danske og europæiske virksomheder kan forstå og agere ud fra lovgivningen, og at virksomhederne i videst muligt omfang ikke skal ind- sende samme dokumentation til flere instanser. Det kræver, at EU får skabt en fleksibel lovgivningsramme uden unødigt bureaukrati. Der kan med for- del fra national side oprettes støttefunktioner til at guide særligt de små og mellemstore virksomheder (SMV’erne). 29/37 KL finder det væsentligt, at ny regulering ikke påfører myndigheder bu- reaukrati i forhold til at implementere de kommende regler. Særligt kan der være opmærksomhed på at holde eventuelle dokumentationskrav på et mi- nimum. Derudover fremhæver KL, at det bør anerkendes, at reguleringen introduceres på et område, hvor der allerede sker anvendelse af teknolo- gien. Myndighederne, herunder kommunerne, bør således sikres en til- strækkelig frist og fleksibilitet til at forholde sig til reguleringen, så man ikke sanktioneres for positive frontrunner indsatser. Samtidig er det cen- tralt, at kommunernes erfaringer med konkrete løsninger indarbejdes i stan- dardiseringsarbejdet, således at de danske myndigheders erfaringer og den danske forvaltningstradition bliver repræsenteret i arbejdet. Eksisterende lovgivning og NLF DI støtter, at kravene vedrørende højrisikoanvendelsen i produkter bygger på principperne bag NLF. Visse steder bryder forslaget med NLF såsom Kommissionens mulighed for at udarbejde tekniske specifikationer samt kravet om, at udbyder skal monitorere regelefterlevelse af systemet gen- nem hele dets livscyklus. Sidstnævnte åbner desuden en række spørgsmål om deling af data, der kan påvirke fortrolighed og intellektuelle ejendoms- rettigheder. DI opfordrer til, at man fra dansk side anmoder Kommissionen om at redegøre for uoverensstemmelser med NLF-grundlaget. DI mener, at man kun bør ændre på de grundlæggende principper bag NLF, hvis det er absolut nødvendigt, og DI savner argumenter, der begrunder denne gen- nemgribende ændring. Desuden vil Kommissionen som led i evaluering af NLF undersøge, hvordan brug af nye teknologier påvirker NLF, hvorfor introduktion af ændringer i dette forslag forekommer præmaturt. DI fremhæver, at mange EU-initiativer påvirker produkter. Hvis regelef- terlevelse skal sikres på sigt, er det vigtigt at forholde sig til, hvordan de forskellige lovgivninger spiller sammen, så resultatet bliver en lovgiv- ningsmæssig ramme, der fungerer for virksomhederne. Dansk Standard fremhæver, at Kommissionens tilgang, der bygger på NLF og udarbejdelsen af standarder, er en væsentlig lettere metode for virksomhederne at efterleve samt vil være med til at skabe en agil regule- ring, da der løbende kan justeres via tekniske standarder. Det kan i den forbindelse være vigtigt at fastholde krav om rimelige overgangsordninger, således at virksomheder kan nå at omstille sig til nye krav. Dansk Standard ser desuden positivt på, at for kunstig intelligens-kompo- nenter, der allerede er en del af regulerede produkter med tredje-partsvur- dering, bygges der videre på NLF-modellen med CE-mærkning. Der vil dog være udgifter forbundet med udvidelsen af tredjepartsvurderingerne. Samtidig bør det overvejes, hvad samspillet mellem lovgivninger kommer til at indebære, også i relation harmoniserede standarder. 30/37 Krav om forbrugerrettigheder Forbrugerrådet Tænk savner, at der i regelsættet indgår forbrugerret- tigheder, som forbrugerne kan gøre brug af, når de agerer med virksomhe- der og myndigheder, der anvender kunstig intelligens. Forslaget henvender sig i nuværende udformning først og fremmest til virksomhederne med rammer og krav, hvorimod forbrugerbeskyttelse som et grundelement og de rettigheder, der medfølger i den forbindelse, helt er udeladt. En forbru- ger bør eksempelvis kunne klage direkte til virksomheden, såfremt den er uenig i en algoritmisk afgørelse, ligesom muligheden for et menneskeligt tilsyn/revurdering bør sikres. Uanset at GDPR indeholder en bestemmelse om kunstig intelligens, bør en tilsvarende regel adresseres direkte i dette forslag. Gennemsigtighedsforpligtelser for visse systemer Forbrugerrådet Tænk mener, at der bør indgå et krav om, at kunstig in- telligens-systemer rettet mod forbrugere skal deklareres. Forsikring & Pension fremhæver, at der fastsættes krav om, at systemer, der skal interagere med mennesker, er designet på en måde, så det er tyde- ligt for personen, at det er et kunstig intelligens-system, der interageres med. I det omfang det måtte omfatte chatbots, henstilles det, at kravet ikke bliver unødvendigt bebyrdende. Foranstaltninger til støtte for innovation DE støtter ideen om regulatoriske sandkasser for at give bedre vilkår for innovation. DE mener dog, at dette bør følges af medfinansiering fra EU- budgettet og andre incitamenter, så det sikres, at der på tværs af medlems- staterne etableres et tilstrækkeligt antal sandkasser. Derudover ser DE po- sitivt på forslagene om at understøtte SMV’erne. Dog bør der fastsættes en grænse, så de mindste virksomheder og iværksættere fritages helt for at be- tale gebyrer og lignende i forbindelse med forordningens krav. Forvaltning og gennemførelse Dansk Standard mener, at det er vigtigt, at der indføres rimelige over- gangsperioder, da der er lagt op til en ambitiøs lovgivning, der stiller store krav til virksomheder og myndigheders kompetencer og viden på området. Finans Danmark støtter, at kommende tilsyn af den finansielle sektor vil skulle foretages af de reguleringsmyndigheder, som i dag har tilsynsfor- pligtelsen for de finansielle virksomheder. Hertil vil det være hensigtsmæs- sigt, hvis det for dette specifikke sektortilsyn blev muligt at anvende en mere risikobasseret tilgang, og at de finansielle tilsynsmyndigheder i højere grad kan fravige den firkantede højrisiko og lavrisiko tilgang. 31/37 Finansforbundet mener, at det i denne sammenhæng kan være på sin plads med en forordning, så der sikres en helt ensartet tilgang i EU til dette vig- tige og komplicerede område. Det må dog sikres, at medlemsstaterne ikke hindres i at udvikle nationale tiltag for at understøtte forordningens regel- sæt og intentioner. Finansforbundet fremhæver desuden, at meget kunstig intelligens-software, som anvendes af virksomheder i Danmark og andre europæiske lande, er udviklet uden for EU. Det sætter ekstra fokus på krav om overholdelse af danske og europæiske værdier i implementeringen. Forbrugerrådet Tænk bemærker, at foruden klageadgang, er tilsyn og håndhævelse en afgørende forudsætning for reglernes effekt. Det er derfor vigtigt, at tilstrækkelige myndighedsressourcer og tidseffektiv behandling af forbrugerklager ikke mindst over for globale teknologivirksomheder sik- res bedre, end tilfældet er i dag efter databeskyttelsesreglerne/GDPR. IT-Branchen noterer, at implementeringen af forslaget er henlagt til med- lemslandene. Det bliver afgørende, at der kommer ensartede nationale af- gørelser i alle medlemslande, og at der ikke skabes smuthuller og gråzoner ud fra nationale hensyn. IT-Branchen stiller spørgsmål ved, om medlems- landene er gearet til denne nye opgave, og hvilke(n) instans(er) der skal varetage opgaven. Det kommer til at kræve stor ekspertise i medlemslan- dene at varetage denne opgave, blandt andet da anvendelsesområderne ud- vikler sig over tid. Dette gør den administrative opgave med den fortlø- bende kontrol og regulering ekstremt tung. IT-Branchen er bekymret for, om alle medlemslandene har de nødvendige kompetencer, og om den uklare nationale implementering kan skabe øget usikkerhed for virksomhe- der på det europæiske marked. KL mener, at en god og effektiv implementering kræver viden og støtte. Det er vigtigt, at forordningen skaber klarhed over, hvilke regler og for- tolkninger der gælder. Med erfaring fra tidligere forordninger anbefales det, at der bliver krav om støtte til myndigheder i form af hurtig hjælp til afklaring af eventuelle spørgsmål, der følger af forordningen. På samme måde er det centralt, at leverandører af løsninger forpligtes til at sikre over- holdelse af reglerne i de løsninger, som de udbyder. Dermed vil de for- mentlig have samme behov for grundig regelindføring og -afklaring. KL mener, at der er brug for vejledning og konkrete værktøjer til at under- støtte reguleringen, og at disse skal være på plads inden reglerne træder i kraft, så virksomheder og myndigheder kan sikre overensstemmelse med lovgivningen uden overimplementering eller unødig bureaukratisk doku- mentation. Der bør afsættes finansiering til arbejdet med disse aktiviteter. Etablering af det europæiske udvalg for kunstig intelligens 32/37 DE mener, at relevante interessenter skal inddrages i møderne i det euro- pæiske udvalg for kunstig intelligens. DI mener, at udvalget ikke alene skal følge implementeringen af den nye regulering for at sikre en gnidningsfri implementering, men også tage an- svaret på sig for at sikre, at implementeringen af reguleringen understøtter EU’s ambitioner om at tage ny teknologi i brug til innovation, vækst og for at skabe et bedre samfund. At skabe en god balance mellem at tage ny tek- nologi i brug og at beskytte samfundet mod en uhensigtsmæssig udvikling bør være en formel og prioriteret opgave for det foreslåede europæiske ud- valg for kunstig intelligens. Sanktioner DE mener, at bødestørrelsen for brud på artikel 5 vedrørende forbudte an- vendelser virker unødvendigt højt. Det lægger to procentpoint oveni ram- men fra GDPR og kan være en medvirkende faktor til, at virksomheder helt fravælger at udvikle og levere kunstig intelligens til skade for europæisk vækst og innovation. Forsikring & Pension noterer, at forslaget anvender et bøderegime, der kendes fra konkurrenceretten og GDPR. Der stilles dog spørgsmålstegn ved proportionaliteten i det foreslåede bødeniveau, der umiddelbart virker voldsomt højt. KL mener, at det er vanskeligt at vurdere, hvilke sanktioner der vil blive gennemført, såfremt forpligtelserne ikke overholdes. Som ved GDPR er KL meget kritisk over for eventuelle økonomiske sanktioner til offentlige myndigheder. Adfærdskodeks DE bakker generelt op om initiativer båret af frivillighed, der kan bruges til at promovere en ansvarlig tilgang til digitalisering, herunder kunstig in- telligens. Her bør Danmark søge at integrere eksisterende indsatser, eksem- pelvis den danske mærkningsordning D-mærket, og eventuelt bruge for- ordningen som en løftestang for at udbrede mærket til resten af EU. DI fremhæver, at reguleringen ikke kommer til at finde anvendelse på en lang række anvendelser af kunstig intelligens, men derfor skal virksomhe- der ikke lade være med at tage ansvar. DI ser, at den danske mærknings- ordning D-mærket vil være et godt eksempel på et adfærdskodeks for kun- stig intelligens, der ikke er kategoriseret som højrisiko. DI opfordrer til, at der fra dansk side arbejdes for, at D-mærket anerkendes som et adfærdsko- deks for anvendelse af kunstig intelligens, der ikke reguleres som højrisiko. 33/37 Finans Danmark mener, at den skarpe binære sondring mellem høj risiko og lav risiko sammenholdt med adgangen til frivilligt at underlægge sig højrisikoregulering sandsynligvis vil risikere ikke at have den ønskede virkning. Finans Danmarks vurderer, at en mere differentieret og risiko- baseret tilgang til reguleringen i højere grad vil styrke virksomhedernes in- teresse for frivilligt at efterleve kravene i den nye regulering. Finansforbundet støtter udvikling af adfærdskodekser som et vigtigt sup- plement til forordningens regler og intentioner. Det er samtidig vigtigt, at tilsynsmyndigheder mv. sættes i stand til at anvende disse kodekser proak- tivt, uden at området udvikler sig i omfang og kompleksitet på samme måde som eksempelvis GDPR. Det er vigtigt, at tiltagene kan være effektivt ret- ningssættende og eksempelvis facilitere transparente rapporteringer. Delegerede retsakter DE bemærker, at forslaget i vid udstrækning åbner for brug af delegerede retsakter, hvilket øger usikkerheden for de virksomheder, som lovgivnin- gen rammer. DE er generelt af den holdning, at delegerede retsakter bør anvendes mindst muligt. DI bemærker, at forordningen lægger op til, at de nærmere krav til moni- toreringen af regelefterlevelsen skal ske i form af en delegeret retsakt. DI har brug for mere tid til at tage stilling til, om dette er den mest hensigts- mæssige løsning, skulle kravet blive fastholdt. 9. Generelle forventninger til andre landes holdninger I Rådet færdiggjorde man under det slovenske formandskab i andet halvår af 2021 den første artikelgennemgang af forslaget. Det slovenske formand- skab fremsatte den 29. november et delvist kompromisforslag på artiklerne 1-7 samt bilagene I-III. Dette centrerede sig særligt om anvendelsesområ- det, definitioner, forbud, klassificering af højrisikosystemer samt delege- ring af beføjelser i forhold til opdatering af bilag I. Derudover fremlagde det slovenske formandskab en fremskridtsrapport på telerådsmødet den 3. december 2021, som omhandlede de samme emner samt identificerede en række elementer, der kræver yderligere drøftelse, herunder højrisikokrav, aktørforpligtelser, håndhævelse samt samspil med eksisterende lovgivning. Det franske formandskab satte ambitiøst fra start i første halvår af 2022 og den anden artikel gennemgang er blevet afsluttet. Det franske formandskab har løbende udarbejdet nye kompromisser på henholdsvis højrisikokra- vene, standardisering, innovationsunderstøttende initiativer, lovhåndhæ- vende myndigheder anvendelse af højrisiko kunstig intelligens og håndhæ- velse, som er blevet drøftet i arbejdsgruppen. Danmark har sammen med 34/37 en række ligesindede lande indsendt skriftlige bemærkninger, særligt angå- ende sandkasser, for at sikre at rammerne bliver fleksible og fremtidssikre. Generelt set skrider forhandlingerne fremad, men i et overskueligt tempo. Formandskabet vil fremsætte en fremskridtsrapport på telerådsmødet den 3. juni, og forventningen er en generel indstilling tidligst i slutningen af andet halvår af 2022. 10. Regeringens generelle holdning Regeringen mener, at digitaliseringen skal tjene samfundets interesser ved, at digitalisering bidrager til at adressere samfundets udfordringer, mens etisk, ansvarlig og sikker digitalisering går hånd i hånd med digital vækst. På den baggrund støtter regeringen ambitionen om at skabe et velfunge- rende indre marked for etisk, ansvarlig og sikker kunstig intelligens. Regeringen arbejder for, at den digitale økonomi i Europa generelt kende- tegnes ved et højt niveau af tillid og tryghed samt en stærk digital konkur- renceevne baseret på innovationsfremmende og teknologineutrale ramme- vilkår, hvor gevinsterne ved forslaget står mål med de administrative og økonomiske omkostninger for virksomhederne. Regeringen anser kunstig intelligens som en af de afgørende teknologier til at understøtte EU’s konkurrenceevne, velstand, grønne omstilling samt den offentlige forvaltning. Regeringen anerkender imidlertid, at anvendelsen af kunstig intelligens kan indebære en række risici, der kan underminere en etisk, ansvarlig og sikker anvendelse af kunstig intelligens. Regeringen støtter, at risiciene ved kunstig intelligens adresseres i en euro- pæisk lovgivningsramme. Regeringen finder det centralt, at der med forsla- get opnås en ansvarlig og etisk anvendelse af kunstig intelligens-løsninger og dataene bag disse. Regeringen finder det vigtigt, at den europæiske lovgivningsramme følger en risikobaseret, teknologineutral og proportionel tilgang, hvor graden af forpligtelser følger graden af mulig skadevirkning. På den baggrund finder regeringen det vigtigt at opnå en klar, principbaseret og operationel lovgiv- ningsramme, der sikrer borgernes og forbrugernes tillid og øger beskyttel- sen i samfundet, uden at dette unødigt hæmmer innovationsevnen eller for- ringer konkurrenceevnen. Regeringen finder det derfor vigtigt, at der findes den rette balance, hvor risici adresseres, samtidig med at teknologien kan udvikles og anvendes til gavn for vores samfund samt understøtte fremti- dens arbejdspladser og offentlige forvaltning. Regeringen finder det vig- tigt, at der stilles krav til datakvaliteten i udvikling af højrisiko kunstig in- telligens-systemer. 35/37 I den henseende finder regeringen det centralt, at forordningen ligger inden for rammerne af eksisterende kompetencefordeling, herunder for så vidt angår national sikkerhed. Regeringen finder det centralt, at forordningen ligger inden for rammerne af eksisterende lovgivning, herunder GDPR og produktlovgivningen. Det bemærkes, at de eksisterende regler i GDPR tilvejebringer en beskyttelse af personoplysninger. Borgere og forbrugere (registrerede) vil således efter de eksisterende databeskyttelsesregler kunne klage til Datatilsynet over en behandling af deres personoplysninger. Herudover vil borgere og forbru- gere (registrerede) kunne tilbagetrække sit samtykke i de tilfælde, hvor samtykke udgør grundlaget for databehandling. Regeringen finder det vig- tigt, at der sikres klarhed i forhold til samspillet mellem AI-forordningens bestemmelser om personoplysninger og de generelle regler i GDPR, og at dobbeltregulering så vidt muligt undgås. Regeringen finder det vigtigt, at der anlægges en principbaseret tilgang, der efterlader et vist manøvrerum til den specifikke tekniske løsning, samt at der bl.a. gives mulighed for anvendelsen af harmoniserede standarder (f.eks. ift. forpligtelser om data og datahåndtering, hvor standardisering gi- ver mulighed for kvalitetssikring). Hertil finder regeringen det vigtigt, at der stilles krav til datakvaliteten i udvikling af højrisiko kunstig intelligens- systemer. En principbaseret tilgang forudsætter dog udarbejdelse af vejled- ning på europæisk plan samt udarbejdelse af standarder, inden forordnin- gen finder anvendelse, hvilket regeringen finder vigtigt. Regeringen finder det centralt, at centrale begreber i forslaget klarlægges og afgrænses, herunder definitionen af kunstig intelligens samt kategorise- ringen af højrisiko kunstig intelligens. Det er vigtigt, at definitionen af kun- stig intelligens er klar og kun omfatter det, der reelt udgør kunstig intelli- gens. Kategorien af højrisiko kunstig intelligens bør klart afgrænses til anvendel- ser, der reelt kan medføre betydelig og svært genoprettelig skade. En po- tentiel, fremtidig udbygning af højrisikokategorien skal ske på grundlag af en konkret risikovurdering samt klare og forudsigelige kriterier. I den hen- seende finder regeringen det vigtigt, at højrisikoanvendelserne afgrænses til de anvendelser, der kan være ugunstige for de påvirkede aktører, herun- der borgere og forbrugere, og arbejder for, at efterlevelsesomkostninger står mål med gevinsterne ved regulering. Regeringen bakker op om forbud af specifikke anvendelser af kunstig in- telligens, hvor anvendelsen kan resultere i alvorlig, uoprettelig skade for 36/37 individer eller samfundet eller er uforenelig med gældende lovgivning eller rettigheder, samt hvor dette ikke kan adresseres på anden vis. I forlængelse heraf mener regeringen, at retshåndhævende myndigheders brug af biometrisk fjernidentificering i realtid på offentlige steder i visse- situationer, kan retfærdiggøres. Det må dog hverken resultere i generel overvågning eller undergravning af grundlæggende rettigheder såvel som eksisterende lovgivning. Det bemærkes dog, at forordningens regler om retshåndhævende myndigheders brug af biometrisk fjernidentifikation er omfattet af retsforbeholdet, og Danmark er således ikke bundet heraf. Regeringen støtter forudgående overensstemmelsesvurderinger til at sikre efterlevelse af højrisikokravene. I den forbindelse ser regeringen positivt på Kommissionens forslag, der blandt andet tager højde for eksisterende lovgivning og kombinerer forskellige procedurer, herunder både intern og tredjepartskontrol. Regeringen arbejder imidlertid for, at efterlevelsesom- kostninger, herunder de administrative omkostninger, står mål med gevin- sterne ved reguleringen. Samtidig er det vigtigt, at der sikres effektive ef- terlevelsesprocedurer, herunder tilstrækkelig kapacitet samt kompetencer til at certificere den omfattede kunstig intelligens effektivt. Regeringen støtter enkle gennemsigtighedsforpligtelser for visse anvendel- ser af kunstig intelligens. Målet om gennemsigtighed skal dog give mer- værdi, og regeringen finder det vigtigt, at de omfattede anvendelser af kun- stig intelligens klarlægges, og at gennemsigtighedsforpligtelserne er pro- portionelle og ikke skaber modsatrettede hensyn i forhold til grundlæg- gende rettigheder, da kunstig intelligens kan anvendes til at redigere ind- hold som led i udøvelsen af informations- og ytringsfrihed. Da det overordnede mål er at styrke etisk, ansvarlig og sikker kunstig in- telligens, støtter regeringen udformningen af frivillige adfærdskodeks, der kan blive et konkurrenceparameter for danske og europæiske virksomhe- der. Regeringen arbejder for, at der bør være forskel på højrisiko kravene og kravene i adfærdskodeks, da al kunstig intelligens ellers de facto vil være underlagt de skærpede højrisikokrav. Frivillige adfærdskodeks kan være et indledende skridt mod en europæisk frivillig mærkningsordning for kunstig intelligens, som regeringen fortsat vil arbejde for. Regeringen finder det vigtigt, at forvaltningen og håndhævelsen foregår nationalt, hvor der bygges på eksisterende, nationale strukturer, der sikrer en effektiv databeskyttelse og forbrugerbeskyttelse. I den henseende arbej- der regeringen for, at medlemslandene bevarer retten til at fastlægge den nationale organisering. Regeringen finder det vigtigt, at forslaget ikke på- lægger medlemslandene unødige statsfinansielle omkostninger, og at ge- 37/37 vinsterne ved forslaget står mål med de administrative omkostninger. Der- udover vil regeringen fremhæve behovet for et europæisk tilsyn til at hånd- tere sager af en vis størrelse eller grænseoverskridende karakter. I forlængelse heraf bakker regeringen op om etablering af et europæisk ud- valg for kunstig intelligens, der skal sikre effektiv og ensartet håndhævelse af de nye regler på tværs af grænserne. Regeringen mener, at effektiv håndhævelse er vigtigt, hvis målet om at ud- vikle og anvende etisk, ansvarlig og sikker kunstig intelligens skal nås. Re- geringen støtter derfor indførelsen af effektive og passende sanktioner, her- under bøder. I samme ombæring finder regeringen det vigtigt, at det nuvæ- rende hensyn til medlemslandenes forskellige juridiske systemer bevares. Som udgangspunkt er regeringen skeptisk over for Kommissionens forslag om delegerede retsakter. I den forbindelse arbejder regeringen for, at an- vendelsesområdet for potentielle, følgende retsakter med betydning for lov- givningsmæssige og økonomiske konsekvenser klart afgrænses. Regeringen støtter initiativer, der kan fremme innovationskraften inden for kunstig intelligens, herunder etableringen af effektive og fleksible rammer for regulatoriske sandkasser. Disse kan blandt andet understøtte de små og mellemstore virksomheders efterlevelse af kravene og deraf bidrage til at understøtte udviklingen af kunstig intelligens. 11. Tidligere forelæggelse for Folketingets Europaudvalg Forslaget har været forelagt Folketingets Europaudvalg til orientering den 23. september 2021 i forbindelse med forelæggelsen af konkurrenceevne- rådsmødet, den 25. november 2021 i forbindelse med forelæggelsen af te- lekommunikationsrådsmødet d. 2 december og den 19. maj i forbindelse med telekommunikationsrådsmøderne, samt til skriftlig orientering den 1. oktober 2021 i forbindelse med det uformelle telekommunikationsråds- møde d. 14. oktober 2021. Der blev oversendt grund- og nærhedsnotat den 28. juni 2021.