Forslag til EUROPA-PARLAMENTETS OG RÅDETS FORORDNING OM HARMONISEREDE REGLER FOR KUNSTIG INTELLIGENS (RETSAKTEN OM KUNSTIG INTELLIGENS) OG OM ÆNDRING AF VISSE AF UNIONENS LOVGIVNINGSMÆSSIGE RETSAKTER

EN EN
EUROPEAN
COMMISSION
Brussels, 21.4.2021
COM(2021) 206 final
2021/0106 (COD)
Proposal for a
REGULATION OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL
LAYING DOWN HARMONISED RULES ON ARTIFICIAL INTELLIGENCE
(ARTIFICIAL INTELLIGENCE ACT) AND AMENDING CERTAIN UNION
LEGISLATIVE ACTS
{SEC(2021) 167 final} - {SWD(2021) 84 final} - {SWD(2021) 85 final}
Europaudvalget 2021
KOM (2021) 0206 - Forslag til forordning
Offentligt
EN 1 EN
EXPLANATORY MEMORANDUM
1. CONTEXT OF THE PROPOSAL
1.1. Reasons for and objectives of the proposal
This explanatory memorandum accompanies the proposal for a Regulation laying down
harmonised rules on artificial intelligence (Artificial Intelligence Act). Artificial Intelligence
(AI) is a fast evolving family of technologies that can bring a wide array of economic and
societal benefits across the entire spectrum of industries and social activities. By improving
prediction, optimising operations and resource allocation, and personalising service delivery,
the use of artificial intelligence can support socially and environmentally beneficial outcomes
and provide key competitive advantages to companies and the European economy. Such
action is especially needed in high-impact sectors, including climate change, environment and
health, the public sector, finance, mobility, home affairs and agriculture. However, the same
elements and techniques that power the socio-economic benefits of AI can also bring about
new risks or negative consequences for individuals or the society. In light of the speed of
technological change and possible challenges, the EU is committed to strive for a balanced
approach. It is in the Union interest to preserve the EU’s technological leadership and to
ensure that Europeans can benefit from new technologies developed and functioning
according to Union values, fundamental rights and principles.
This proposal delivers on the political commitment by President von der Leyen, who
announced in her political guidelines for the 2019-2024 Commission “A Union that strives for
more”1
, that the Commission would put forward legislation for a coordinated European
approach on the human and ethical implications of AI. Following on that announcement, on
19 February 2020 the Commission published the White Paper on AI - A European approach
to excellence and trust2
. The White Paper sets out policy options on how to achieve the twin
objective of promoting the uptake of AI and of addressing the risks associated with certain
uses of such technology. This proposal aims to implement the second objective for the
development of an ecosystem of trust by proposing a legal framework for trustworthy AI. The
proposal is based on EU values and fundamental rights and aims to give people and other
users the confidence to embrace AI-based solutions, while encouraging businesses to develop
them. AI should be a tool for people and be a force for good in society with the ultimate aim
of increasing human well-being. Rules for AI available in the Union market or otherwise
affecting people in the Union should therefore be human centric, so that people can trust that
the technology is used in a way that is safe and compliant with the law, including the respect
of fundamental rights. Following the publication of the White Paper, the Commission
launched a broad stakeholder consultation, which was met with a great interest by a large
number of stakeholders who were largely supportive of regulatory intervention to address the
challenges and concerns raised by the increasing use of AI.
The proposal also responds to explicit requests from the European Parliament (EP) and the
European Council, which have repeatedly expressed calls for legislative action to ensure a
well-functioning internal market for artificial intelligence systems (‘AI systems’) where both
benefits and risks of AI are adequately addressed at Union level. It supports the objective of
the Union being a global leader in the development of secure, trustworthy and ethical artificial
1
https://ec.europa.eu/commission/sites/beta-political/files/political-guidelines-next-commission_en.pdf
2
European Commission, White Paper on Artificial Intelligence - A European approach to excellence and
trust, COM(2020) 65 final, 2020.
EN 2 EN
intelligence as stated by the European Council3
and ensures the protection of ethical principles
as specifically requested by the European Parliament4
.
In 2017, the European Council called for a ‘sense of urgency to address emerging trends’
including ‘issues such as artificial intelligence …, while at the same time ensuring a high
level of data protection, digital rights and ethical standards’5
. In its 2019 Conclusions on the
Coordinated Plan on the development and use of artificial intelligence Made in Europe6
, the
Council further highlighted the importance of ensuring that European citizens’ rights are fully
respected and called for a review of the existing relevant legislation to make it fit for purpose
for the new opportunities and challenges raised by AI. The European Council has also called
for a clear determination of the AI applications that should be considered high-risk7
.
The most recent Conclusions from 21 October 2020 further called for addressing the opacity,
complexity, bias, a certain degree of unpredictability and partially autonomous behaviour of
certain AI systems, to ensure their compatibility with fundamental rights and to facilitate the
enforcement of legal rules8
.
The European Parliament has also undertaken a considerable amount of work in the area of
AI. In October 2020, it adopted a number of resolutions related to AI, including on ethics9
,
liability10
and copyright11
. In 2021, those were followed by resolutions on AI in criminal
matters12
and in education, culture and the audio-visual sector13
. The EP Resolution on a
Framework of Ethical Aspects of Artificial Intelligence, Robotics and Related Technologies
specifically recommends to the Commission to propose legislative action to harness the
opportunities and benefits of AI, but also to ensure protection of ethical principles. The
resolution includes a text of the legislative proposal for a regulation on ethical principles for
the development, deployment and use of AI, robotics and related technologies. In accordance
with the political commitment made by President von der Leyen in her Political Guidelines as
regards resolutions adopted by the European Parliament under Article 225 TFEU, this
3
European Council, Special meeting of the European Council (1 and 2 October 2020) – Conclusions,
EUCO 13/20, 2020, p. 6.
4
European Parliament resolution of 20 October 2020 with recommendations to the Commission on a
framework of ethical aspects of artificial intelligence, robotics and related technologies,
2020/2012(INL).
5
European Council, European Council meeting (19 October 2017) – Conclusion EUCO 14/17, 2017, p.
8.
6
Council of the European Union, Artificial intelligence b) Conclusions on the coordinated plan on
artificial intelligence-Adoption 6177/19, 2019.
7
European Council, Special meeting of the European Council (1and 2 October 2020) – Conclusions
EUCO 13/20, 2020.
8
Council of the European Union, Presidency conclusions - The Charter of Fundamental Rights in the
context of Artificial Intelligence and Digital Change, 11481/20, 2020.
9
European Parliament resolution of 20 October 2020 on a framework of ethical aspects of artificial
intelligence, robotics and related technologies, 2020/2012(INL).
10
European Parliament resolution of 20 October 2020 on a civil liability regime for artificial intelligence,
2020/2014(INL).
11
European Parliament resolution of 20 October 2020 on intellectual property rights for the development
of artificial intelligence technologies, 2020/2015(INI).
12
European Parliament Draft Report, Artificial intelligence in criminal law and its use by the police and
judicial authorities in criminal matters, 2020/2016(INI).
13
European Parliament Draft Report, Artificial intelligence in education, culture and the audiovisual
sector, 2020/2017(INI). In that regard, the Commission has adopted the Digital Education Action Plan
2021-2027: Resetting education and training for the digital age, which foresees the development of
ethical guidelines in AI and Data usage in education – Commission Communication COM(2020) 624
final.
EN 3 EN
proposal takes into account the aforementioned resolution of the European Parliament in full
respect of proportionality, subsidiarity and better law making principles.
Against this political context, the Commission puts forward the proposed regulatory
framework on Artificial Intelligence with the following specific objectives:
 ensure that AI systems placed on the Union market and used are safe and respect
existing law on fundamental rights and Union values;
 ensure legal certainty to facilitate investment and innovation in AI;
 enhance governance and effective enforcement of existing law on fundamental
rights and safety requirements applicable to AI systems;
 facilitate the development of a single market for lawful, safe and trustworthy AI
applications and prevent market fragmentation.
To achieve those objectives, this proposal presents a balanced and proportionate horizontal
regulatory approach to AI that is limited to the minimum necessary requirements to address
the risks and problems linked to AI, without unduly constraining or hindering technological
development or otherwise disproportionately increasing the cost of placing AI solutions on
the market. The proposal sets a robust and flexible legal framework. On the one hand, it is
comprehensive and future-proof in its fundamental regulatory choices, including the
principle-based requirements that AI systems should comply with. On the other hand, it puts
in place a proportionate regulatory system centred on a well-defined risk-based regulatory
approach that does not create unnecessary restrictions to trade, whereby legal intervention is
tailored to those concrete situations where there is a justified cause for concern or where such
concern can reasonably be anticipated in the near future. At the same time, the legal
framework includes flexible mechanisms that enable it to be dynamically adapted as the
technology evolves and new concerning situations emerge.
The proposal sets harmonised rules for the development, placement on the market and use of
AI systems in the Union following a proportionate risk-based approach. It proposes a single
future-proof definition of AI. Certain particularly harmful AI practices are prohibited as
contravening Union values, while specific restrictions and safeguards are proposed in relation
to certain uses of remote biometric identification systems for the purpose of law enforcement.
The proposal lays down a solid risk methodology to define “high-risk” AI systems that pose
significant risks to the health and safety or fundamental rights of persons. Those AI systems
will have to comply with a set of horizontal mandatory requirements for trustworthy AI and
follow conformity assessment procedures before those systems can be placed on the Union
market. Predictable, proportionate and clear obligations are also placed on providers and users
of those systems to ensure safety and respect of existing legislation protecting fundamental
rights throughout the whole AI systems’ lifecycle. For some specific AI systems, only
minimum transparency obligations are proposed, in particular when chatbots or ‘deep fakes’
are used.
The proposed rules will be enforced through a governance system at Member States level,
building on already existing structures, and a cooperation mechanism at Union level with the
establishment of a European Artificial Intelligence Board. Additional measures are also
proposed to support innovation, in particular through AI regulatory sandboxes and other
measures to reduce the regulatory burden and to support Small and Medium-Sized Enterprises
(‘SMEs’) and start-ups.
EN 4 EN
1.2. Consistency with existing policy provisions in the policy area
The horizontal nature of the proposal requires full consistency with existing Union legislation
applicable to sectors where high-risk AI systems are already used or likely to be used in the
near future.
Consistency is also ensured with the EU Charter of Fundamental Rights and the existing
secondary Union legislation on data protection, consumer protection, non-discrimination and
gender equality. The proposal is without prejudice and complements the General Data
Protection Regulation (Regulation (EU) 2016/679) and the Law Enforcement Directive
(Directive (EU) 2016/680) with a set of harmonised rules applicable to the design,
development and use of certain high-risk AI systems and restrictions on certain uses of remote
biometric identification systems. Furthermore, the proposal complements existing Union law
on non-discrimination with specific requirements that aim to minimise the risk of algorithmic
discrimination, in particular in relation to the design and the quality of data sets used for the
development of AI systems complemented with obligations for testing, risk management,
documentation and human oversight throughout the AI systems’ lifecycle. The proposal is
without prejudice to the application of Union competition law.
As regards high-risk AI systems which are safety components of products, this proposal will
be integrated into the existing sectoral safety legislation to ensure consistency, avoid
duplications and minimise additional burdens. In particular, as regards high-risk AI systems
related to products covered by the New Legislative Framework (NLF) legislation (e.g.
machinery, medical devices, toys), the requirements for AI systems set out in this proposal
will be checked as part of the existing conformity assessment procedures under the relevant
NLF legislation. With regard to the interplay of requirements, while the safety risks specific
to AI systems are meant to be covered by the requirements of this proposal, NLF legislation
aims at ensuring the overall safety of the final product and therefore may contain specific
requirements regarding the safe integration of an AI system into the final product. The
proposal for a Machinery Regulation, which is adopted on the same day as this proposal fully
reflects this approach. As regards high-risk AI systems related to products covered by relevant
Old Approach legislation (e.g. aviation, cars), this proposal would not directly apply.
However, the ex-ante essential requirements for high-risk AI systems set out in this proposal
will have to be taken into account when adopting relevant implementing or delegated
legislation under those acts.
As regards AI systems provided or used by regulated credit institutions, the authorities
responsible for the supervision of the Union’s financial services legislation should be
designated as competent authorities for supervising the requirements in this proposal to ensure
a coherent enforcement of the obligations under this proposal and the Union’s financial
services legislation where AI systems are to some extent implicitly regulated in relation to the
internal governance system of credit institutions. To further enhance consistency, the
conformity assessment procedure and some of the providers’ procedural obligations under this
proposal are integrated into the procedures under Directive 2013/36/EU on access to the
activity of credit institutions and the prudential supervision14
.
14
Directive 2013/36/EU of the European Parliament and of the Council of 26 June 2013 on access to the
activity of credit institutions and the prudential supervision of credit institutions and investment firms,
amending Directive 2002/87/EC and repealing Directives 2006/48/EC and 2006/49/EC Text with EEA
relevance, OJ L 176, 27.6.2013, p. 338–436.
EN 5 EN
This proposal is also consistent with the applicable Union legislation on services, including on
intermediary services regulated by the e-Commerce Directive 2000/31/EC15
and the
Commission’s recent proposal for the Digital Services Act (DSA)16
.
In relation to AI systems that are components of large-scale IT systems in the Area of
Freedom, Security and Justice managed by the European Union Agency for the Operational
Management of Large-Scale IT Systems (eu-LISA), the proposal will not apply to those AI
systems that have been placed on the market or put into service before one year has elapsed
from the date of application of this Regulation, unless the replacement or amendment of those
legal acts leads to a significant change in the design or intended purpose of the AI system or
AI systems concerned.
1.3. Consistency with other Union policies
The proposal is part of a wider comprehensive package of measures that address problems
posed by the development and use of AI, as examined in the White Paper on AI. Consistency
and complementarity is therefore ensured with other ongoing or planned initiatives of the
Commission that also aim to address those problems, including the revision of sectoral
product legislation (e.g. the Machinery Directive, the General Product Safety Directive) and
initiatives that address liability issues related to new technologies, including AI systems.
Those initiatives will build on and complement this proposal in order to bring legal clarity and
foster the development of an ecosystem of trust in AI in Europe.
The proposal is also coherent with the Commission’s overall digital strategy in its
contribution to promoting technology that works for people, one of the three main pillars of
the policy orientation and objectives announced in the Communication ‘Shaping Europe's
digital future’17
. It lays down a coherent, effective and proportionate framework to ensure AI
is developed in ways that respect people’s rights and earn their trust, making Europe fit for the
digital age and turning the next ten years into the Digital Decade18
.
Furthermore, the promotion of AI-driven innovation is closely linked to the Data
Governance Act19
, the Open Data Directive20
and other initiatives under the EU strategy
for data21
, which will establish trusted mechanisms and services for the re-use, sharing and
pooling of data that are essential for the development of data-driven AI models of high
quality.
The proposal also strengthens significantly the Union’s role to help shape global norms and
standards and promote trustworthy AI that is consistent with Union values and interests. It
provides the Union with a powerful basis to engage further with its external partners,
including third countries, and at international fora on issues relating to AI.
15
Directive 2000/31/EC of the European Parliament and of the Council of 8 June 2000 on certain legal
aspects of information society services, in particular electronic commerce, in the Internal Market
('Directive on electronic commerce'), OJ L 178, 17.7.2000, p. 1–16.
16
See Proposal for a REGULATION OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL
on a Single Market For Digital Services (Digital Services Act) and amending Directive 2000/31/EC
COM/2020/825 final.
17
Communication from the Commission, Shaping Europe's Digital Future, COM/2020/67 final.
18
2030 Digital Compass: the European way for the Digital Decade.
19
Proposal for a Regulation on European data governance (Data Governance Act) COM/2020/767.
20
Directive (EU) 2019/1024 of the European Parliament and of the Council of 20 June 2019 on open data
and the re-use of public sector information, PE/28/2019/REV/1, OJ L 172, 26.6.2019, p. 56–83.
21
Commission Communication, A European strategy for data COM/2020/66 final.
EN 6 EN
2. LEGAL BASIS, SUBSIDIARITY AND PROPORTIONALITY
2.1. Legal basis
The legal basis for the proposal is in the first place Article 114 of the Treaty on the
Functioning of the European Union (TFEU), which provides for the adoption of measures to
ensure the establishment and functioning of the internal market.
This proposal constitutes a core part of the EU digital single market strategy. The primary
objective of this proposal is to ensure the proper functioning of the internal market by setting
harmonised rules in particular on the development, placing on the Union market and the use
of products and services making use of AI technologies or provided as stand-alone AI
systems. Some Member States are already considering national rules to ensure that AI is safe
and is developed and used in compliance with fundamental rights obligations. This will likely
lead to two main problems: i) a fragmentation of the internal market on essential elements
regarding in particular the requirements for the AI products and services, their marketing,
their use, the liability and the supervision by public authorities, and ii) the substantial
diminishment of legal certainty for both providers and users of AI systems on how existing
and new rules will apply to those systems in the Union. Given the wide circulation of products
and services across borders, these two problems can be best solved through EU harmonizing
legislation.
Indeed, the proposal defines common mandatory requirements applicable to the design and
development of certain AI systems before they are placed on the market that will be further
operationalised through harmonised technical standards. The proposal also addresses the
situation after AI systems have been placed on the market by harmonising the way in which
ex-post controls are conducted.
In addition, considering that this proposal contains certain specific rules on the protection of
individuals with regard to the processing of personal data, notably restrictions of the use of AI
systems for ‘real-time’ remote biometric identification in publicly accessible spaces for the
purpose of law enforcement, it is appropriate to base this regulation, in as far as those specific
rules are concerned, on Article 16 of the TFEU.
2.2. Subsidiarity (for non-exclusive competence)
The nature of AI, which often relies on large and varied datasets and which may be embedded
in any product or service circulating freely within the internal market, entails that the
objectives of this proposal cannot be effectively achieved by Member States alone.
Furthermore, an emerging patchwork of potentially divergent national rules will hamper the
seamless circulation of products and services related to AI systems across the EU and will be
ineffective in ensuring the safety and protection of fundamental rights and Union values
across the different Member States. National approaches in addressing the problems will only
create additional legal uncertainty and barriers, and will slow market uptake of AI.
The objectives of this proposal can be better achieved at Union level to avoid a further
fragmentation of the Single Market into potentially contradictory national frameworks
preventing the free circulation of goods and services embedding AI. A solid European
regulatory framework for trustworthy AI will also ensure a level playing field and protect all
people, while strengthening Europe’s competitiveness and industrial basis in AI. Only
common action at Union level can also protect the Union’s digital sovereignty and leverage
its tools and regulatory powers to shape global rules and standards.
EN 7 EN
2.3. Proportionality
The proposal builds on existing legal frameworks and is proportionate and necessary to
achieve its objectives, since it follows a risk-based approach and imposes regulatory burdens
only when an AI system is likely to pose high risks to fundamental rights and safety. For
other, non-high-risk AI systems, only very limited transparency obligations are imposed, for
example in terms of the provision of information to flag the use of an AI system when
interacting with humans. For high-risk AI systems, the requirements of high quality data,
documentation and traceability, transparency, human oversight, accuracy and robustness, are
strictly necessary to mitigate the risks to fundamental rights and safety posed by AI and that
are not covered by other existing legal frameworks. Harmonised standards and supporting
guidance and compliance tools will assist providers and users in complying with the
requirements laid down by the proposal and minimise their costs. The costs incurred by
operators are proportionate to the objectives achieved and the economic and reputational
benefits that operators can expect from this proposal.
2.4. Choice of the instrument
The choice of a regulation as a legal instrument is justified by the need for a uniform
application of the new rules, such as definition of AI, the prohibition of certain harmful AI-
enabled practices and the classification of certain AI systems. The direct applicability of a
Regulation, in accordance with Article 288 TFEU, will reduce legal fragmentation and
facilitate the development of a single market for lawful, safe and trustworthy AI systems. It
will do so, in particular, by introducing a harmonised set of core requirements with regard to
AI systems classified as high-risk and obligations for providers and users of those systems,
improving the protection of fundamental rights and providing legal certainty for operators and
consumers alike.
At the same time, the provisions of the regulation are not overly prescriptive and leave room
for different levels of Member State action for elements that do not undermine the objectives
of the initiative, in particular the internal organisation of the market surveillance system and
the uptake of measures to foster innovation.
3. RESULTS OF EX-POST EVALUATIONS, STAKEHOLDER
CONSULTATIONS AND IMPACT ASSESSMENTS
3.1. Stakeholder consultation
This proposal is the result of extensive consultation with all major stakeholders, in which the
general principles and minimum standards for consultation of interested parties by the
Commission were applied.
An online public consultation was launched on 19 February 2020 along with the publication
of the White Paper on Artificial Intelligence and ran until 14 June 2020. The objective of that
consultation was to collect views and opinions on the White Paper. It targeted all interested
stakeholders from the public and private sectors, including governments, local authorities,
commercial and non-commercial organisations, social partners, experts, academics and
citizens. After analysing all the responses received, the Commission published a summary
outcome and the individual responses on its website22
.
In total, 1215 contributions were received, of which 352 were from companies or business
organisations/associations, 406 from individuals (92%individuals from EU ), 152 on behalf of
22
See all consultation results here.
EN 8 EN
academic/research institutions, and 73 from public authorities. Civil society’s voices were
represented by 160 respondents (among which 9 consumers’ organisations, 129 non-
governmental organisations and 22 trade unions), 72 respondents contributed as ‘others’. Of
the 352 business and industry representatives, 222 were companies and business
representatives, 41.5% of which were micro, small and medium-sized enterprises. The rest
were business associations. Overall, 84% of business and industry replies came from the EU-
27. Depending on the question, between 81 and 598 of the respondents used the free text
option to insert comments. Over 450 position papers were submitted through the EU Survey
website, either in addition to questionnaire answers (over 400) or as stand-alone contributions
(over 50).
Overall, there is a general agreement amongst stakeholders on a need for action. A large
majority of stakeholders agree that legislative gaps exist or that new legislation is needed.
However, several stakeholders warn the Commission to avoid duplication, conflicting
obligations and overregulation. There were many comments underlining the importance of a
technology neutral and proportionate regulatory framework.
Stakeholders mostly requested a narrow, clear and precise definition for AI. Stakeholders also
highlighted that besides the clarification of the term of AI, it is important to define ‘risk’,
‘high-risk’, ‘low-risk’, ‘remote biometric identification’ and ‘harm’.
Most of the respondents are explicitly in favour of the risk-based approach. Using a risk-based
framework was considered a better option than blanket regulation of all AI systems. The types
of risks and threats should be based on a sector-by-sector and case-by-case approach. Risks
also should be calculated taking into account the impact on rights and safety.
Regulatory sandboxes could be very useful for the promotion of AI and are welcomed by
certain stakeholders, especially the Business Associations.
Among those who formulated their opinion on the enforcement models, more than 50%,
especially from the business associations, were in favour of a combination of an ex-ante risk
self-assessment and an ex-post enforcement for high-risk AI systems.
3.2. Collection and use of expertise
The proposal builds on two years of analysis and close involvement of stakeholders, including
academics, businesses, social partners, non-governmental organisations, Member States and
citizens. The preparatory work started in 2018 with the setting up of a High-Level Expert
Group on AI (HLEG) which had an inclusive and broad composition of 52 well-known
experts tasked to advise the Commission on the implementation of the Commission’s Strategy
on Artificial Intelligence. In April 2019, the Commission supported23
the key requirements set
out in the HLEG ethics guidelines for Trustworthy AI24
, which had been revised to take into
account more than 500 submissions from stakeholders. The key requirements reflect a
widespread and common approach, as evidenced by a plethora of ethical codes and principles
developed by many private and public organisations in Europe and beyond, that AI
development and use should be guided by certain essential value-oriented principles. The
Assessment List for Trustworthy Artificial Intelligence (ALTAI)25
made those requirements
operational in a piloting process with over 350 organisations.
23
European Commission, Building Trust in Human-Centric Artificial Intelligence, COM(2019) 168.
24
HLEG, Ethics Guidelines for Trustworthy AI, 2019.
25
HLEG, Assessment List for Trustworthy Artificial Intelligence (ALTAI) for self-assessment, 2020.
EN 9 EN
In addition, the AI Alliance26
was formed as a platform for approximately 4000 stakeholders
to debate the technological and societal implications of AI, culminating in a yearly AI
Assembly.
The White Paper on AI further developed this inclusive approach, inciting comments from
more than 1250 stakeholders, including over 450 additional position papers. As a result, the
Commission published an Inception Impact Assessment, which in turn attracted more than
130 comments27
. Additional stakeholder workshops and events were also organised the
results of which support the analysis in the impact assessment and the policy choices made in
this proposal28
. An external study was also procured to feed into the impact assessment.
3.3. Impact assessment
In line with its “Better Regulation” policy, the Commission conducted an impact assessment
for this proposal examined by the Commission's Regulatory Scrutiny Board. A meeting with
the Regulatory Scrutiny Board was held on 16 December 2020, which was followed by a
negative opinion. After substantial revision of the impact assessment to address the comments
and a resubmission of the impact assessment, the Regulatory Scrutiny Board issued a positive
opinion on 21 March 2021. The opinions of the Regulatory Scrutiny Board, the
recommendations and an explanation of how they have been taken into account are presented
in Annex 1 of the impact assessment.
The Commission examined different policy options to achieve the general objective of the
proposal, which is to ensure the proper functioning of the single market by creating the
conditions for the development and use of trustworthy AI in the Union.
Four policy options of different degrees of regulatory intervention were assessed:
 Option 1: EU legislative instrument setting up a voluntary labelling scheme;
 Option 2: a sectoral, “ad-hoc” approach;
 Option 3: Horizontal EU legislative instrument following a proportionate risk-
based approach;
 Option 3+: Horizontal EU legislative instrument following a proportionate risk-
based approach + codes of conduct for non-high-risk AI systems;
 Option 4: Horizontal EU legislative instrument establishing mandatory
requirements for all AI systems, irrespective of the risk they pose.
According to the Commission's established methodology, each policy option was evaluated
against economic and societal impacts, with a particular focus on impacts on fundamental
rights. The preferred option is option 3+, a regulatory framework for high-risk AI systems
only, with the possibility for all providers of non-high-risk AI systems to follow a code of
conduct. The requirements will concern data, documentation and traceability, provision of
information and transparency, human oversight and robustness and accuracy and would be
mandatory for high-risk AI systems. Companies that introduced codes of conduct for other AI
systems would do so voluntarily.
26
The AI Alliance is a multi-stakeholder forum launched in June 2018, AI Alliance
https://ec.europa.eu/digital-single-market/en/european-ai-alliance
27
European Commission, Inception Impact Assessment For a Proposal for a legal act of the European
Parliament and the Council laying down requirements for Artificial Intelligence.
28
For details of all the consultations that have been carried out see Annex 2 of the impact assessment.
EN 10 EN
The preferred option was considered suitable to address in the most effective way the
objectives of this proposal. By requiring a restricted yet effective set of actions from AI
developers and users, the preferred option limits the risks of violation of fundamental rights
and safety of people and foster effective supervision and enforcement, by targeting the
requirements only to systems where there is a high risk that such violations could occur. As a
result, that option keeps compliance costs to a minimum, thus avoiding an unnecessary
slowing of uptake due to higher prices and compliance costs. In order to address possible
disadvantages for SMEs, this option includes several provisions to support their compliance
and reduce their costs, including creation of regulatory sandboxes and obligation to consider
SMEs interests when setting fees related to conformity assessment.
The preferred option will increase people’s trust in AI, companies will gain in legal certainty,
and Member States will see no reason to take unilateral action that could fragment the single
market. As a result of higher demand due to higher trust, more available offers due to legal
certainty, and the absence of obstacles to cross-border movement of AI systems, the single
market for AI will likely flourish. The European Union will continue to develop a fast-
growing AI ecosystem of innovative services and products embedding AI technology or
stand-alone AI systems, resulting in increased digital autonomy.
Businesses or public authorities that develop or use AI applications that constitute a high risk
for the safety or fundamental rights of citizens would have to comply with specific
requirements and obligations. Compliance with these requirements would imply costs
amounting to approximately EUR € 6000 to EUR € 7000 for the supply of an average high-
risk AI system of around EUR € 170000 by 2025. For AI users, there would also be the
annual cost for the time spent on ensuring human oversight where this is appropriate,
depending on the use case. Those have been estimated at approximately EUR € 5000 to EUR
€ 8000 per year. Verification costs could amount to another EUR € 3000 to EUR € 7500 for
suppliers of high-risk AI. Businesses or public authorities that develop or use any AI
applications not classified as high risk would only have minimal obligations of information.
However, they could choose to join others and together adopt a code of conduct to follow
suitable requirements, and to ensure that their AI systems are trustworthy. In such a case,
costs would be at most as high as for high-risk AI systems, but most probably lower.
The impacts of the policy options on different categories of stakeholders (economic operators/
business; conformity assessment bodies, standardisation bodies and other public bodies;
individuals/citizens; researchers) are explained in detail in Annex 3 of the Impact assessment
supporting this proposal.
3.4. Regulatory fitness and simplification
This proposal lays down obligation that will apply to providers and users of high-risk AI
systems. For providers who develop and place such systems on the Union market, it will
create legal certainty and ensure that no obstacle to the cross-border provision of AI-related
services and products emerge. For companies using AI, it will promote trust among their
customers. For national public administrations, it will promote public trust in the use of AI
and strengthen enforcement mechanisms (by introducing a European coordination
mechanism, providing for appropriate capacities, and facilitating audits of the AI systems
with new requirements for documentation, traceability and transparency). Moreover, the
framework will envisage specific measures supporting innovation, including regulatory
sandboxes and specific measures supporting small-scale users and providers of high-risk AI
systems to comply with the new rules.
The proposal also specifically aims at strengthening Europe’s competitiveness and industrial
basis in AI. Full consistency is ensured with existing sectoral Union legislation applicable to
EN 11 EN
AI systems (e.g. on products and services) that will bring further clarity and simplify the
enforcement of the new rules.
3.5. Fundamental rights
The use of AI with its specific characteristics (e.g. opacity, complexity, dependency on data,
autonomous behaviour) can adversely affect a number of fundamental rights enshrined in the
EU Charter of Fundamental Rights (‘the Charter’). This proposal seeks to ensure a high level
of protection for those fundamental rights and aims to address various sources of risks
through a clearly defined risk-based approach. With a set of requirements for trustworthy AI
and proportionate obligations on all value chain participants, the proposal will enhance and
promote the protection of the rights protected by the Charter: the right to human dignity
(Article 1), respect for private life and protection of personal data (Articles 7 and 8), non-
discrimination (Article 21) and equality between women and men (Article 23). It aims to
prevent a chilling effect on the rights to freedom of expression (Article 11) and freedom of
assembly (Article 12), to ensure protection of the right to an effective remedy and to a fair
trial, the rights of defence and the presumption of innocence (Articles 47 and 48), as well as
the general principle of good administration. Furthermore, as applicable in certain domains,
the proposal will positively affect the rights of a number of special groups, such as the
workers’ rights to fair and just working conditions (Article 31), a high level of consumer
protection (Article 28), the rights of the child (Article 24) and the integration of persons with
disabilities (Article 26). The right to a high level of environmental protection and the
improvement of the quality of the environment (Article 37) is also relevant, including in
relation to the health and safety of people. The obligations for ex ante testing, risk
management and human oversight will also facilitate the respect of other fundamental rights
by minimising the risk of erroneous or biased AI-assisted decisions in critical areas such as
education and training, employment, important services, law enforcement and the judiciary. In
case infringements of fundamental rights still happen, effective redress for affected persons
will be made possible by ensuring transparency and traceability of the AI systems coupled
with strong ex post controls.
This proposal imposes some restrictions on the freedom to conduct business (Article 16) and
the freedom of art and science (Article 13) to ensure compliance with overriding reasons of
public interest such as health, safety, consumer protection and the protection of other
fundamental rights (‘responsible innovation’) when high-risk AI technology is developed and
used. Those restrictions are proportionate and limited to the minimum necessary to prevent
and mitigate serious safety risks and likely infringements of fundamental rights.
The increased transparency obligations will also not disproportionately affect the right to
protection of intellectual property (Article 17(2)), since they will be limited only to the
minimum necessary information for individuals to exercise their right to an effective remedy
and to the necessary transparency towards supervision and enforcement authorities, in line
with their mandates. Any disclosure of information will be carried out in compliance with
relevant legislation in the field, including Directive 2016/943 on the protection of undisclosed
know-how and business information (trade secrets) against their unlawful acquisition, use and
disclosure. When public authorities and notified bodies need to be given access to confidential
information or source code to examine compliance with substantial obligations, they are
placed under binding confidentiality obligations.
4. BUDGETARY IMPLICATIONS
Member States will have to designate supervisory authorities in charge of implementing the
legislative requirements. Their supervisory function could build on existing arrangements, for
EN 12 EN
example regarding conformity assessment bodies or market surveillance, but would require
sufficient technological expertise and human and financial resources. Depending on the pre-
existing structure in each Member State, this could amount to 1 to 25 Full Time Equivalents
per Member State.
A detailed overview of the costs involved is provided in the ‘financial statement’ linked to
this proposal.
5. OTHER ELEMENTS
5.1. Implementation plans and monitoring, evaluation and reporting arrangements
Providing for a robust monitoring and evaluation mechanism is crucial to ensure that the
proposal will be effective in achieving its specific objectives. The Commission will be in
charge of monitoring the effects of the proposal. It will establish a system for registering
stand-alone high-risk AI applications in a public EU-wide database. This registration will also
enable competent authorities, users and other interested people to verify if the high-risk AI
system complies with the requirements laid down in the proposal and to exercise enhanced
oversight over those AI systems posing high risks to fundamental rights. To feed this
database, AI providers will be obliged to provide meaningful information about their systems
and the conformity assessment carried out on those systems.
Moreover, AI providers will be obliged to inform national competent authorities about serious
incidents or malfunctioning that constitute a breach of fundamental rights obligations as soon
as they become aware of them, as well as any recalls or withdrawals of AI systems from the
market. National competent authorities will then investigate the incidents/or malfunctioning,
collect all the necessary information and regularly transmit it to the Commission with
adequate metadata. The Commission will complement this information on the incidents by a
comprehensive analysis of the overall market for AI.
The Commission will publish a report evaluating and reviewing the proposed AI framework
five years following the date on which it becomes applicable.
5.2. Detailed explanation of the specific provisions of the proposal
5.2.1. SCOPE AND DEFINITIONS (TITLE I)
Title I defines the subject matter of the regulation and the scope of application of the new
rules that cover the placing on the market, putting into service and use of AI systems. It also
sets out the definitions used throughout the instrument. The definition of AI system in the
legal framework aims to be as technology neutral and future proof as possible, taking into
account the fast technological and market developments related to AI. In order to provide the
needed legal certainty, Title I is complemented by Annex I, which contains a detailed list of
approaches and techniques for the development of AI to be adapted by the Commission in line
with new technological developments. Key participants across the AI value chain are also
clearly defined such as providers and users of AI systems that cover both public and private
operators to ensure a level playing field.
5.2.2. PROHIBITED ARTIFICIAL INTELLIGENCE PRACTICES (TITLE II)
Title II establishes a list of prohibited AI. The regulation follows a risk-based approach,
differentiating between uses of AI that create (i) an unacceptable risk, (ii) a high risk, and (iii)
low or minimal risk. The list of prohibited practices in Title II comprises all those AI systems
whose use is considered unacceptable as contravening Union values, for instance by violating
fundamental rights. The prohibitions covers practices that have a significant potential to
manipulate persons through subliminal techniques beyond their consciousness or exploit
EN 13 EN
vulnerabilities of specific vulnerable groups such as children or persons with disabilities in
order to materially distort their behaviour in a manner that is likely to cause them or another
person psychological or physical harm. Other manipulative or exploitative practices affecting
adults that might be facilitated by AI systems could be covered by the existing data
protection, consumer protection and digital service legislation that guarantee that natural
persons are properly informed and have free choice not to be subject to profiling or other
practices that might affect their behaviour. The proposal also prohibits AI-based social
scoring for general purposes done by public authorities. Finally, the use of ‘real time’ remote
biometric identification systems in publicly accessible spaces for the purpose of law
enforcement is also prohibited unless certain limited exceptions apply.
5.2.3. HIGH-RISK AI SYSTEMS (TITLE III)
Title III contains specific rules for AI systems that create a high risk to the health and safety
or fundamental rights of natural persons. In line with a risk-based approach, those high-risk
AI systems are permitted on the European market subject to compliance with certain
mandatory requirements and an ex-ante conformity assessment. The classification of an AI
system as high-risk is based on the intended purpose of the AI system, in line with existing
product safety legislation. Therefore, the classification as high-risk does not only depend on
the function performed by the AI system, but also on the specific purpose and modalities for
which that system is used.
Chapter 1 of Title III sets the classification rules and identifies two main categories of high-
risk AI systems:
 AI systems intended to be used as safety component of products that are subject to
third party ex-ante conformity assessment;
 other stand-alone AI systems with mainly fundamental rights implications that are
explicitly listed in Annex III.
This list of high-risk AI systems in Annex III contains a limited number of AI systems whose
risks have already materialised or are likely to materialise in the near future. To ensure that
the regulation can be adjusted to emerging uses and applications of AI, the Commission may
expand the list of high-risk AI systems used within certain pre-defined areas, by applying a
set of criteria and risk assessment methodology.
Chapter 2 sets out the legal requirements for high-risk AI systems in relation to data and data
governance, documentation and recording keeping, transparency and provision of information
to users, human oversight, robustness, accuracy and security. The proposed minimum
requirements are already state-of-the-art for many diligent operators and the result of two
years of preparatory work, derived from the Ethics Guidelines of the HLEG29
, piloted by
more than 350 organisations30
. They are also largely consistent with other international
recommendations and principles, which ensures that the proposed AI framework is
compatible with those adopted by the EU’s international trade partners. The precise technical
solutions to achieve compliance with those requirements may be provided by standards or by
other technical specifications or otherwise be developed in accordance with general
engineering or scientific knowledge at the discretion of the provider of the AI system. This
flexibility is particularly important, because it allows providers of AI systems to choose the
29
High-Level Expert Group on Artificial Intelligence, Ethics Guidelines for Trustworthy AI, 2019.
30
They were also endorsed by the Commission in its 2019 Communication on human-centric approach to
AI.
EN 14 EN
way to meet their requirements, taking into account the state-of-the-art and technological and
scientific progress in this field.
Chapter 3 places a clear set of horizontal obligations on providers of high-risk AI systems.
Proportionate obligations are also placed on users and other participants across the AI value
chain (e.g., importers, distributors, authorized representatives).
Chapter 4 sets the framework for notified bodies to be involved as independent third parties in
conformity assessment procedures, while Chapter 5 explains in detail the conformity
assessment procedures to be followed for each type of high-risk AI system. The conformity
assessment approach aims to minimise the burden for economic operators as well as for
notified bodies, whose capacity needs to be progressively ramped up over time. AI systems
intended to be used as safety components of products that are regulated under the New
Legislative Framework legislation (e.g. machinery, toys, medical devices, etc.) will be subject
to the same ex-ante and ex-post compliance and enforcement mechanisms of the products of
which they are a component. The key difference is that the ex-ante and ex-post mechanisms
will ensure compliance not only with the requirements established by sectorial legislation, but
also with the requirements established by this regulation.
As regards stand-alone high-risk AI systems that are referred to in Annex III, a new
compliance and enforcement system will be established. This follows the model of the New
Legislative Framework legislation implemented through internal control checks by the
providers with the exception of remote biometric identification systems that would be subject
to third party conformity assessment. A comprehensive ex-ante conformity assessment
through internal checks, combined with a strong ex-post enforcement, could be an effective
and reasonable solution for those systems, given the early phase of the regulatory intervention
and the fact the AI sector is very innovative and expertise for auditing is only now being
accumulated. An assessment through internal checks for ‘stand-alone’ high-risk AI systems
would require a full, effective and properly documented ex ante compliance with all
requirements of the regulation and compliance with robust quality and risk management
systems and post-market monitoring. After the provider has performed the relevant
conformity assessment, it should register those stand-alone high-risk AI systems in an EU
database that will be managed by the Commission to increase public transparency and
oversight and strengthen ex post supervision by competent authorities. By contrast, for
reasons of consistency with the existing product safety legislation, the conformity assessments
of AI systems that are safety components of products will follow a system with third party
conformity assessment procedures already established under the relevant sectoral product
safety legislation. New ex ante re-assessments of the conformity will be needed in case of
substantial modifications to the AI systems (and notably changes which go beyond what is
pre-determined by the provider in its technical documentation and checked at the moment of
the ex-ante conformity assessment).
5.2.4. TRANSPARENCY OBLIGATIONS FOR CERTAIN AI SYSTEMS (TITLE IV)
Title IV concerns certain AI systems to take account of the specific risks of manipulation they
pose. Transparency obligations will apply for systems that (i) interact with humans, (ii) are
used to detect emotions or determine association with (social) categories based on biometric
data, or (iii) generate or manipulate content (‘deep fakes’). When persons interact with an AI
system or their emotions or characteristics are recognised through automated means, people
must be informed of that circumstance. If an AI system is used to generate or manipulate
image, audio or video content that appreciably resembles authentic content, there should be an
obligation to disclose that the content is generated through automated means, subject to
EN 15 EN
exceptions for legitimate purposes (law enforcement, freedom of expression). This allows
persons to make informed choices or step back from a given situation.
5.2.5. MEASURES IN SUPPORT OF INNOVATION (TITLE V)
Title V contributes to the objective to create a legal framework that is innovation-friendly,
future-proof and resilient to disruption. To that end, it encourages national competent
authorities to set up regulatory sandboxes and sets a basic framework in terms of governance,
supervision and liability. AI regulatory sandboxes establish a controlled environment to test
innovative technologies for a limited time on the basis of a testing plan agreed with the
competent authorities. Title V also contains measures to reduce the regulatory burden on
SMEs and start-ups.
5.2.6. GOVERNANCE AND IMPLEMENTATION (TITLES VI, VII AND VII)
Title VI sets up the governance systems at Union and national level. At Union level, the
proposal establishes a European Artificial Intelligence Board (the ‘Board’), composed of
representatives from the Member States and the Commission. The Board will facilitate a
smooth, effective and harmonised implementation of this regulation by contributing to the
effective cooperation of the national supervisory authorities and the Commission and
providing advice and expertise to the Commission. It will also collect and share best practices
among the Member States.
At national level, Member States will have to designate one or more national competent
authorities and, among them, the national supervisory authority, for the purpose of
supervising the application and implementation of the regulation. The European Data
Protection Supervisor will act as the competent authority for the supervision of the Union
institutions, agencies and bodies when they fall within the scope of this regulation.
Title VII aims to facilitate the monitoring work of the Commission and national authorities
through the establishment of an EU-wide database for stand-alone high-risk AI systems with
mainly fundamental rights implications. The database will be operated by the Commission
and provided with data by the providers of the AI systems, who will be required to register
their systems before placing them on the market or otherwise putting them into service.
Title VIII sets out the monitoring and reporting obligations for providers of AI systems with
regard to post-market monitoring and reporting and investigating on AI-related incidents and
malfunctioning. Market surveillance authorities would also control the market and investigate
compliance with the obligations and requirements for all high-risk AI systems already placed
on the market. Market surveillance authorities would have all powers under Regulation (EU)
2019/1020 on market surveillance. Ex-post enforcement should ensure that once the AI
system has been put on the market, public authorities have the powers and resources to
intervene in case AI systems generate unexpected risks, which warrant rapid action. They will
also monitor compliance of operators with their relevant obligations under the regulation. The
proposal does not foresee the automatic creation of any additional bodies or authorities at
Member State level. Member States may therefore appoint (and draw upon the expertise of)
existing sectorial authorities, who would be entrusted also with the powers to monitor and
enforce the provisions of the regulation.
All this is without prejudice to the existing system and allocation of powers of ex-post
enforcement of obligations regarding fundamental rights in the Member States. When
necessary for their mandate, existing supervision and enforcement authorities will also have
the power to request and access any documentation maintained following this regulation and,
where needed, request market surveillance authorities to organise testing of the high-risk AI
system through technical means.
EN 16 EN
5.2.7. CODES OF CONDUCT (TITLE IX)
Title IX creates a framework for the creation of codes of conduct, which aim to encourage
providers of non-high-risk AI systems to apply voluntarily the mandatory requirements for
high-risk AI systems (as laid out in Title III). Providers of non-high-risk AI systems may
create and implement the codes of conduct themselves. Those codes may also include
voluntary commitments related, for example, to environmental sustainability, accessibility for
persons with disability, stakeholders’ participation in the design and development of AI
systems, and diversity of development teams.
5.2.8. FINAL PROVISIONS (TITLES X, XI AND XII)
Title X emphasizes the obligation of all parties to respect the confidentiality of information
and data and sets out rules for the exchange of information obtained during the
implementation of the regulation. Title X also includes measures to ensure the effective
implementation of the regulation through effective, proportionate, and dissuasive penalties for
infringements of the provisions.
Title XI sets out rules for the exercise of delegation and implementing powers. The proposal
empowers the Commission to adopt, where appropriate, implementing acts to ensure uniform
application of the regulation or delegated acts to update or complement the lists in Annexes I
to VII.
Title XII contains an obligation for the Commission to assess regularly the need for an update
of Annex III and to prepare regular reports on the evaluation and review of the regulation. It
also lays down final provisions, including a differentiated transitional period for the initial
date of the applicability of the regulation to facilitate the smooth implementation for all
parties concerned.
EN 17 EN
2021/0106 (COD)
Proposal for a
REGULATION OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL
LAYING DOWN HARMONISED RULES ON ARTIFICIAL INTELLIGENCE
(ARTIFICIAL INTELLIGENCE ACT) AND AMENDING CERTAIN UNION
LEGISLATIVE ACTS
THE EUROPEAN PARLIAMENT AND THE COUNCIL OF THE EUROPEAN UNION,
Having regard to the Treaty on the Functioning of the European Union, and in particular
Articles 16 and 114 thereof,
Having regard to the proposal from the European Commission,
After transmission of the draft legislative act to the national parliaments,
Having regard to the opinion of the European Economic and Social Committee31
,
Having regard to the opinion of the Committee of the Regions32
,
Acting in accordance with the ordinary legislative procedure,
Whereas:
(1) The purpose of this Regulation is to improve the functioning of the internal market by
laying down a uniform legal framework in particular for the development, marketing
and use of artificial intelligence in conformity with Union values. This Regulation
pursues a number of overriding reasons of public interest, such as a high level of
protection of health, safety and fundamental rights, and it ensures the free movement
of AI-based goods and services cross-border, thus preventing Member States from
imposing restrictions on the development, marketing and use of AI systems, unless
explicitly authorised by this Regulation.
(2) Artificial intelligence systems (AI systems) can be easily deployed in multiple sectors
of the economy and society, including cross border, and circulate throughout the
Union. Certain Member States have already explored the adoption of national rules to
ensure that artificial intelligence is safe and is developed and used in compliance with
fundamental rights obligations. Differing national rules may lead to fragmentation of
the internal market and decrease legal certainty for operators that develop or use AI
systems. A consistent and high level of protection throughout the Union should
therefore be ensured, while divergences hampering the free circulation of AI systems
and related products and services within the internal market should be prevented, by
laying down uniform obligations for operators and guaranteeing the uniform
protection of overriding reasons of public interest and of rights of persons throughout
the internal market based on Article 114 of the Treaty on the Functioning of the
European Union (TFEU). To the extent that this Regulation contains specific rules on
the protection of individuals with regard to the processing of personal data concerning
31
OJ C […], […], p. […].
32
OJ C […], […], p. […].
EN 18 EN
restrictions of the use of AI systems for ‘real-time’ remote biometric identification in
publicly accessible spaces for the purpose of law enforcement, it is appropriate to base
this Regulation, in as far as those specific rules are concerned, on Article 16 of the
TFEU. In light of those specific rules and the recourse to Article 16 TFEU, it is
appropriate to consult the European Data Protection Board.
(3) Artificial intelligence is a fast evolving family of technologies that can contribute to a
wide array of economic and societal benefits across the entire spectrum of industries
and social activities. By improving prediction, optimising operations and resource
allocation, and personalising digital solutions available for individuals and
organisations, the use of artificial intelligence can provide key competitive advantages
to companies and support socially and environmentally beneficial outcomes, for
example in healthcare, farming, education and training, infrastructure management,
energy, transport and logistics, public services, security, justice, resource and energy
efficiency, and climate change mitigation and adaptation.
(4) At the same time, depending on the circumstances regarding its specific application
and use, artificial intelligence may generate risks and cause harm to public interests
and rights that are protected by Union law. Such harm might be material or
immaterial.
(5) A Union legal framework laying down harmonised rules on artificial intelligence is
therefore needed to foster the development, use and uptake of artificial intelligence in
the internal market that at the same time meets a high level of protection of public
interests, such as health and safety and the protection of fundamental rights, as
recognised and protected by Union law. To achieve that objective, rules regulating the
placing on the market and putting into service of certain AI systems should be laid
down, thus ensuring the smooth functioning of the internal market and allowing those
systems to benefit from the principle of free movement of goods and services. By
laying down those rules, this Regulation supports the objective of the Union of being a
global leader in the development of secure, trustworthy and ethical artificial
intelligence, as stated by the European Council33
, and it ensures the protection of
ethical principles, as specifically requested by the European Parliament34
.
(6) The notion of AI system should be clearly defined to ensure legal certainty, while
providing the flexibility to accommodate future technological developments. The
definition should be based on the key functional characteristics of the software, in
particular the ability, for a given set of human-defined objectives, to generate outputs
such as content, predictions, recommendations, or decisions which influence the
environment with which the system interacts, be it in a physical or digital dimension.
AI systems can be designed to operate with varying levels of autonomy and be used on
a stand-alone basis or as a component of a product, irrespective of whether the system
is physically integrated into the product (embedded) or serve the functionality of the
product without being integrated therein (non-embedded). The definition of AI system
should be complemented by a list of specific techniques and approaches used for its
development, which should be kept up-to–date in the light of market and technological
33
European Council, Special meeting of the European Council (1 and 2 October 2020) – Conclusions,
EUCO 13/20, 2020, p. 6.
34
European Parliament resolution of 20 October 2020 with recommendations to the Commission on a
framework of ethical aspects of artificial intelligence, robotics and related technologies,
2020/2012(INL).
EN 19 EN
developments through the adoption of delegated acts by the Commission to amend that
list.
(7) The notion of biometric data used in this Regulation is in line with and should be
interpreted consistently with the notion of biometric data as defined in Article 4(14) of
Regulation (EU) 2016/679 of the European Parliament and of the Council35
, Article
3(18) of Regulation (EU) 2018/1725 of the European Parliament and of the Council36
and Article 3(13) of Directive (EU) 2016/680 of the European Parliament and of the
Council37
.
(8) The notion of remote biometric identification system as used in this Regulation should
be defined functionally, as an AI system intended for the identification of natural
persons at a distance through the comparison of a person’s biometric data with the
biometric data contained in a reference database, and without prior knowledge whether
the targeted person will be present and can be identified, irrespectively of the
particular technology, processes or types of biometric data used. Considering their
different characteristics and manners in which they are used, as well as the different
risks involved, a distinction should be made between ‘real-time’ and ‘post’ remote
biometric identification systems. In the case of ‘real-time’ systems, the capturing of
the biometric data, the comparison and the identification occur all instantaneously,
near-instantaneously or in any event without a significant delay. In this regard, there
should be no scope for circumventing the rules of this Regulation on the ‘real-time’
use of the AI systems in question by providing for minor delays. ‘Real-time’ systems
involve the use of ‘live’ or ‘near-‘live’ material, such as video footage, generated by a
camera or other device with similar functionality. In the case of ‘post’ systems, in
contrast, the biometric data have already been captured and the comparison and
identification occur only after a significant delay. This involves material, such as
pictures or video footage generated by closed circuit television cameras or private
devices, which has been generated before the use of the system in respect of the
natural persons concerned.
(9) For the purposes of this Regulation the notion of publicly accessible space should be
understood as referring to any physical place that is accessible to the public,
irrespective of whether the place in question is privately or publicly owned. Therefore,
the notion does not cover places that are private in nature and normally not freely
accessible for third parties, including law enforcement authorities, unless those parties
have been specifically invited or authorised, such as homes, private clubs, offices,
warehouses and factories. Online spaces are not covered either, as they are not
physical spaces. However, the mere fact that certain conditions for accessing a
35
Regulation (EU) 2016/679 of the European Parliament and of the Council of 27 April 2016 on the
protection of natural persons with regard to the processing of personal data and on the free movement of
such data, and repealing Directive 95/46/EC (General Data Protection Regulation) (OJ L 119, 4.5.2016,
p. 1).
36
Regulation (EU) 2018/1725 of the European Parliament and of the Council of 23 October 2018 on the
protection of natural persons with regard to the processing of personal data by the Union institutions,
bodies, offices and agencies and on the free movement of such data, and repealing Regulation (EC) No
45/2001 and Decision No 1247/2002/EC (OJ L 295, 21.11.2018, p. 39)
37
Directive (EU) 2016/680 of the European Parliament and of the Council of 27 April 2016 on the
protection of natural persons with regard to the processing of personal data by competent authorities for
the purposes of the prevention, investigation, detection or prosecution of criminal offences or the
execution of criminal penalties, and on the free movement of such data, and repealing Council
Framework Decision 2008/977/JHA (Law Enforcement Directive) (OJ L 119, 4.5.2016, p. 89).
EN 20 EN
particular space may apply, such as admission tickets or age restrictions, does not
mean that the space is not publicly accessible within the meaning of this Regulation.
Consequently, in addition to public spaces such as streets, relevant parts of
government buildings and most transport infrastructure, spaces such as cinemas,
theatres, shops and shopping centres are normally also publicly accessible. Whether a
given space is accessible to the public should however be determined on a case-by-
case basis, having regard to the specificities of the individual situation at hand.
(10) In order to ensure a level playing field and an effective protection of rights and
freedoms of individuals across the Union, the rules established by this Regulation
should apply to providers of AI systems in a non-discriminatory manner, irrespective
of whether they are established within the Union or in a third country, and to users of
AI systems established within the Union.
(11) In light of their digital nature, certain AI systems should fall within the scope of this
Regulation even when they are neither placed on the market, nor put into service, nor
used in the Union. This is the case for example of an operator established in the Union
that contracts certain services to an operator established outside the Union in relation
to an activity to be performed by an AI system that would qualify as high-risk and
whose effects impact natural persons located in the Union. In those circumstances, the
AI system used by the operator outside the Union could process data lawfully
collected in and transferred from the Union, and provide to the contracting operator in
the Union the output of that AI system resulting from that processing, without that AI
system being placed on the market, put into service or used in the Union. To prevent
the circumvention of this Regulation and to ensure an effective protection of natural
persons located in the Union, this Regulation should also apply to providers and users
of AI systems that are established in a third country, to the extent the output produced
by those systems is used in the Union. Nonetheless, to take into account existing
arrangements and special needs for cooperation with foreign partners with whom
information and evidence is exchanged, this Regulation should not apply to public
authorities of a third country and international organisations when acting in the
framework of international agreements concluded at national or European level for law
enforcement and judicial cooperation with the Union or with its Member States. Such
agreements have been concluded bilaterally between Member States and third
countries or between the European Union, Europol and other EU agencies and third
countries and international organisations.
(12) This Regulation should also apply to Union institutions, offices, bodies and agencies
when acting as a provider or user of an AI system. AI systems exclusively developed
or used for military purposes should be excluded from the scope of this Regulation
where that use falls under the exclusive remit of the Common Foreign and Security
Policy regulated under Title V of the Treaty on the European Union (TEU). This
Regulation should be without prejudice to the provisions regarding the liability of
intermediary service providers set out in Directive 2000/31/EC of the European
Parliament and of the Council [as amended by the Digital Services Act].
(13) In order to ensure a consistent and high level of protection of public interests as
regards health, safety and fundamental rights, common normative standards for all
high-risk AI systems should be established. Those standards should be consistent with
the Charter of fundamental rights of the European Union (the Charter) and should be
non-discriminatory and in line with the Union’s international trade commitments.
EN 21 EN
(14) In order to introduce a proportionate and effective set of binding rules for AI systems,
a clearly defined risk-based approach should be followed. That approach should tailor
the type and content of such rules to the intensity and scope of the risks that AI
systems can generate. It is therefore necessary to prohibit certain artificial intelligence
practices, to lay down requirements for high-risk AI systems and obligations for the
relevant operators, and to lay down transparency obligations for certain AI systems.
(15) Aside from the many beneficial uses of artificial intelligence, that technology can also
be misused and provide novel and powerful tools for manipulative, exploitative and
social control practices. Such practices are particularly harmful and should be
prohibited because they contradict Union values of respect for human dignity,
freedom, equality, democracy and the rule of law and Union fundamental rights,
including the right to non-discrimination, data protection and privacy and the rights of
the child.
(16) The placing on the market, putting into service or use of certain AI systems intended
to distort human behaviour, whereby physical or psychological harms are likely to
occur, should be forbidden. Such AI systems deploy subliminal components
individuals cannot perceive or exploit vulnerabilities of children and people due to
their age, physical or mental incapacities. They do so with the intention to materially
distort the behaviour of a person and in a manner that causes or is likely to cause harm
to that or another person. The intention may not be presumed if the distortion of
human behaviour results from factors external to the AI system which are outside of
the control of the provider or the user. Research for legitimate purposes in relation to
such AI systems should not be stifled by the prohibition, if such research does not
amount to use of the AI system in human-machine relations that exposes natural
persons to harm and such research is carried out in accordance with recognised ethical
standards for scientific research.
(17) AI systems providing social scoring of natural persons for general purpose by public
authorities or on their behalf may lead to discriminatory outcomes and the exclusion of
certain groups. They may violate the right to dignity and non-discrimination and the
values of equality and justice. Such AI systems evaluate or classify the trustworthiness
of natural persons based on their social behaviour in multiple contexts or known or
predicted personal or personality characteristics. The social score obtained from such
AI systems may lead to the detrimental or unfavourable treatment of natural persons or
whole groups thereof in social contexts, which are unrelated to the context in which
the data was originally generated or collected or to a detrimental treatment that is
disproportionate or unjustified to the gravity of their social behaviour. Such AI
systems should be therefore prohibited.
(18) The use of AI systems for ‘real-time’ remote biometric identification of natural
persons in publicly accessible spaces for the purpose of law enforcement is considered
particularly intrusive in the rights and freedoms of the concerned persons, to the extent
that it may affect the private life of a large part of the population, evoke a feeling of
constant surveillance and indirectly dissuade the exercise of the freedom of assembly
and other fundamental rights. In addition, the immediacy of the impact and the limited
opportunities for further checks or corrections in relation to the use of such systems
operating in ‘real-time’ carry heightened risks for the rights and freedoms of the
persons that are concerned by law enforcement activities.
(19) The use of those systems for the purpose of law enforcement should therefore be
prohibited, except in three exhaustively listed and narrowly defined situations, where
EN 22 EN
the use is strictly necessary to achieve a substantial public interest, the importance of
which outweighs the risks. Those situations involve the search for potential victims of
crime, including missing children; certain threats to the life or physical safety of
natural persons or of a terrorist attack; and the detection, localisation, identification or
prosecution of perpetrators or suspects of the criminal offences referred to in Council
Framework Decision 2002/584/JHA38
if those criminal offences are punishable in the
Member State concerned by a custodial sentence or a detention order for a maximum
period of at least three years and as they are defined in the law of that Member State.
Such threshold for the custodial sentence or detention order in accordance with
national law contributes to ensure that the offence should be serious enough to
potentially justify the use of ‘real-time’ remote biometric identification systems.
Moreover, of the 32 criminal offences listed in the Council Framework Decision
2002/584/JHA, some are in practice likely to be more relevant than others, in that the
recourse to ‘real-time’ remote biometric identification will foreseeably be necessary
and proportionate to highly varying degrees for the practical pursuit of the detection,
localisation, identification or prosecution of a perpetrator or suspect of the different
criminal offences listed and having regard to the likely differences in the seriousness,
probability and scale of the harm or possible negative consequences.
(20) In order to ensure that those systems are used in a responsible and proportionate
manner, it is also important to establish that, in each of those three exhaustively listed
and narrowly defined situations, certain elements should be taken into account, in
particular as regards the nature of the situation giving rise to the request and the
consequences of the use for the rights and freedoms of all persons concerned and the
safeguards and conditions provided for with the use. In addition, the use of ‘real-time’
remote biometric identification systems in publicly accessible spaces for the purpose
of law enforcement should be subject to appropriate limits in time and space, having
regard in particular to the evidence or indications regarding the threats, the victims or
perpetrator. The reference database of persons should be appropriate for each use case
in each of the three situations mentioned above.
(21) Each use of a ‘real-time’ remote biometric identification system in publicly accessible
spaces for the purpose of law enforcement should be subject to an express and specific
authorisation by a judicial authority or by an independent administrative authority of a
Member State. Such authorisation should in principle be obtained prior to the use,
except in duly justified situations of urgency, that is, situations where the need to use
the systems in question is such as to make it effectively and objectively impossible to
obtain an authorisation before commencing the use. In such situations of urgency, the
use should be restricted to the absolute minimum necessary and be subject to
appropriate safeguards and conditions, as determined in national law and specified in
the context of each individual urgent use case by the law enforcement authority itself.
In addition, the law enforcement authority should in such situations seek to obtain an
authorisation as soon as possible, whilst providing the reasons for not having been able
to request it earlier.
(22) Furthermore, it is appropriate to provide, within the exhaustive framework set by this
Regulation that such use in the territory of a Member State in accordance with this
Regulation should only be possible where and in as far as the Member State in
question has decided to expressly provide for the possibility to authorise such use in its
38
Council Framework Decision 2002/584/JHA of 13 June 2002 on the European arrest warrant and the
surrender procedures between Member States (OJ L 190, 18.7.2002, p. 1).
EN 23 EN
detailed rules of national law. Consequently, Member States remain free under this
Regulation not to provide for such a possibility at all or to only provide for such a
possibility in respect of some of the objectives capable of justifying authorised use
identified in this Regulation.
(23) The use of AI systems for ‘real-time’ remote biometric identification of natural
persons in publicly accessible spaces for the purpose of law enforcement necessarily
involves the processing of biometric data. The rules of this Regulation that prohibit,
subject to certain exceptions, such use, which are based on Article 16 TFEU, should
apply as lex specialis in respect of the rules on the processing of biometric data
contained in Article 10 of Directive (EU) 2016/680, thus regulating such use and the
processing of biometric data involved in an exhaustive manner. Therefore, such use
and processing should only be possible in as far as it is compatible with the framework
set by this Regulation, without there being scope, outside that framework, for the
competent authorities, where they act for purpose of law enforcement, to use such
systems and process such data in connection thereto on the grounds listed in Article 10
of Directive (EU) 2016/680. In this context, this Regulation is not intended to provide
the legal basis for the processing of personal data under Article 8 of Directive
2016/680. However, the use of ‘real-time’ remote biometric identification systems in
publicly accessible spaces for purposes other than law enforcement, including by
competent authorities, should not be covered by the specific framework regarding such
use for the purpose of law enforcement set by this Regulation. Such use for purposes
other than law enforcement should therefore not be subject to the requirement of an
authorisation under this Regulation and the applicable detailed rules of national law
that may give effect to it.
(24) Any processing of biometric data and other personal data involved in the use of AI
systems for biometric identification, other than in connection to the use of ‘real-time’
remote biometric identification systems in publicly accessible spaces for the purpose
of law enforcement as regulated by this Regulation, including where those systems are
used by competent authorities in publicly accessible spaces for other purposes than
law enforcement, should continue to comply with all requirements resulting from
Article 9(1) of Regulation (EU) 2016/679, Article 10(1) of Regulation (EU)
2018/1725 and Article 10 of Directive (EU) 2016/680, as applicable.
(25) In accordance with Article 6a of Protocol No 21 on the position of the United
Kingdom and Ireland in respect of the area of freedom, security and justice, as
annexed to the TEU and to the TFEU, Ireland is not bound by the rules laid down in
Article 5(1), point (d), (2) and (3) of this Regulation adopted on the basis of Article 16
of the TFEU which relate to the processing of personal data by the Member States
when carrying out activities falling within the scope of Chapter 4 or Chapter 5 of Title
V of Part Three of the TFEU, where Ireland is not bound by the rules governing the
forms of judicial cooperation in criminal matters or police cooperation which require
compliance with the provisions laid down on the basis of Article 16 of the TFEU.
(26) In accordance with Articles 2 and 2a of Protocol No 22 on the position of Denmark,
annexed to the TEU and TFEU, Denmark is not bound by rules laid down in Article
5(1), point (d), (2) and (3) of this Regulation adopted on the basis of Article 16 of the
TFEU, or subject to their application, which relate to the processing of personal data
by the Member States when carrying out activities falling within the scope of Chapter
4 or Chapter 5 of Title V of Part Three of the TFEU.
EN 24 EN
(27) High-risk AI systems should only be placed on the Union market or put into service if
they comply with certain mandatory requirements. Those requirements should ensure
that high-risk AI systems available in the Union or whose output is otherwise used in
the Union do not pose unacceptable risks to important Union public interests as
recognised and protected by Union law. AI systems identified as high-risk should be
limited to those that have a significant harmful impact on the health, safety and
fundamental rights of persons in the Union and such limitation minimises any
potential restriction to international trade, if any.
(28) AI systems could produce adverse outcomes to health and safety of persons, in
particular when such systems operate as components of products. Consistently with
the objectives of Union harmonisation legislation to facilitate the free movement of
products in the internal market and to ensure that only safe and otherwise compliant
products find their way into the market, it is important that the safety risks that may be
generated by a product as a whole due to its digital components, including AI systems,
are duly prevented and mitigated. For instance, increasingly autonomous robots,
whether in the context of manufacturing or personal assistance and care should be able
to safely operate and performs their functions in complex environments. Similarly, in
the health sector where the stakes for life and health are particularly high, increasingly
sophisticated diagnostics systems and systems supporting human decisions should be
reliable and accurate. The extent of the adverse impact caused by the AI system on the
fundamental rights protected by the Charter is of particular relevance when classifying
an AI system as high-risk. Those rights include the right to human dignity, respect for
private and family life, protection of personal data, freedom of expression and
information, freedom of assembly and of association, and non-discrimination,
consumer protection, workers’ rights, rights of persons with disabilities, right to an
effective remedy and to a fair trial, right of defence and the presumption of innocence,
right to good administration. In addition to those rights, it is important to highlight that
children have specific rights as enshrined in Article 24 of the EU Charter and in the
United Nations Convention on the Rights of the Child (further elaborated in the
UNCRC General Comment No. 25 as regards the digital environment), both of which
require consideration of the children’s vulnerabilities and provision of such protection
and care as necessary for their well-being. The fundamental right to a high level of
environmental protection enshrined in the Charter and implemented in Union policies
should also be considered when assessing the severity of the harm that an AI system
can cause, including in relation to the health and safety of persons.
(29) As regards high-risk AI systems that are safety components of products or systems, or
which are themselves products or systems falling within the scope of Regulation (EC)
No 300/2008 of the European Parliament and of the Council39
, Regulation (EU) No
167/2013 of the European Parliament and of the Council40
, Regulation (EU) No
168/2013 of the European Parliament and of the Council41
, Directive 2014/90/EU of
39
Regulation (EC) No 300/2008 of the European Parliament and of the Council of 11 March 2008 on
common rules in the field of civil aviation security and repealing Regulation (EC) No 2320/2002 (OJ L
97, 9.4.2008, p. 72).
40
Regulation (EU) No 167/2013 of the European Parliament and of the Council of 5 February 2013 on the
approval and market surveillance of agricultural and forestry vehicles (OJ L 60, 2.3.2013, p. 1).
41
Regulation (EU) No 168/2013 of the European Parliament and of the Council of 15 January 2013 on the
approval and market surveillance of two- or three-wheel vehicles and quadricycles (OJ L 60, 2.3.2013,
p. 52).
EN 25 EN
the European Parliament and of the Council42
, Directive (EU) 2016/797 of the
European Parliament and of the Council43
, Regulation (EU) 2018/858 of the European
Parliament and of the Council44
, Regulation (EU) 2018/1139 of the European
Parliament and of the Council45
, and Regulation (EU) 2019/2144 of the European
Parliament and of the Council46
, it is appropriate to amend those acts to ensure that the
Commission takes into account, on the basis of the technical and regulatory
specificities of each sector, and without interfering with existing governance,
conformity assessment and enforcement mechanisms and authorities established
therein, the mandatory requirements for high-risk AI systems laid down in this
Regulation when adopting any relevant future delegated or implementing acts on the
basis of those acts.
(30) As regards AI systems that are safety components of products, or which are
themselves products, falling within the scope of certain Union harmonisation
legislation, it is appropriate to classify them as high-risk under this Regulation if the
product in question undergoes the conformity assessment procedure with a third-party
conformity assessment body pursuant to that relevant Union harmonisation legislation.
In particular, such products are machinery, toys, lifts, equipment and protective
systems intended for use in potentially explosive atmospheres, radio equipment,
pressure equipment, recreational craft equipment, cableway installations, appliances
burning gaseous fuels, medical devices, and in vitro diagnostic medical devices.
(31) The classification of an AI system as high-risk pursuant to this Regulation should not
necessarily mean that the product whose safety component is the AI system, or the AI
system itself as a product, is considered ‘high-risk’ under the criteria established in the
relevant Union harmonisation legislation that applies to the product. This is notably
the case for Regulation (EU) 2017/745 of the European Parliament and of the
42
Directive 2014/90/EU of the European Parliament and of the Council of 23 July 2014 on marine
equipment and repealing Council Directive 96/98/EC (OJ L 257, 28.8.2014, p. 146).
43
Directive (EU) 2016/797 of the European Parliament and of the Council of 11 May 2016 on the
interoperability of the rail system within the European Union (OJ L 138, 26.5.2016, p. 44).
44
Regulation (EU) 2018/858 of the European Parliament and of the Council of 30 May 2018 on the
approval and market surveillance of motor vehicles and their trailers, and of systems, components and
separate technical units intended for such vehicles, amending Regulations (EC) No 715/2007 and (EC)
No 595/2009 and repealing Directive 2007/46/EC (OJ L 151, 14.6.2018, p. 1).
45
Regulation (EU) 2018/1139 of the European Parliament and of the Council of 4 July 2018 on common
rules in the field of civil aviation and establishing a European Union Aviation Safety Agency, and
amending Regulations (EC) No 2111/2005, (EC) No 1008/2008, (EU) No 996/2010, (EU) No 376/2014
and Directives 2014/30/EU and 2014/53/EU of the European Parliament and of the Council, and
repealing Regulations (EC) No 552/2004 and (EC) No 216/2008 of the European Parliament and of the
Council and Council Regulation (EEC) No 3922/91 (OJ L 212, 22.8.2018, p. 1).
46
Regulation (EU) 2019/2144 of the European Parliament and of the Council of 27 November 2019 on
type-approval requirements for motor vehicles and their trailers, and systems, components and separate
technical units intended for such vehicles, as regards their general safety and the protection of vehicle
occupants and vulnerable road users, amending Regulation (EU) 2018/858 of the European Parliament
and of the Council and repealing Regulations (EC) No 78/2009, (EC) No 79/2009 and (EC) No
661/2009 of the European Parliament and of the Council and Commission Regulations (EC) No
631/2009, (EU) No 406/2010, (EU) No 672/2010, (EU) No 1003/2010, (EU) No 1005/2010, (EU) No
1008/2010, (EU) No 1009/2010, (EU) No 19/2011, (EU) No 109/2011, (EU) No 458/2011, (EU) No
65/2012, (EU) No 130/2012, (EU) No 347/2012, (EU) No 351/2012, (EU) No 1230/2012 and (EU)
2015/166 (OJ L 325, 16.12.2019, p. 1).
EN 26 EN
Council47
and Regulation (EU) 2017/746 of the European Parliament and of the
Council48
, where a third-party conformity assessment is provided for medium-risk and
high-risk products.
(32) As regards stand-alone AI systems, meaning high-risk AI systems other than those that
are safety components of products, or which are themselves products, it is appropriate
to classify them as high-risk if, in the light of their intended purpose, they pose a high
risk of harm to the health and safety or the fundamental rights of persons, taking into
account both the severity of the possible harm and its probability of occurrence and
they are used in a number of specifically pre-defined areas specified in the Regulation.
The identification of those systems is based on the same methodology and criteria
envisaged also for any future amendments of the list of high-risk AI systems.
(33) Technical inaccuracies of AI systems intended for the remote biometric identification
of natural persons can lead to biased results and entail discriminatory effects. This is
particularly relevant when it comes to age, ethnicity, sex or disabilities. Therefore,
‘real-time’ and ‘post’ remote biometric identification systems should be classified as
high-risk. In view of the risks that they pose, both types of remote biometric
identification systems should be subject to specific requirements on logging
capabilities and human oversight.
(34) As regards the management and operation of critical infrastructure, it is appropriate to
classify as high-risk the AI systems intended to be used as safety components in the
management and operation of road traffic and the supply of water, gas, heating and
electricity, since their failure or malfunctioning may put at risk the life and health of
persons at large scale and lead to appreciable disruptions in the ordinary conduct of
social and economic activities.
(35) AI systems used in education or vocational training, notably for determining access or
assigning persons to educational and vocational training institutions or to evaluate
persons on tests as part of or as a precondition for their education should be considered
high-risk, since they may determine the educational and professional course of a
person’s life and therefore affect their ability to secure their livelihood. When
improperly designed and used, such systems may violate the right to education and
training as well as the right not to be discriminated against and perpetuate historical
patterns of discrimination.
(36) AI systems used in employment, workers management and access to self-employment,
notably for the recruitment and selection of persons, for making decisions on
promotion and termination and for task allocation, monitoring or evaluation of persons
in work-related contractual relationships, should also be classified as high-risk, since
those systems may appreciably impact future career prospects and livelihoods of these
persons. Relevant work-related contractual relationships should involve employees
and persons providing services through platforms as referred to in the Commission
Work Programme 2021. Such persons should in principle not be considered users
within the meaning of this Regulation. Throughout the recruitment process and in the
47
Regulation (EU) 2017/745 of the European Parliament and of the Council of 5 April 2017 on medical
devices, amending Directive 2001/83/EC, Regulation (EC) No 178/2002 and Regulation (EC) No
1223/2009 and repealing Council Directives 90/385/EEC and 93/42/EEC (OJ L 117, 5.5.2017, p. 1).
48
Regulation (EU) 2017/746 of the European Parliament and of the Council of 5 April 2017 on in vitro
diagnostic medical devices and repealing Directive 98/79/EC and Commission Decision 2010/227/EU
(OJ L 117, 5.5.2017, p. 176).
EN 27 EN
evaluation, promotion, or retention of persons in work-related contractual
relationships, such systems may perpetuate historical patterns of discrimination, for
example against women, certain age groups, persons with disabilities, or persons of
certain racial or ethnic origins or sexual orientation. AI systems used to monitor the
performance and behaviour of these persons may also impact their rights to data
protection and privacy.
(37) Another area in which the use of AI systems deserves special consideration is the
access to and enjoyment of certain essential private and public services and benefits
necessary for people to fully participate in society or to improve one’s standard of
living. In particular, AI systems used to evaluate the credit score or creditworthiness of
natural persons should be classified as high-risk AI systems, since they determine
those persons’ access to financial resources or essential services such as housing,
electricity, and telecommunication services. AI systems used for this purpose may lead
to discrimination of persons or groups and perpetuate historical patterns of
discrimination, for example based on racial or ethnic origins, disabilities, age, sexual
orientation, or create new forms of discriminatory impacts. Considering the very
limited scale of the impact and the available alternatives on the market, it is
appropriate to exempt AI systems for the purpose of creditworthiness assessment and
credit scoring when put into service by small-scale providers for their own use.
Natural persons applying for or receiving public assistance benefits and services from
public authorities are typically dependent on those benefits and services and in a
vulnerable position in relation to the responsible authorities. If AI systems are used for
determining whether such benefits and services should be denied, reduced, revoked or
reclaimed by authorities, they may have a significant impact on persons’ livelihood
and may infringe their fundamental rights, such as the right to social protection, non-
discrimination, human dignity or an effective remedy. Those systems should therefore
be classified as high-risk. Nonetheless, this Regulation should not hamper the
development and use of innovative approaches in the public administration, which
would stand to benefit from a wider use of compliant and safe AI systems, provided
that those systems do not entail a high risk to legal and natural persons. Finally, AI
systems used to dispatch or establish priority in the dispatching of emergency first
response services should also be classified as high-risk since they make decisions in
very critical situations for the life and health of persons and their property.
(38) Actions by law enforcement authorities involving certain uses of AI systems are
characterised by a significant degree of power imbalance and may lead to surveillance,
arrest or deprivation of a natural person’s liberty as well as other adverse impacts on
fundamental rights guaranteed in the Charter. In particular, if the AI system is not
trained with high quality data, does not meet adequate requirements in terms of its
accuracy or robustness, or is not properly designed and tested before being put on the
market or otherwise put into service, it may single out people in a discriminatory or
otherwise incorrect or unjust manner. Furthermore, the exercise of important
procedural fundamental rights, such as the right to an effective remedy and to a fair
trial as well as the right of defence and the presumption of innocence, could be
hampered, in particular, where such AI systems are not sufficiently transparent,
explainable and documented. It is therefore appropriate to classify as high-risk a
number of AI systems intended to be used in the law enforcement context where
accuracy, reliability and transparency is particularly important to avoid adverse
impacts, retain public trust and ensure accountability and effective redress. In view of
the nature of the activities in question and the risks relating thereto, those high-risk AI
systems should include in particular AI systems intended to be used by law
EN 28 EN
enforcement authorities for individual risk assessments, polygraphs and similar tools
or to detect the emotional state of natural person, to detect ‘deep fakes’, for the
evaluation of the reliability of evidence in criminal proceedings, for predicting the
occurrence or reoccurrence of an actual or potential criminal offence based on
profiling of natural persons, or assessing personality traits and characteristics or past
criminal behaviour of natural persons or groups, for profiling in the course of
detection, investigation or prosecution of criminal offences, as well as for crime
analytics regarding natural persons. AI systems specifically intended to be used for
administrative proceedings by tax and customs authorities should not be considered
high-risk AI systems used by law enforcement authorities for the purposes of
prevention, detection, investigation and prosecution of criminal offences.
(39) AI systems used in migration, asylum and border control management affect people
who are often in particularly vulnerable position and who are dependent on the
outcome of the actions of the competent public authorities. The accuracy, non-
discriminatory nature and transparency of the AI systems used in those contexts are
therefore particularly important to guarantee the respect of the fundamental rights of
the affected persons, notably their rights to free movement, non-discrimination,
protection of private life and personal data, international protection and good
administration. It is therefore appropriate to classify as high-risk AI systems intended
to be used by the competent public authorities charged with tasks in the fields of
migration, asylum and border control management as polygraphs and similar tools or
to detect the emotional state of a natural person; for assessing certain risks posed by
natural persons entering the territory of a Member State or applying for visa or
asylum; for verifying the authenticity of the relevant documents of natural persons; for
assisting competent public authorities for the examination of applications for asylum,
visa and residence permits and associated complaints with regard to the objective to
establish the eligibility of the natural persons applying for a status. AI systems in the
area of migration, asylum and border control management covered by this Regulation
should comply with the relevant procedural requirements set by the Directive
2013/32/EU of the European Parliament and of the Council49
, the Regulation (EC) No
810/2009 of the European Parliament and of the Council50
and other relevant
legislation.
(40) Certain AI systems intended for the administration of justice and democratic processes
should be classified as high-risk, considering their potentially significant impact on
democracy, rule of law, individual freedoms as well as the right to an effective remedy
and to a fair trial. In particular, to address the risks of potential biases, errors and
opacity, it is appropriate to qualify as high-risk AI systems intended to assist judicial
authorities in researching and interpreting facts and the law and in applying the law to
a concrete set of facts. Such qualification should not extend, however, to AI systems
intended for purely ancillary administrative activities that do not affect the actual
administration of justice in individual cases, such as anonymisation or
pseudonymisation of judicial decisions, documents or data, communication between
personnel, administrative tasks or allocation of resources.
49
Directive 2013/32/EU of the European Parliament and of the Council of 26 June 2013 on common
procedures for granting and withdrawing international protection (OJ L 180, 29.6.2013, p. 60).
50
Regulation (EC) No 810/2009 of the European Parliament and of the Council of 13 July 2009
establishing a Community Code on Visas (Visa Code) (OJ L 243, 15.9.2009, p. 1).
EN 29 EN
(41) The fact that an AI system is classified as high risk under this Regulation should not
be interpreted as indicating that the use of the system is necessarily lawful under other
acts of Union law or under national law compatible with Union law, such as on the
protection of personal data, on the use of polygraphs and similar tools or other systems
to detect the emotional state of natural persons. Any such use should continue to occur
solely in accordance with the applicable requirements resulting from the Charter and
from the applicable acts of secondary Union law and national law. This Regulation
should not be understood as providing for the legal ground for processing of personal
data, including special categories of personal data, where relevant.
(42) To mitigate the risks from high-risk AI systems placed or otherwise put into service on
the Union market for users and affected persons, certain mandatory requirements
should apply, taking into account the intended purpose of the use of the system and
according to the risk management system to be established by the provider.
(43) Requirements should apply to high-risk AI systems as regards the quality of data sets
used, technical documentation and record-keeping, transparency and the provision of
information to users, human oversight, and robustness, accuracy and cybersecurity.
Those requirements are necessary to effectively mitigate the risks for health, safety
and fundamental rights, as applicable in the light of the intended purpose of the
system, and no other less trade restrictive measures are reasonably available, thus
avoiding unjustified restrictions to trade.
(44) High data quality is essential for the performance of many AI systems, especially
when techniques involving the training of models are used, with a view to ensure that
the high-risk AI system performs as intended and safely and it does not become the
source of discrimination prohibited by Union law. High quality training, validation
and testing data sets require the implementation of appropriate data governance and
management practices. Training, validation and testing data sets should be sufficiently
relevant, representative and free of errors and complete in view of the intended
purpose of the system. They should also have the appropriate statistical properties,
including as regards the persons or groups of persons on which the high-risk AI
system is intended to be used. In particular, training, validation and testing data sets
should take into account, to the extent required in the light of their intended purpose,
the features, characteristics or elements that are particular to the specific geographical,
behavioural or functional setting or context within which the AI system is intended to
be used. In order to protect the right of others from the discrimination that might result
from the bias in AI systems, the providers shouldbe able to process also special
categories of personal data, as a matter of substantial public interest, in order to ensure
the bias monitoring, detection and correction in relation to high-risk AI systems.
(45) For the development of high-risk AI systems, certain actors, such as providers,
notified bodies and other relevant entities, such as digital innovation hubs, testing
experimentation facilities and researchers, should be able to access and use high
quality datasets within their respective fields of activities which are related to this
Regulation. European common data spaces established by the Commission and the
facilitation of data sharing between businesses and with government in the public
interest will be instrumental to provide trustful, accountable and non-discriminatory
access to high quality data for the training, validation and testing of AI systems. For
example, in health, the European health data space will facilitate non-discriminatory
access to health data and the training of artificial intelligence algorithms on those
datasets, in a privacy-preserving, secure, timely, transparent and trustworthy manner,
and with an appropriate institutional governance. Relevant competent authorities,
EN 30 EN
including sectoral ones, providing or supporting the access to data may also support
the provision of high-quality data for the training, validation and testing of AI systems.
(46) Having information on how high-risk AI systems have been developed and how they
perform throughout their lifecycle is essential to verify compliance with the
requirements under this Regulation. This requires keeping records and the availability
of a technical documentation, containing information which is necessary to assess the
compliance of the AI system with the relevant requirements. Such information should
include the general characteristics, capabilities and limitations of the system,
algorithms, data, training, testing and validation processes used as well as
documentation on the relevant risk management system. The technical documentation
should be kept up to date.
(47) To address the opacity that may make certain AI systems incomprehensible to or too
complex for natural persons, a certain degree of transparency should be required for
high-risk AI systems. Users should be able to interpret the system output and use it
appropriately. High-risk AI systems should therefore be accompanied by relevant
documentation and instructions of use and include concise and clear information,
including in relation to possible risks to fundamental rights and discrimination, where
appropriate.
(48) High-risk AI systems should be designed and developed in such a way that natural
persons can oversee their functioning. For this purpose, appropriate human oversight
measures should be identified by the provider of the system before its placing on the
market or putting into service. In particular, where appropriate, such measures should
guarantee that the system is subject to in-built operational constraints that cannot be
overridden by the system itself and is responsive to the human operator, and that the
natural persons to whom human oversight has been assigned have the necessary
competence, training and authority to carry out that role.
(49) High-risk AI systems should perform consistently throughout their lifecycle and meet
an appropriate level of accuracy, robustness and cybersecurity in accordance with the
generally acknowledged state of the art. The level of accuracy and accuracy metrics
should be communicated to the users.
(50) The technical robustness is a key requirement for high-risk AI systems. They should
be resilient against risks connected to the limitations of the system (e.g. errors, faults,
inconsistencies, unexpected situations) as well as against malicious actions that may
compromise the security of the AI system and result in harmful or otherwise
undesirable behaviour. Failure to protect against these risks could lead to safety
impacts or negatively affect the fundamental rights, for example due to erroneous
decisions or wrong or biased outputs generated by the AI system.
(51) Cybersecurity plays a crucial role in ensuring that AI systems are resilient against
attempts to alter their use, behaviour, performance or compromise their security
properties by malicious third parties exploiting the system’s vulnerabilities.
Cyberattacks against AI systems can leverage AI specific assets, such as training data
sets (e.g. data poisoning) or trained models (e.g. adversarial attacks), or exploit
vulnerabilities in the AI system’s digital assets or the underlying ICT infrastructure.
To ensure a level of cybersecurity appropriate to the risks, suitable measures should
therefore be taken by the providers of high-risk AI systems, also taking into account as
appropriate the underlying ICT infrastructure.
EN 31 EN
(52) As part of Union harmonisation legislation, rules applicable to the placing on the
market, putting into service and use of high-risk AI systems should be laid down
consistently with Regulation (EC) No 765/2008 of the European Parliament and of the
Council51
setting out the requirements for accreditation and the market surveillance of
products, Decision No 768/2008/EC of the European Parliament and of the Council52
on a common framework for the marketing of products and Regulation (EU)
2019/1020 of the European Parliament and of the Council53
on market surveillance
and compliance of products (‘New Legislative Framework for the marketing of
products’).
(53) It is appropriate that a specific natural or legal person, defined as the provider, takes
the responsibility for the placing on the market or putting into service of a high-risk AI
system, regardless of whether that natural or legal person is the person who designed
or developed the system.
(54) The provider should establish a sound quality management system, ensure the
accomplishment of the required conformity assessment procedure, draw up the
relevant documentation and establish a robust post-market monitoring system. Public
authorities which put into service high-risk AI systems for their own use may adopt
and implement the rules for the quality management system as part of the quality
management system adopted at a national or regional level, as appropriate, taking into
account the specificities of the sector and the competences and organisation of the
public authority in question.
(55) Where a high-risk AI system that is a safety component of a product which is covered
by a relevant New Legislative Framework sectorial legislation is not placed on the
market or put into service independently from the product, the manufacturer of the
final product as defined under the relevant New Legislative Framework legislation
should comply with the obligations of the provider established in this Regulation and
notably ensure that the AI system embedded in the final product complies with the
requirements of this Regulation.
(56) To enable enforcement of this Regulation and create a level-playing field for
operators, and taking into account the different forms of making available of digital
products, it is important to ensure that, under all circumstances, a person established in
the Union can provide authorities with all the necessary information on the compliance
of an AI system. Therefore, prior to making their AI systems available in the Union,
where an importer cannot be identified, providers established outside the Union shall,
by written mandate, appoint an authorised representative established in the Union.
(57) In line with New Legislative Framework principles, specific obligations for relevant
economic operators, such as importers and distributors, should be set to ensure legal
certainty and facilitate regulatory compliance by those relevant operators.
51
Regulation (EC) No 765/2008 of the European Parliament and of the Council of 9 July 2008 setting out
the requirements for accreditation and market surveillance relating to the marketing of products and
repealing Regulation (EEC) No 339/93 (OJ L 218, 13.8.2008, p. 30).
52
Decision No 768/2008/EC of the European Parliament and of the Council of 9 July 2008 on a common
framework for the marketing of products, and repealing Council Decision 93/465/EEC (OJ L 218,
13.8.2008, p. 82).
53
Regulation (EU) 2019/1020 of the European Parliament and of the Council of 20 June 2019 on market
surveillance and compliance of products and amending Directive 2004/42/EC and Regulations (EC) No
765/2008 and (EU) No 305/2011 (Text with EEA relevance) (OJ L 169, 25.6.2019, p. 1–44).
EN 32 EN
(58) Given the nature of AI systems and the risks to safety and fundamental rights possibly
associated with their use, including as regard the need to ensure proper monitoring of
the performance of an AI system in a real-life setting, it is appropriate to set specific
responsibilities for users. Users should in particular use high-risk AI systems in
accordance with the instructions of use and certain other obligations should be
provided for with regard to monitoring of the functioning of the AI systems and with
regard to record-keeping, as appropriate.
(59) It is appropriate to envisage that the user of the AI system should be the natural or
legal person, public authority, agency or other body under whose authority the AI
system is operated except where the use is made in the course of a personal non-
professional activity.
(60) In the light of the complexity of the artificial intelligence value chain, relevant third
parties, notably the ones involved in the sale and the supply of software, software tools
and components, pre-trained models and data, or providers of network services, should
cooperate, as appropriate, with providers and users to enable their compliance with the
obligations under this Regulation and with competent authorities established under this
Regulation.
(61) Standardisation should play a key role to provide technical solutions to providers to
ensure compliance with this Regulation. Compliance with harmonised standards as
defined in Regulation (EU) No 1025/2012 of the European Parliament and of the
Council54
should be a means for providers to demonstrate conformity with the
requirements of this Regulation. However, the Commission could adopt common
technical specifications in areas where no harmonised standards exist or where they
are insufficient.
(62) In order to ensure a high level of trustworthiness of high-risk AI systems, those
systems should be subject to a conformity assessment prior to their placing on the
market or putting into service.
(63) It is appropriate that, in order to minimise the burden on operators and avoid any
possible duplication, for high-risk AI systems related to products which are covered by
existing Union harmonisation legislation following the New Legislative Framework
approach, the compliance of those AI systems with the requirements of this Regulation
should be assessed as part of the conformity assessment already foreseen under that
legislation. The applicability of the requirements of this Regulation should thus not
affect the specific logic, methodology or general structure of conformity assessment
under the relevant specific New Legislative Framework legislation. This approach is
fully reflected in the interplay between this Regulation and the [Machinery
Regulation]. While safety risks of AI systems ensuring safety functions in machinery
are addressed by the requirements of this Regulation, certain specific requirements in
the [Machinery Regulation] will ensure the safe integration of the AI system into the
overall machinery, so as not to compromise the safety of the machinery as a whole.
54
Regulation (EU) No 1025/2012 of the European Parliament and of the Council of 25 October 2012 on
European standardisation, amending Council Directives 89/686/EEC and 93/15/EEC and Directives
94/9/EC, 94/25/EC, 95/16/EC, 97/23/EC, 98/34/EC, 2004/22/EC, 2007/23/EC, 2009/23/EC and
2009/105/EC of the European Parliament and of the Council and repealing Council Decision
87/95/EEC and Decision No 1673/2006/EC of the European Parliament and of the Council (OJ L 316,
14.11.2012, p. 12).
EN 33 EN
The [Machinery Regulation] applies the same definition of AI system as this
Regulation.
(64) Given the more extensive experience of professional pre-market certifiers in the field
of product safety and the different nature of risks involved, it is appropriate to limit, at
least in an initial phase of application of this Regulation, the scope of application of
third-party conformity assessment for high-risk AI systems other than those related to
products. Therefore, the conformity assessment of such systems should be carried out
as a general rule by the provider under its own responsibility, with the only exception
of AI systems intended to be used for the remote biometric identification of persons,
for which the involvement of a notified body in the conformity assessment should be
foreseen, to the extent they are not prohibited.
(65) In order to carry out third-party conformity assessment for AI systems intended to be
used for the remote biometric identification of persons, notified bodies should be
designated under this Regulation by the national competent authorities, provided they
are compliant with a set of requirements, notably on independence, competence and
absence of conflicts of interests.
(66) In line with the commonly established notion of substantial modification for products
regulated by Union harmonisation legislation, it is appropriate that an AI system
undergoes a new conformity assessment whenever a change occurs which may affect
the compliance of the system with this Regulation or when the intended purpose of the
system changes. In addition, as regards AI systems which continue to ‘learn’ after
being placed on the market or put into service (i.e. they automatically adapt how
functions are carried out), it is necessary to provide rules establishing that changes to
the algorithm and its performance that have been pre-determined by the provider and
assessed at the moment of the conformity assessment should not constitute a
substantial modification.
(67) High-risk AI systems should bear the CE marking to indicate their conformity with
this Regulation so that they can move freely within the internal market. Member States
should not create unjustified obstacles to the placing on the market or putting into
service of high-risk AI systems that comply with the requirements laid down in this
Regulation and bear the CE marking.
(68) Under certain conditions, rapid availability of innovative technologies may be crucial
for health and safety of persons and for society as a whole. It is thus appropriate that
under exceptional reasons of public security or protection of life and health of natural
persons and the protection of industrial and commercial property, Member States
could authorise the placing on the market or putting into service of AI systems which
have not undergone a conformity assessment.
(69) In order to facilitate the work of the Commission and the Member States in the
artificial intelligence field as well as to increase the transparency towards the public,
providers of high-risk AI systems other than those related to products falling within
the scope of relevant existing Union harmonisation legislation, should be required to
register their high-risk AI system in a EU database, to be established and managed by
the Commission. The Commission should be the controller of that database, in
accordance with Regulation (EU) 2018/1725 of the European Parliament and of the
EN 34 EN
Council55
. In order to ensure the full functionality of the database, when deployed, the
procedure for setting the database should include the elaboration of functional
specifications by the Commission and an independent audit report.
(70) Certain AI systems intended to interact with natural persons or to generate content
may pose specific risks of impersonation or deception irrespective of whether they
qualify as high-risk or not. In certain circumstances, the use of these systems should
therefore be subject to specific transparency obligations without prejudice to the
requirements and obligations for high-risk AI systems. In particular, natural persons
should be notified that they are interacting with an AI system, unless this is obvious
from the circumstances and the context of use. Moreover, natural persons should be
notified when they are exposed to an emotion recognition system or a biometric
categorisation system. Such information and notifications should be provided in
accessible formats for persons with disabilities. Further, users, who use an AI system
to generate or manipulate image, audio or video content that appreciably resembles
existing persons, places or events and would falsely appear to a person to be authentic,
should disclose that the content has been artificially created or manipulated by
labelling the artificial intelligence output accordingly and disclosing its artificial
origin.
(71) Artificial intelligence is a rapidly developing family of technologies that requires
novel forms of regulatory oversight and a safe space for experimentation, while
ensuring responsible innovation and integration of appropriate safeguards and risk
mitigation measures. To ensure a legal framework that is innovation-friendly, future-
proof and resilient to disruption, national competent authorities from one or more
Member States should be encouraged to establish artificial intelligence regulatory
sandboxes to facilitate the development and testing of innovative AI systems under
strict regulatory oversight before these systems are placed on the market or otherwise
put into service.
(72) The objectives of the regulatory sandboxes should be to foster AI innovation by
establishing a controlled experimentation and testing environment in the development
and pre-marketing phase with a view to ensuring compliance of the innovative AI
systems with this Regulation and other relevant Union and Member States legislation;
to enhance legal certainty for innovators and the competent authorities’ oversight and
understanding of the opportunities, emerging risks and the impacts of AI use, and to
accelerate access to markets, including by removing barriers for small and medium
enterprises (SMEs) and start-ups. To ensure uniform implementation across the Union
and economies of scale, it is appropriate to establish common rules for the regulatory
sandboxes’ implementation and a framework for cooperation between the relevant
authorities involved in the supervision of the sandboxes. This Regulation should
provide the legal basis for the use of personal data collected for other purposes for
developing certain AI systems in the public interest within the AI regulatory sandbox,
in line with Article 6(4) of Regulation (EU) 2016/679, and Article 6 of Regulation
(EU) 2018/1725, and without prejudice to Article 4(2) of Directive (EU) 2016/680.
Participants in the sandbox should ensure appropriate safeguards and cooperate with
the competent authorities, including by following their guidance and acting
55
Regulation (EU) 2016/679 of the European Parliament and of the Council of 27 April 2016 on the
protection of natural persons with regard to the processing of personal data and on the free movement of
such data, and repealing Directive 95/46/EC (General Data Protection Regulation) (OJ L 119, 4.5.2016,
p. 1).
EN 35 EN
expeditiously and in good faith to mitigate any high-risks to safety and fundamental
rights that may arise during the development and experimentation in the sandbox. The
conduct of the participants in the sandbox should be taken into account when
competent authorities decide whether to impose an administrative fine under Article
83(2) of Regulation 2016/679 and Article 57 of Directive 2016/680.
(73) In order to promote and protect innovation, it is important that the interests of small-
scale providers and users of AI systems are taken into particular account. To this
objective, Member States should develop initiatives, which are targeted at those
operators, including on awareness raising and information communication. Moreover,
the specific interests and needs of small-scale providers shall be taken into account
when Notified Bodies set conformity assessment fees. Translation costs related to
mandatory documentation and communication with authorities may constitute a
significant cost for providers and other operators, notably those of a smaller scale.
Member States should possibly ensure that one of the languages determined and
accepted by them for relevant providers’ documentation and for communication with
operators is one which is broadly understood by the largest possible number of cross-
border users.
(74) In order to minimise the risks to implementation resulting from lack of knowledge and
expertise in the market as well as to facilitate compliance of providers and notified
bodies with their obligations under this Regulation, the AI-on demand platform, the
European Digital Innovation Hubs and the Testing and Experimentation Facilities
established by the Commission and the Member States at national or EU level should
possibly contribute to the implementation of this Regulation. Within their respective
mission and fields of competence, they may provide in particular technical and
scientific support to providers and notified bodies.
(75) It is appropriate that the Commission facilitates, to the extent possible, access to
Testing and Experimentation Facilities to bodies, groups or laboratories established or
accredited pursuant to any relevant Union harmonisation legislation and which fulfil
tasks in the context of conformity assessment of products or devices covered by that
Union harmonisation legislation. This is notably the case for expert panels, expert
laboratories and reference laboratories in the field of medical devices pursuant to
Regulation (EU) 2017/745 and Regulation (EU) 2017/746.
(76) In order to facilitate a smooth, effective and harmonised implementation of this
Regulation a European Artificial Intelligence Board should be established. The Board
should be responsible for a number of advisory tasks, including issuing opinions,
recommendations, advice or guidance on matters related to the implementation of this
Regulation, including on technical specifications or existing standards regarding the
requirements established in this Regulation and providing advice to and assisting the
Commission on specific questions related to artificial intelligence.
(77) Member States hold a key role in the application and enforcement of this Regulation.
In this respect, each Member State should designate one or more national competent
authorities for the purpose of supervising the application and implementation of this
Regulation. In order to increase organisation efficiency on the side of Member States
and to set an official point of contact vis-à-vis the public and other counterparts at
Member State and Union levels, in each Member State one national authority should
be designated as national supervisory authority.
(78) In order to ensure that providers of high-risk AI systems can take into account the
experience on the use of high-risk AI systems for improving their systems and the
EN 36 EN
design and development process or can take any possible corrective action in a timely
manner, all providers should have a post-market monitoring system in place. This
system is also key to ensure that the possible risks emerging from AI systems which
continue to ‘learn’ after being placed on the market or put into service can be more
efficiently and timely addressed. In this context, providers should also be required to
have a system in place to report to the relevant authorities any serious incidents or any
breaches to national and Union law protecting fundamental rights resulting from the
use of their AI systems.
(79) In order to ensure an appropriate and effective enforcement of the requirements and
obligations set out by this Regulation, which is Union harmonisation legislation, the
system of market surveillance and compliance of products established by Regulation
(EU) 2019/1020 should apply in its entirety. Where necessary for their mandate,
national public authorities or bodies, which supervise the application of Union law
protecting fundamental rights, including equality bodies, should also have access to
any documentation created under this Regulation.
(80) Union legislation on financial services includes internal governance and risk
management rules and requirements which are applicable to regulated financial
institutions in the course of provision of those services, including when they make use
of AI systems. In order to ensure coherent application and enforcement of the
obligations under this Regulation and relevant rules and requirements of the Union
financial services legislation, the authorities responsible for the supervision and
enforcement of the financial services legislation, including where applicable the
European Central Bank, should be designated as competent authorities for the purpose
of supervising the implementation of this Regulation, including for market
surveillance activities, as regards AI systems provided or used by regulated and
supervised financial institutions. To further enhance the consistency between this
Regulation and the rules applicable to credit institutions regulated under Directive
2013/36/EU of the European Parliament and of the Council56
, it is also appropriate to
integrate the conformity assessment procedure and some of the providers’ procedural
obligations in relation to risk management, post marketing monitoring and
documentation into the existing obligations and procedures under Directive
2013/36/EU. In order to avoid overlaps, limited derogations should also be envisaged
in relation to the quality management system of providers and the monitoring
obligation placed on users of high-risk AI systems to the extent that these apply to
credit institutions regulated by Directive 2013/36/EU.
(81) The development of AI systems other than high-risk AI systems in accordance with
the requirements of this Regulation may lead to a larger uptake of trustworthy artificial
intelligence in the Union. Providers of non-high-risk AI systems should be encouraged
to create codes of conduct intended to foster the voluntary application of the
mandatory requirements applicable to high-risk AI systems. Providers should also be
encouraged to apply on a voluntary basis additional requirements related, for example,
to environmental sustainability, accessibility to persons with disability, stakeholders’
participation in the design and development of AI systems, and diversity of the
development teams. The Commission may develop initiatives, including of a sectorial
56
Directive 2013/36/EU of the European Parliament and of the Council of 26 June 2013 on access to the
activity of credit institutions and the prudential supervision of credit institutions and investment firms,
amending Directive 2002/87/EC and repealing Directives 2006/48/EC and 2006/49/EC (OJ L 176,
27.6.2013, p. 338).
EN 37 EN
nature, to facilitate the lowering of technical barriers hindering cross-border exchange
of data for AI development, including on data access infrastructure, semantic and
technical interoperability of different types of data.
(82) It is important that AI systems related to products that are not high-risk in accordance
with this Regulation and thus are not required to comply with the requirements set out
herein are nevertheless safe when placed on the market or put into service. To
contribute to this objective, the Directive 2001/95/EC of the European Parliament and
of the Council57
would apply as a safety net.
(83) In order to ensure trustful and constructive cooperation of competent authorities on
Union and national level, all parties involved in the application of this Regulation
should respect the confidentiality of information and data obtained in carrying out
their tasks.
(84) Member States should take all necessary measures to ensure that the provisions of this
Regulation are implemented, including by laying down effective, proportionate and
dissuasive penalties for their infringement. For certain specific infringements, Member
States should take into account the margins and criteria set out in this Regulation. The
European Data Protection Supervisor should have the power to impose fines on Union
institutions, agencies and bodies falling within the scope of this Regulation.
(85) In order to ensure that the regulatory framework can be adapted where necessary, the
power to adopt acts in accordance with Article 290 TFEU should be delegated to the
Commission to amend the techniques and approaches referred to in Annex I to define
AI systems, the Union harmonisation legislation listed in Annex II, the high-risk AI
systems listed in Annex III, the provisions regarding technical documentation listed in
Annex IV, the content of the EU declaration of conformity in Annex V, the provisions
regarding the conformity assessment procedures in Annex VI and VII and the
provisions establishing the high-risk AI systems to which the conformity assessment
procedure based on assessment of the quality management system and assessment of
the technical documentation should apply. It is of particular importance that the
Commission carry out appropriate consultations during its preparatory work, including
at expert level, and that those consultations be conducted in accordance with the
principles laid down in the Interinstitutional Agreement of 13 April 2016 on Better
Law-Making58
. In particular, to ensure equal participation in the preparation of
delegated acts, the European Parliament and the Council receive all documents at the
same time as Member States’ experts, and their experts systematically have access to
meetings of Commission expert groups dealing with the preparation of delegated acts.
(86) In order to ensure uniform conditions for the implementation of this Regulation,
implementing powers should be conferred on the Commission. Those powers should
be exercised in accordance with Regulation (EU) No 182/2011 of the European
Parliament and of the Council59
.
(87) Since the objective of this Regulation cannot be sufficiently achieved by the Member
States and can rather, by reason of the scale or effects of the action, be better achieved
57
Directive 2001/95/EC of the European Parliament and of the Council of 3 December 2001 on general
product safety (OJ L 11, 15.1.2002, p. 4).
58
OJ L 123, 12.5.2016, p. 1.
59
Regulation (EU) No 182/2011 of the European Parliament and of the Council of 16 February 2011
laying down the rules and general principles concerning mechanisms for control by the Member States
of the Commission's exercise of implementing powers (OJ L 55, 28.2.2011, p.13).
EN 38 EN
at Union level, the Union may adopt measures in accordance with the principle of
subsidiarity as set out in Article 5 TEU. In accordance with the principle of
proportionality as set out in that Article, this Regulation does not go beyond what is
necessary in order to achieve that objective.
(88) This Regulation should apply from … [OP – please insert the date established in Art.
85]. However, the infrastructure related to the governance and the conformity
assessment system should be operational before that date, therefore the provisions on
notified bodies and governance structure should apply from … [OP – please insert the
date – three months following the entry into force of this Regulation]. In addition,
Member States should lay down and notify to the Commission the rules on penalties,
including administrative fines, and ensure that they are properly and effectively
implemented by the date of application of this Regulation. Therefore the provisions on
penalties should apply from [OP – please insert the date – twelve months following the
entry into force of this Regulation].
(89) The European Data Protection Supervisor and the European Data Protection Board
were consulted in accordance with Article 42(2) of Regulation (EU) 2018/1725 and
delivered an opinion on […]”.
HAVE ADOPTED THIS REGULATION:
TITLE I
GENERAL PROVISIONS
Article 1
Subject matter
This Regulation lays down:
(a) harmonised rules for the placing on the market, the putting into service and the
use of artificial intelligence systems (‘AI systems’) in the Union;
(a) prohibitions of certain artificial intelligence practices;
(b) specific requirements for high-risk AI systems and obligations for operators of
such systems;
(c) harmonised transparency rules for AI systems intended to interact with natural
persons, emotion recognition systems and biometric categorisation systems,
and AI systems used to generate or manipulate image, audio or video content;
(d) rules on market monitoring and surveillance.
Article 2
Scope
1. This Regulation applies to:
(a) providers placing on the market or putting into service AI systems in the
Union, irrespective of whether those providers are established within the Union
or in a third country;
(b) users of AI systems located within the Union;
EN 39 EN
(c) providers and users of AI systems that are located in a third country, where the
output produced by the system is used in the Union;
2. For high-risk AI systems that are safety components of products or systems, or which
are themselves products or systems, falling within the scope of the following acts,
only Article 84 of this Regulation shall apply:
(a) Regulation (EC) 300/2008;
(b) Regulation (EU) No 167/2013;
(c) Regulation (EU) No 168/2013;
(d) Directive 2014/90/EU;
(e) Directive (EU) 2016/797;
(f) Regulation (EU) 2018/858;
(g) Regulation (EU) 2018/1139;
(h) Regulation (EU) 2019/2144.
3. This Regulation shall not apply to AI systems developed or used exclusively for
military purposes.
4. This Regulation shall not apply to public authorities in a third country nor to
international organisations falling within the scope of this Regulation pursuant to
paragraph 1, where those authorities or organisations use AI systems in the
framework of international agreements for law enforcement and judicial cooperation
with the Union or with one or more Member States.
5. This Regulation shall not affect the application of the provisions on the liability of
intermediary service providers set out in Chapter II, Section IV of Directive
2000/31/EC of the European Parliament and of the Council60
[as to be replaced by
the corresponding provisions of the Digital Services Act].
Article 3
Definitions
For the purpose of this Regulation, the following definitions apply:
(1) ‘artificial intelligence system’ (AI system) means software that is developed with one
or more of the techniques and approaches listed in Annex I and can, for a given set of
human-defined objectives, generate outputs such as content, predictions,
recommendations, or decisions influencing the environments they interact with;
(1) ‘provider’ means a natural or legal person, public authority, agency or other body
that develops an AI system or that has an AI system developed with a view to
placing it on the market or putting it into service under its own name or trademark,
whether for payment or free of charge;
60
Directive 2000/31/EC of the European Parliament and of the Council of 8 June 2000 on certain legal
aspects of information society services, in particular electronic commerce, in the Internal Market
('Directive on electronic commerce') (OJ L 178, 17.7.2000, p. 1).
EN 40 EN
(3) ‘small-scale provider’ means a provider that is a micro or small enterprise within the
meaning of Commission Recommendation 2003/361/EC61
;
(4) ‘user’ means any natural or legal person, public authority, agency or other body
using an AI system under its authority, except where the AI system is used in the
course of a personal non-professional activity;
(5) ‘authorised representative’ means any natural or legal person established in the
Union who has received a written mandate from a provider of an AI system to,
respectively, perform and carry out on its behalf the obligations and procedures
established by this Regulation;
(6) ‘importer’ means any natural or legal person established in the Union that places on
the market or puts into service an AI system that bears the name or trademark of a
natural or legal person established outside the Union;
(7) ‘distributor’ means any natural or legal person in the supply chain, other than the
provider or the importer, that makes an AI system available on the Union market
without affecting its properties;
(8) ‘operator’ means the provider, the user, the authorised representative, the importer
and the distributor;
(9) ‘placing on the market’ means the first making available of an AI system on the
Union market;
(10) ‘making available on the market’ means any supply of an AI system for distribution
or use on the Union market in the course of a commercial activity, whether in return
for payment or free of charge;
(11) ‘putting into service’ means the supply of an AI system for first use directly to the
user or for own use on the Union market for its intended purpose;
(12) ‘intended purpose’ means the use for which an AI system is intended by the provider,
including the specific context and conditions of use, as specified in the information
supplied by the provider in the instructions for use, promotional or sales materials
and statements, as well as in the technical documentation;
(13) ‘reasonably foreseeable misuse’ means the use of an AI system in a way that is not in
accordance with its intended purpose, but which may result from reasonably
foreseeable human behaviour or interaction with other systems;
(14) ‘safety component of a product or system’ means a component of a product or of a
system which fulfils a safety function for that product or system or the failure or
malfunctioning of which endangers the health and safety of persons or property;
(15) ‘instructions for use’ means the information provided by the provider to inform the
user of in particular an AI system’s intended purpose and proper use, inclusive of the
specific geographical, behavioural or functional setting within which the high-risk AI
system is intended to be used;
(16) ‘recall of an AI system’ means any measure aimed at achieving the return to the
provider of an AI system made available to users;
61
Commission Recommendation of 6 May 2003 concerning the definition of micro, small and medium-
sized enterprises (OJ L 124, 20.5.2003, p. 36).
EN 41 EN
(17) ‘withdrawal of an AI system’ means any measure aimed at preventing the
distribution, display and offer of an AI system;
(18) ‘performance of an AI system’ means the ability of an AI system to achieve its
intended purpose;
(19) ‘notifying authority’ means the national authority responsible for setting up and
carrying out the necessary procedures for the assessment, designation and
notification of conformity assessment bodies and for their monitoring;
(20) ‘conformity assessment’ means the process of verifying whether the requirements set
out in Title III, Chapter 2 of this Regulation relating to an AI system have been
fulfilled;
(21) ‘conformity assessment body’ means a body that performs third-party conformity
assessment activities, including testing, certification and inspection;
(22) ‘notified body’ means a conformity assessment body designated in accordance with
this Regulation and other relevant Union harmonisation legislation;
(23) ‘substantial modification’ means a change to the AI system following its placing on
the market or putting into service which affects the compliance of the AI system with
the requirements set out in Title III, Chapter 2 of this Regulation or results in a
modification to the intended purpose for which the AI system has been assessed;
(24) ‘CE marking of conformity’ (CE marking) means a marking by which a provider
indicates that an AI system is in conformity with the requirements set out in Title III,
Chapter 2 of this Regulation and other applicable Union legislation harmonising the
conditions for the marketing of products (‘Union harmonisation legislation’)
providing for its affixing;
(25) ‘post-market monitoring’ means all activities carried out by providers of AI systems
to proactively collect and review experience gained from the use of AI systems they
place on the market or put into service for the purpose of identifying any need to
immediately apply any necessary corrective or preventive actions;
(26) ‘market surveillance authority’ means the national authority carrying out the
activities and taking the measures pursuant to Regulation (EU) 2019/1020;
(27) ‘harmonised standard’ means a European standard as defined in Article 2(1)(c) of
Regulation (EU) No 1025/2012;
(28) ‘common specifications’ means a document, other than a standard, containing
technical solutions providing a means to, comply with certain requirements and
obligations established under this Regulation;
(29) ‘training data’ means data used for training an AI system through fitting its learnable
parameters, including the weights of a neural network;
(30) ‘validation data’ means data used for providing an evaluation of the trained AI
system and for tuning its non-learnable parameters and its learning process, among
other things, in order to prevent overfitting; whereas the validation dataset can be a
separate dataset or part of the training dataset, either as a fixed or variable split;
(31) ‘testing data’ means data used for providing an independent evaluation of the trained
and validated AI system in order to confirm the expected performance of that system
before its placing on the market or putting into service;
EN 42 EN
(32) ‘input data’ means data provided to or directly acquired by an AI system on the basis
of which the system produces an output;
(33) ‘biometric data’ means personal data resulting from specific technical processing
relating to the physical, physiological or behavioural characteristics of a natural
person, which allow or confirm the unique identification of that natural person, such
as facial images or dactyloscopic data;
(34) ‘emotion recognition system’ means an AI system for the purpose of identifying or
inferring emotions or intentions of natural persons on the basis of their biometric
data;
(35) ‘biometric categorisation system’ means an AI system for the purpose of assigning
natural persons to specific categories, such as sex, age, hair colour, eye colour,
tattoos, ethnic origin or sexual or political orientation, on the basis of their biometric
data;
(36) ‘remote biometric identification system’ means an AI system for the purpose of
identifying natural persons at a distance through the comparison of a person’s
biometric data with the biometric data contained in a reference database, and without
prior knowledge of the user of the AI system whether the person will be present and
can be identified ;
(37) ‘‘real-time’ remote biometric identification system’ means a remote biometric
identification system whereby the capturing of biometric data, the comparison and
the identification all occur without a significant delay. This comprises not only
instant identification, but also limited short delays in order to avoid circumvention.
(38) ‘‘post’ remote biometric identification system’ means a remote biometric
identification system other than a ‘real-time’ remote biometric identification system;
(39) ‘publicly accessible space’ means any physical place accessible to the public,
regardless of whether certain conditions for access may apply;
(40) ‘law enforcement authority’ means:
(a) any public authority competent for the prevention, investigation, detection or
prosecution of criminal offences or the execution of criminal penalties,
including the safeguarding against and the prevention of threats to public
security; or
(b) any other body or entity entrusted by Member State law to exercise public
authority and public powers for the purposes of the prevention, investigation,
detection or prosecution of criminal offences or the execution of criminal
penalties, including the safeguarding against and the prevention of threats to
public security;
(41) ‘law enforcement’ means activities carried out by law enforcement authorities for the
prevention, investigation, detection or prosecution of criminal offences or the
execution of criminal penalties, including the safeguarding against and the
prevention of threats to public security;
(42) ‘national supervisory authority’ means the authority to which a Member State assigns
the responsibility for the implementation and application of this Regulation, for
coordinating the activities entrusted to that Member State, for acting as the single
contact point for the Commission, and for representing the Member State at the
European Artificial Intelligence Board;
EN 43 EN
(43) ‘national competent authority’ means the national supervisory authority, the
notifying authority and the market surveillance authority;
(44) ‘serious incident’ means any incident that directly or indirectly leads, might have led
or might lead to any of the following:
(a) the death of a person or serious damage to a person’s health, to property or the
environment,
(b) a serious and irreversible disruption of the management and operation of
critical infrastructure.
Article 4
Amendments to Annex I
The Commission is empowered to adopt delegated acts in accordance with Article 73 to
amend the list of techniques and approaches listed in Annex I, in order to update that list to
market and technological developments on the basis of characteristics that are similar to the
techniques and approaches listed therein.
TITLE II
PROHIBITED ARTIFICIAL INTELLIGENCE PRACTICES
Article 5
1. The following artificial intelligence practices shall be prohibited:
(a) the placing on the market, putting into service or use of an AI system that
deploys subliminal techniques beyond a person’s consciousness in order to
materially distort a person’s behaviour in a manner that causes or is likely to
cause that person or another person physical or psychological harm;
(b) the placing on the market, putting into service or use of an AI system that
exploits any of the vulnerabilities of a specific group of persons due to their
age, physical or mental disability, in order to materially distort the behaviour of
a person pertaining to that group in a manner that causes or is likely to cause
that person or another person physical or psychological harm;
(c) the placing on the market, putting into service or use of AI systems by public
authorities or on their behalf for the evaluation or classification of the
trustworthiness of natural persons over a certain period of time based on their
social behaviour or known or predicted personal or personality characteristics,
with the social score leading to either or both of the following:
(i) detrimental or unfavourable treatment of certain natural persons or whole
groups thereof in social contexts which are unrelated to the contexts in
which the data was originally generated or collected;
(ii) detrimental or unfavourable treatment of certain natural persons or whole
groups thereof that is unjustified or disproportionate to their social
behaviour or its gravity;
(d) the use of ‘real-time’ remote biometric identification systems in publicly
accessible spaces for the purpose of law enforcement, unless and in as far as
such use is strictly necessary for one of the following objectives:
EN 44 EN
(i) the targeted search for specific potential victims of crime, including
missing children;
(ii) the prevention of a specific, substantial and imminent threat to the life or
physical safety of natural persons or of a terrorist attack;
(iii) the detection, localisation, identification or prosecution of a perpetrator
or suspect of a criminal offence referred to in Article 2(2) of Council
Framework Decision 2002/584/JHA62
and punishable in the Member
State concerned by a custodial sentence or a detention order for a
maximum period of at least three years, as determined by the law of that
Member State.
2. The use of ‘real-time’ remote biometric identification systems in publicly accessible
spaces for the purpose of law enforcement for any of the objectives referred to in
paragraph 1 point d) shall take into account the following elements:
(a) the nature of the situation giving rise to the possible use, in particular the
seriousness, probability and scale of the harm caused in the absence of the use
of the system;
(b) the consequences of the use of the system for the rights and freedoms of all
persons concerned, in particular the seriousness, probability and scale of those
consequences.
In addition, the use of ‘real-time’ remote biometric identification systems in publicly
accessible spaces for the purpose of law enforcement for any of the objectives
referred to in paragraph 1 point d) shall comply with necessary and proportionate
safeguards and conditions in relation to the use, in particular as regards the temporal,
geographic and personal limitations.
3. As regards paragraphs 1, point (d) and 2, each individual use for the purpose of law
enforcement of a ‘real-time’ remote biometric identification system in publicly
accessible spaces shall be subject to a prior authorisation granted by a judicial
authority or by an independent administrative authority of the Member State in
which the use is to take place, issued upon a reasoned request and in accordance with
the detailed rules of national law referred to in paragraph 4. However, in a duly
justified situation of urgency, the use of the system may be commenced without an
authorisation and the authorisation may be requested only during or after the use.
The competent judicial or administrative authority shall only grant the authorisation
where it is satisfied, based on objective evidence or clear indications presented to it,
that the use of the ‘real-time’ remote biometric identification system at issue is
necessary for and proportionate to achieving one of the objectives specified in
paragraph 1, point (d), as identified in the request. In deciding on the request, the
competent judicial or administrative authority shall take into account the elements
referred to in paragraph 2.
4. A Member State may decide to provide for the possibility to fully or partially
authorise the use of ‘real-time’ remote biometric identification systems in publicly
accessible spaces for the purpose of law enforcement within the limits and under the
62
Council Framework Decision 2002/584/JHA of 13 June 2002 on the European arrest warrant and the
surrender procedures between Member States (OJ L 190, 18.7.2002, p. 1).
EN 45 EN
conditions listed in paragraphs 1, point (d), 2 and 3. That Member State shall lay
down in its national law the necessary detailed rules for the request, issuance and
exercise of, as well as supervision relating to, the authorisations referred to in
paragraph 3. Those rules shall also specify in respect of which of the objectives listed
in paragraph 1, point (d), including which of the criminal offences referred to in
point (iii) thereof, the competent authorities may be authorised to use those systems
for the purpose of law enforcement.
TITLE III
HIGH-RISK AI SYSTEMS
CHAPTER 1
CLASSIFICATION OF AI SYSTEMS AS HIGH-RISK
Article 6
Classification rules for high-risk AI systems
1. Irrespective of whether an AI system is placed on the market or put into service
independently from the products referred to in points (a) and (b), that AI system shall
be considered high-risk where both of the following conditions are fulfilled:
(a) the AI system is intended to be used as a safety component of a product, or is
itself a product, covered by the Union harmonisation legislation listed in Annex
II;
(b) the product whose safety component is the AI system, or the AI system itself as
a product, is required to undergo a third-party conformity assessment with a
view to the placing on the market or putting into service of that product
pursuant to the Union harmonisation legislation listed in Annex II.
2. In addition to the high-risk AI systems referred to in paragraph 1, AI systems
referred to in Annex III shall also be considered high-risk.
Article 7
Amendments to Annex III
1. The Commission is empowered to adopt delegated acts in accordance with Article 73
to update the list in Annex III by adding high-risk AI systems where both of the
following conditions are fulfilled:
(a) the AI systems are intended to be used in any of the areas listed in points 1 to 8
of Annex III;
(b) the AI systems pose a risk of harm to the health and safety, or a risk of adverse
impact on fundamental rights, that is, in respect of its severity and probability
of occurrence, equivalent to or greater than the risk of harm or of adverse
impact posed by the high-risk AI systems already referred to in Annex III.
2. When assessing for the purposes of paragraph 1 whether an AI system poses a risk of
harm to the health and safety or a risk of adverse impact on fundamental rights that is
equivalent to or greater than the risk of harm posed by the high-risk AI systems
EN 46 EN
already referred to in Annex III, the Commission shall take into account the
following criteria:
(a) the intended purpose of the AI system;
(b) the extent to which an AI system has been used or is likely to be used;
(c) the extent to which the use of an AI system has already caused harm to the
health and safety or adverse impact on the fundamental rights or has given rise
to significant concerns in relation to the materialisation of such harm or
adverse impact, as demonstrated by reports or documented allegations
submitted to national competent authorities;
(d) the potential extent of such harm or such adverse impact, in particular in terms
of its intensity and its ability to affect a plurality of persons;
(e) the extent to which potentially harmed or adversely impacted persons are
dependent on the outcome produced with an AI system, in particular because
for practical or legal reasons it is not reasonably possible to opt-out from that
outcome;
(f) the extent to which potentially harmed or adversely impacted persons are in a
vulnerable position in relation to the user of an AI system, in particular due to
an imbalance of power, knowledge, economic or social circumstances, or age;
(g) the extent to which the outcome produced with an AI system is easily
reversible, whereby outcomes having an impact on the health or safety of
persons shall not be considered as easily reversible;
(h) the extent to which existing Union legislation provides for:
(i) effective measures of redress in relation to the risks posed by an AI
system, with the exclusion of claims for damages;
(ii) effective measures to prevent or substantially minimise those risks.
CHAPTER 2
REQUIREMENTS FOR HIGH-RISK AI SYSTEMS
Article 8
Compliance with the requirements
1. High-risk AI systems shall comply with the requirements established in this Chapter.
2. The intended purpose of the high-risk AI system and the risk management system
referred to in Article 9 shall be taken into account when ensuring compliance with
those requirements.
Article 9
Risk management system
1. A risk management system shall be established, implemented, documented and
maintained in relation to high-risk AI systems.
2. The risk management system shall consist of a continuous iterative process run
throughout the entire lifecycle of a high-risk AI system, requiring regular systematic
updating. It shall comprise the following steps:
EN 47 EN
(a) identification and analysis of the known and foreseeable risks associated with
each high-risk AI system;
(b) estimation and evaluation of the risks that may emerge when the high-risk AI
system is used in accordance with its intended purpose and under conditions of
reasonably foreseeable misuse;
(c) evaluation of other possibly arising risks based on the analysis of data gathered
from the post-market monitoring system referred to in Article 61;
(d) adoption of suitable risk management measures in accordance with the
provisions of the following paragraphs.
3. The risk management measures referred to in paragraph 2, point (d) shall give due
consideration to the effects and possible interactions resulting from the combined
application of the requirements set out in this Chapter 2. They shall take into account
the generally acknowledged state of the art, including as reflected in relevant
harmonised standards or common specifications.
4. The risk management measures referred to in paragraph 2, point (d) shall be such that
any residual risk associated with each hazard as well as the overall residual risk of
the high-risk AI systems is judged acceptable, provided that the high-risk AI system
is used in accordance with its intended purpose or under conditions of reasonably
foreseeable misuse. Those residual risks shall be communicated to the user.
In identifying the most appropriate risk management measures, the following shall be
ensured:
(a) elimination or reduction of risks as far as possible through adequate design and
development;
(b) where appropriate, implementation of adequate mitigation and control
measures in relation to risks that cannot be eliminated;
(c) provision of adequate information pursuant to Article 13, in particular as
regards the risks referred to in paragraph 2, point (b) of this Article, and, where
appropriate, training to users.
In eliminating or reducing risks related to the use of the high-risk AI system, due
consideration shall be given to the technical knowledge, experience, education,
training to be expected by the user and the environment in which the system is
intended to be used.
5. High-risk AI systems shall be tested for the purposes of identifying the most
appropriate risk management measures. Testing shall ensure that high-risk AI
systems perform consistently for their intended purpose and they are in compliance
with the requirements set out in this Chapter.
6. Testing procedures shall be suitable to achieve the intended purpose of the AI system
and do not need to go beyond what is necessary to achieve that purpose.
7. The testing of the high-risk AI systems shall be performed, as appropriate, at any
point in time throughout the development process, and, in any event, prior to the
placing on the market or the putting into service. Testing shall be made against
preliminarily defined metrics and probabilistic thresholds that are appropriate to the
intended purpose of the high-risk AI system.
EN 48 EN
8. When implementing the risk management system described in paragraphs 1 to 7,
specific consideration shall be given to whether the high-risk AI system is likely to
be accessed by or have an impact on children.
9. For credit institutions regulated by Directive 2013/36/EU, the aspects described in
paragraphs 1 to 8 shall be part of the risk management procedures established by
those institutions pursuant to Article 74 of that Directive.
Article 10
Data and data governance
1. High-risk AI systems which make use of techniques involving the training of models
with data shall be developed on the basis of training, validation and testing data sets
that meet the quality criteria referred to in paragraphs 2 to 5.
2. Training, validation and testing data sets shall be subject to appropriate data
governance and management practices. Those practices shall concern in particular,
(a) the relevant design choices;
(b) data collection;
(c) relevant data preparation processing operations, such as annotation, labelling,
cleaning, enrichment and aggregation;
(d) the formulation of relevant assumptions, notably with respect to the
information that the data are supposed to measure and represent;
(e) a prior assessment of the availability, quantity and suitability of the data sets
that are needed;
(f) examination in view of possible biases;
(g) the identification of any possible data gaps or shortcomings, and how those
gaps and shortcomings can be addressed.
3. Training, validation and testing data sets shall be relevant, representative, free of
errors and complete. They shall have the appropriate statistical properties, including,
where applicable, as regards the persons or groups of persons on which the high-risk
AI system is intended to be used. These characteristics of the data sets may be met at
the level of individual data sets or a combination thereof.
4. Training, validation and testing data sets shall take into account, to the extent
required by the intended purpose, the characteristics or elements that are particular to
the specific geographical, behavioural or functional setting within which the high-
risk AI system is intended to be used.
5. To the extent that it is strictly necessary for the purposes of ensuring bias monitoring,
detection and correction in relation to the high-risk AI systems, the providers of such
systems may process special categories of personal data referred to in Article 9(1) of
Regulation (EU) 2016/679, Article 10 of Directive (EU) 2016/680 and Article 10(1)
of Regulation (EU) 2018/1725, subject to appropriate safeguards for the fundamental
rights and freedoms of natural persons, including technical limitations on the re-use
and use of state-of-the-art security and privacy-preserving measures, such as
pseudonymisation, or encryption where anonymisation may significantly affect the
purpose pursued.
EN 49 EN
6. Appropriate data governance and management practices shall apply for the
development of high-risk AI systems other than those which make use of techniques
involving the training of models in order to ensure that those high-risk AI systems
comply with paragraph 2.
Article 11
Technical documentation
1. The technical documentation of a high-risk AI system shall be drawn up before that
system is placed on the market or put into service and shall be kept up-to date.
The technical documentation shall be drawn up in such a way to demonstrate that the
high-risk AI system complies with the requirements set out in this Chapter and
provide national competent authorities and notified bodies with all the necessary
information to assess the compliance of the AI system with those requirements. It
shall contain, at a minimum, the elements set out in Annex IV.
2. Where a high-risk AI system related to a product, to which the legal acts listed in
Annex II, section A apply, is placed on the market or put into service one single
technical documentation shall be drawn up containing all the information set out in
Annex IV as well as the information required under those legal acts.
3. The Commission is empowered to adopt delegated acts in accordance with Article 73
to amend Annex IV where necessary to ensure that, in the light of technical progress,
the technical documentation provides all the necessary information to assess the
compliance of the system with the requirements set out in this Chapter.
Article 12
Record-keeping
1. High-risk AI systems shall be designed and developed with capabilities enabling the
automatic recording of events (‘logs’) while the high-risk AI systems is operating.
Those logging capabilities shall conform to recognised standards or common
specifications.
2. The logging capabilities shall ensure a level of traceability of the AI system’s
functioning throughout its lifecycle that is appropriate to the intended purpose of the
system.
3. In particular, logging capabilities shall enable the monitoring of the operation of the
high-risk AI system with respect to the occurrence of situations that may result in the
AI system presenting a risk within the meaning of Article 65(1) or lead to a
substantial modification, and facilitate the post-market monitoring referred to in
Article 61.
4. For high-risk AI systems referred to in paragraph 1, point (a) of Annex III, the
logging capabilities shall provide, at a minimum:
(a) recording of the period of each use of the system (start date and time and end
date and time of each use);
(b) the reference database against which input data has been checked by the
system;
(c) the input data for which the search has led to a match;
EN 50 EN
(d) the identification of the natural persons involved in the verification of the
results, as referred to in Article 14 (5).
Article 13
Transparency and provision of information to users
1. High-risk AI systems shall be designed and developed in such a way to ensure that
their operation is sufficiently transparent to enable users to interpret the system’s
output and use it appropriately. An appropriate type and degree of transparency shall
be ensured, with a view to achieving compliance with the relevant obligations of the
user and of the provider set out in Chapter 3 of this Title.
2. High-risk AI systems shall be accompanied by instructions for use in an appropriate
digital format or otherwise that include concise, complete, correct and clear
information that is relevant, accessible and comprehensible to users.
3. The information referred to in paragraph 2 shall specify:
(a) the identity and the contact details of the provider and, where applicable, of its
authorised representative;
(b) the characteristics, capabilities and limitations of performance of the high-risk
AI system, including:
(i) its intended purpose;
(ii) the level of accuracy, robustness and cybersecurity referred to in Article
15 against which the high-risk AI system has been tested and validated
and which can be expected, and any known and foreseeable
circumstances that may have an impact on that expected level of
accuracy, robustness and cybersecurity;
(iii) any known or foreseeable circumstance, related to the use of the high-
risk AI system in accordance with its intended purpose or under
conditions of reasonably foreseeable misuse, which may lead to risks to
the health and safety or fundamental rights;
(iv) its performance as regards the persons or groups of persons on which the
system is intended to be used;
(v) when appropriate, specifications for the input data, or any other relevant
information in terms of the training, validation and testing data sets used,
taking into account the intended purpose of the AI system.
(c) the changes to the high-risk AI system and its performance which have been
pre-determined by the provider at the moment of the initial conformity
assessment, if any;
(d) the human oversight measures referred to in Article 14, including the technical
measures put in place to facilitate the interpretation of the outputs of AI
systems by the users;
(e) the expected lifetime of the high-risk AI system and any necessary
maintenance and care measures to ensure the proper functioning of that AI
system, including as regards software updates.
EN 51 EN
Article 14
Human oversight
1. High-risk AI systems shall be designed and developed in such a way, including with
appropriate human-machine interface tools, that they can be effectively overseen by
natural persons during the period in which the AI system is in use.
2. Human oversight shall aim at preventing or minimising the risks to health, safety or
fundamental rights that may emerge when a high-risk AI system is used in
accordance with its intended purpose or under conditions of reasonably foreseeable
misuse, in particular when such risks persist notwithstanding the application of other
requirements set out in this Chapter.
3. Human oversight shall be ensured through either one or all of the following
measures:
(a) identified and built, when technically feasible, into the high-risk AI system by
the provider before it is placed on the market or put into service;
(b) identified by the provider before placing the high-risk AI system on the market
or putting it into service and that are appropriate to be implemented by the
user.
4. The measures referred to in paragraph 3 shall enable the individuals to whom human
oversight is assigned to do the following, as appropriate to the circumstances:
(a) fully understand the capacities and limitations of the high-risk AI system and
be able to duly monitor its operation, so that signs of anomalies, dysfunctions
and unexpected performance can be detected and addressed as soon as
possible;
(b) remain aware of the possible tendency of automatically relying or over-relying
on the output produced by a high-risk AI system (‘automation bias’), in
particular for high-risk AI systems used to provide information or
recommendations for decisions to be taken by natural persons;
(c) be able to correctly interpret the high-risk AI system’s output, taking into
account in particular the characteristics of the system and the interpretation
tools and methods available;
(d) be able to decide, in any particular situation, not to use the high-risk AI system
or otherwise disregard, override or reverse the output of the high-risk AI
system;
(e) be able to intervene on the operation of the high-risk AI system or interrupt the
system through a “stop” button or a similar procedure.
5. For high-risk AI systems referred to in point 1(a) of Annex III, the measures referred
to in paragraph 3 shall be such as to ensure that, in addition, no action or decision is
taken by the user on the basis of the identification resulting from the system unless
this has been verified and confirmed by at least two natural persons.
Article 15
Accuracy, robustness and cybersecurity
1. High-risk AI systems shall be designed and developed in such a way that they
achieve, in the light of their intended purpose, an appropriate level of accuracy,
EN 52 EN
robustness and cybersecurity, and perform consistently in those respects throughout
their lifecycle.
2. The levels of accuracy and the relevant accuracy metrics of high-risk AI systems
shall be declared in the accompanying instructions of use.
3. High-risk AI systems shall be resilient as regards errors, faults or inconsistencies that
may occur within the system or the environment in which the system operates, in
particular due to their interaction with natural persons or other systems.
The robustness of high-risk AI systems may be achieved through technical
redundancy solutions, which may include backup or fail-safe plans.
High-risk AI systems that continue to learn after being placed on the market or put
into service shall be developed in such a way to ensure that possibly biased outputs
due to outputs used as an input for future operations (‘feedback loops’) are duly
addressed with appropriate mitigation measures.
4. High-risk AI systems shall be resilient as regards attempts by unauthorised third
parties to alter their use or performance by exploiting the system vulnerabilities.
The technical solutions aimed at ensuring the cybersecurity of high-risk AI systems
shall be appropriate to the relevant circumstances and the risks.
The technical solutions to address AI specific vulnerabilities shall include, where
appropriate, measures to prevent and control for attacks trying to manipulate the
training dataset (‘data poisoning’), inputs designed to cause the model to make a
mistake (‘adversarial examples’), or model flaws.
CHAPTER 3
OBLIGATIONS OF PROVIDERS AND USERS OF HIGH-RISK AI SYSTEMS AND
OTHER PARTIES
Article 16
Obligations of providers of high-risk AI systems
Providers of high-risk AI systems shall:
(a) ensure that their high-risk AI systems are compliant with the requirements set out in
Chapter 2 of this Title;
(b) have a quality management system in place which complies with Article 17;
(c) draw-up the technical documentation of the high-risk AI system;
(d) when under their control, keep the logs automatically generated by their high-risk AI
systems;
(e) ensure that the high-risk AI system undergoes the relevant conformity assessment
procedure, prior to its placing on the market or putting into service;
(f) comply with the registration obligations referred to in Article 51;
(g) take the necessary corrective actions, if the high-risk AI system is not in conformity
with the requirements set out in Chapter 2 of this Title;
EN 53 EN
(h) inform the national competent authorities of the Member States in which they made
the AI system available or put it into service and, where applicable, the notified body
of the non-compliance and of any corrective actions taken;
(i) to affix the CE marking to their high-risk AI systems to indicate the conformity with
this Regulation in accordance with Article 49;
(j) upon request of a national competent authority, demonstrate the conformity of the
high-risk AI system with the requirements set out in Chapter 2 of this Title.
Article 17
Quality management system
1. Providers of high-risk AI systems shall put a quality management system in place
that ensures compliance with this Regulation. That system shall be documented in a
systematic and orderly manner in the form of written policies, procedures and
instructions, and shall include at least the following aspects:
(a) a strategy for regulatory compliance, including compliance with conformity
assessment procedures and procedures for the management of modifications to
the high-risk AI system;
(b) techniques, procedures and systematic actions to be used for the design, design
control and design verification of the high-risk AI system;
(c) techniques, procedures and systematic actions to be used for the development,
quality control and quality assurance of the high-risk AI system;
(d) examination, test and validation procedures to be carried out before, during and
after the development of the high-risk AI system, and the frequency with which
they have to be carried out;
(e) technical specifications, including standards, to be applied and, where the
relevant harmonised standards are not applied in full, the means to be used to
ensure that the high-risk AI system complies with the requirements set out in
Chapter 2 of this Title;
(f) systems and procedures for data management, including data collection, data
analysis, data labelling, data storage, data filtration, data mining, data
aggregation, data retention and any other operation regarding the data that is
performed before and for the purposes of the placing on the market or putting
into service of high-risk AI systems;
(g) the risk management system referred to in Article 9;
(h) the setting-up, implementation and maintenance of a post-market monitoring
system, in accordance with Article 61;
(i) procedures related to the reporting of serious incidents and of malfunctioning
in accordance with Article 62;
(j) the handling of communication with national competent authorities, competent
authorities, including sectoral ones, providing or supporting the access to data,
notified bodies, other operators, customers or other interested parties;
(k) systems and procedures for record keeping of all relevant documentation and
information;
(l) resource management, including security of supply related measures;
EN 54 EN
(m) an accountability framework setting out the responsibilities of the management
and other staff with regard to all aspects listed in this paragraph.
2. The implementation of aspects referred to in paragraph 1 shall be proportionate to the
size of the provider’s organisation.
3. For providers that are credit institutions regulated by Directive 2013/36/ EU, the
obligation to put a quality management system in place shall be deemed to be
fulfilled by complying with the rules on internal governance arrangements, processes
and mechanisms pursuant to Article 74 of that Directive. In that context, any
harmonised standards referred to in Article 40 of this Regulation shall be taken into
account.
Article 18
Obligation to draw up technical documentation
1. Providers of high-risk AI systems shall draw up the technical documentation referred
to in Article 11 in accordance with Annex IV.
2. Providers that are credit institutions regulated by Directive 2013/36/EU shall
maintain the technical documentation as part of the documentation concerning
internal governance, arrangements, processes and mechanisms pursuant to Article 74
of that Directive.
Article 19
Conformity assessment
1. Providers of high-risk AI systems shall ensure that their systems undergo the relevant
conformity assessment procedure in accordance with Article 43, prior to their placing
on the market or putting into service. Where the compliance of the AI systems with
the requirements set out in Chapter 2 of this Title has been demonstrated following
that conformity assessment, the providers shall draw up an EU declaration of
conformity in accordance with Article 48 and affix the CE marking of conformity in
accordance with Article 49.
2. For high-risk AI systems referred to in point 5(b) of Annex III that are placed on the
market or put into service by providers that are credit institutions regulated by
Directive 2013/36/EU, the conformity assessment shall be carried out as part of the
procedure referred to in Articles 97 to101 of that Directive.
Article 20
Automatically generated logs
1. Providers of high-risk AI systems shall keep the logs automatically generated by
their high-risk AI systems, to the extent such logs are under their control by virtue of
a contractual arrangement with the user or otherwise by law. The logs shall be kept
for a period that is appropriate in the light of the intended purpose of high-risk AI
system and applicable legal obligations under Union or national law.
2. Providers that are credit institutions regulated by Directive 2013/36/EU shall
maintain the logs automatically generated by their high-risk AI systems as part of the
documentation under Articles 74 of that Directive.
EN 55 EN
Article 21
Corrective actions
Providers of high-risk AI systems which consider or have reason to consider that a high-risk
AI system which they have placed on the market or put into service is not in conformity with
this Regulation shall immediately take the necessary corrective actions to bring that system
into conformity, to withdraw it or to recall it, as appropriate. They shall inform the
distributors of the high-risk AI system in question and, where applicable, the authorised
representative and importers accordingly.
Article 22
Duty of information
Where the high-risk AI system presents a risk within the meaning of Article 65(1) and that
risk is known to the provider of the system, that provider shall immediately inform the
national competent authorities of the Member States in which it made the system available
and, where applicable, the notified body that issued a certificate for the high-risk AI system,
in particular of the non-compliance and of any corrective actions taken.
Article 23
Cooperation with competent authorities
Providers of high-risk AI systems shall, upon request by a national competent authority,
provide that authority with all the information and documentation necessary to demonstrate
the conformity of the high-risk AI system with the requirements set out in Chapter 2 of this
Title, in an official Union language determined by the Member State concerned. Upon a
reasoned request from a national competent authority, providers shall also give that authority
access to the logs automatically generated by the high-risk AI system, to the extent such logs
are under their control by virtue of a contractual arrangement with the user or otherwise by
law.
Article 24
Obligations of product manufacturers
Where a high-risk AI system related to products to which the legal acts listed in Annex II,
section A, apply, is placed on the market or put into service together with the product
manufactured in accordance with those legal acts and under the name of the product
manufacturer, the manufacturer of the product shall take the responsibility of the compliance
of the AI system with this Regulation and, as far as the AI system is concerned, have the same
obligations imposed by the present Regulation on the provider.
Article 25
Authorised representatives
1. Prior to making their systems available on the Union market, where an importer
cannot be identified, providers established outside the Union shall, by written
mandate, appoint an authorised representative which is established in the Union.
2. The authorised representative shall perform the tasks specified in the mandate
received from the provider. The mandate shall empower the authorised representative
to carry out the following tasks:
EN 56 EN
(a) keep a copy of the EU declaration of conformity and the technical
documentation at the disposal of the national competent authorities and
national authorities referred to in Article 63(7);
(b) provide a national competent authority, upon a reasoned request, with all the
information and documentation necessary to demonstrate the conformity of a
high-risk AI system with the requirements set out in Chapter 2 of this Title,
including access to the logs automatically generated by the high-risk AI system
to the extent such logs are under the control of the provider by virtue of a
contractual arrangement with the user or otherwise by law;
(c) cooperate with competent national authorities, upon a reasoned request, on any
action the latter takes in relation to the high-risk AI system.
Article 26
Obligations of importers
1. Before placing a high-risk AI system on the market, importers of such system shall
ensure that:
(a) the appropriate conformity assessment procedure has been carried out by the
provider of that AI system
(b) the provider has drawn up the technical documentation in accordance with
Annex IV;
(c) the system bears the required conformity marking and is accompanied by the
required documentation and instructions of use.
2. Where an importer considers or has reason to consider that a high-risk AI system is
not in conformity with this Regulation, it shall not place that system on the market
until that AI system has been brought into conformity. Where the high-risk AI
system presents a risk within the meaning of Article 65(1), the importer shall inform
the provider of the AI system and the market surveillance authorities to that effect.
3. Importers shall indicate their name, registered trade name or registered trade mark,
and the address at which they can be contacted on the high-risk AI system or, where
that is not possible, on its packaging or its accompanying documentation, as
applicable.
4. Importers shall ensure that, while a high-risk AI system is under their responsibility,
where applicable, storage or transport conditions do not jeopardise its compliance
with the requirements set out in Chapter 2 of this Title.
5. Importers shall provide national competent authorities, upon a reasoned request, with
all necessary information and documentation to demonstrate the conformity of a
high-risk AI system with the requirements set out in Chapter 2 of this Title in a
language which can be easily understood by that national competent authority,
including access to the logs automatically generated by the high-risk AI system to the
extent such logs are under the control of the provider by virtue of a contractual
arrangement with the user or otherwise by law. They shall also cooperate with those
authorities on any action national competent authority takes in relation to that
system.
EN 57 EN
Article 27
Obligations of distributors
1. Before making a high-risk AI system available on the market, distributors shall
verify that the high-risk AI system bears the required CE conformity marking, that it
is accompanied by the required documentation and instruction of use, and that the
provider and the importer of the system, as applicable, have complied with the
obligations set out in this Regulation.
2. Where a distributor considers or has reason to consider that a high-risk AI system is
not in conformity with the requirements set out in Chapter 2 of this Title, it shall not
make the high-risk AI system available on the market until that system has been
brought into conformity with those requirements. Furthermore, where the system
presents a risk within the meaning of Article 65(1), the distributor shall inform the
provider or the importer of the system, as applicable, to that effect.
3. Distributors shall ensure that, while a high-risk AI system is under their
responsibility, where applicable, storage or transport conditions do not jeopardise the
compliance of the system with the requirements set out in Chapter 2 of this Title.
4. A distributor that considers or has reason to consider that a high-risk AI system
which it has made available on the market is not in conformity with the requirements
set out in Chapter 2 of this Title shall take the corrective actions necessary to bring
that system into conformity with those requirements, to withdraw it or recall it or
shall ensure that the provider, the importer or any relevant operator, as appropriate,
takes those corrective actions. Where the high-risk AI system presents a risk within
the meaning of Article 65(1), the distributor shall immediately inform the national
competent authorities of the Member States in which it has made the product
available to that effect, giving details, in particular, of the non-compliance and of any
corrective actions taken.
5. Upon a reasoned request from a national competent authority, distributors of high-
risk AI systems shall provide that authority with all the information and
documentation necessary to demonstrate the conformity of a high-risk system with
the requirements set out in Chapter 2 of this Title. Distributors shall also cooperate
with that national competent authority on any action taken by that authority.
Article 28
Obligations of distributors, importers, users or any other third-party
1. Any distributor, importer, user or other third-party shall be considered a provider for
the purposes of this Regulation and shall be subject to the obligations of the provider
under Article 16, in any of the following circumstances:
(a) they place on the market or put into service a high-risk AI system under their
name or trademark;
(b) they modify the intended purpose of a high-risk AI system already placed on
the market or put into service;
(c) they make a substantial modification to the high-risk AI system.
2. Where the circumstances referred to in paragraph 1, point (b) or (c), occur, the
provider that initially placed the high-risk AI system on the market or put it into
service shall no longer be considered a provider for the purposes of this Regulation.
EN 58 EN
Article 29
Obligations of users of high-risk AI systems
1. Users of high-risk AI systems shall use such systems in accordance with the
instructions of use accompanying the systems, pursuant to paragraphs 2 and 5.
2. The obligations in paragraph 1 are without prejudice to other user obligations under
Union or national law and to the user’s discretion in organising its own resources and
activities for the purpose of implementing the human oversight measures indicated
by the provider.
3. Without prejudice to paragraph 1, to the extent the user exercises control over the
input data, that user shall ensure that input data is relevant in view of the intended
purpose of the high-risk AI system.
4. Users shall monitor the operation of the high-risk AI system on the basis of the
instructions of use. When they have reasons to consider that the use in accordance
with the instructions of use may result in the AI system presenting a risk within the
meaning of Article 65(1) they shall inform the provider or distributor and suspend
the use of the system. They shall also inform the provider or distributor when they
have identified any serious incident or any malfunctioning within the meaning of
Article 62 and interrupt the use of the AI system. In case the user is not able to reach
the provider, Article 62 shall apply mutatis mutandis.
For users that are credit institutions regulated by Directive 2013/36/EU, the
monitoring obligation set out in the first subparagraph shall be deemed to be fulfilled
by complying with the rules on internal governance arrangements, processes and
mechanisms pursuant to Article 74 of that Directive.
5. Users of high-risk AI systems shall keep the logs automatically generated by that
high-risk AI system, to the extent such logs are under their control. The logs shall be
kept for a period that is appropriate in the light of the intended purpose of the high-
risk AI system and applicable legal obligations under Union or national law.
Users that are credit institutions regulated by Directive 2013/36/EU shall maintain
the logs as part of the documentation concerning internal governance arrangements,
processes and mechanisms pursuant to Article 74 of that Directive.
6. Users of high-risk AI systems shall use the information provided under Article 13 to
comply with their obligation to carry out a data protection impact assessment under
Article 35 of Regulation (EU) 2016/679 or Article 27 of Directive (EU) 2016/680,
where applicable.
CHAPTER 4
NOTIFIYING AUTHORITIES AND NOTIFIED BODIES
Article 30
Notifying authorities
1. Each Member State shall designate or establish a notifying authority responsible for
setting up and carrying out the necessary procedures for the assessment, designation
and notification of conformity assessment bodies and for their monitoring.
2. Member States may designate a national accreditation body referred to in Regulation
(EC) No 765/2008 as a notifying authority.
EN 59 EN
3. Notifying authorities shall be established, organised and operated in such a way that
no conflict of interest arises with conformity assessment bodies and the objectivity
and impartiality of their activities are safeguarded.
4. Notifying authorities shall be organised in such a way that decisions relating to the
notification of conformity assessment bodies are taken by competent persons
different from those who carried out the assessment of those bodies.
5. Notifying authorities shall not offer or provide any activities that conformity
assessment bodies perform or any consultancy services on a commercial or
competitive basis.
6. Notifying authorities shall safeguard the confidentiality of the information they
obtain.
7. Notifying authorities shall have a sufficient number of competent personnel at their
disposal for the proper performance of their tasks.
8. Notifying authorities shall make sure that conformity assessments are carried out in a
proportionate manner, avoiding unnecessary burdens for providers and that notified
bodies perform their activities taking due account of the size of an undertaking, the
sector in which it operates, its structure and the degree of complexity of the AI
system in question.
Article 31
Application of a conformity assessment body for notification
1. Conformity assessment bodies shall submit an application for notification to the
notifying authority of the Member State in which they are established.
2. The application for notification shall be accompanied by a description of the
conformity assessment activities, the conformity assessment module or modules and
the artificial intelligence technologies for which the conformity assessment body
claims to be competent, as well as by an accreditation certificate, where one exists,
issued by a national accreditation body attesting that the conformity assessment body
fulfils the requirements laid down in Article 33. Any valid document related to
existing designations of the applicant notified body under any other Union
harmonisation legislation shall be added.
3. Where the conformity assessment body concerned cannot provide an accreditation
certificate, it shall provide the notifying authority with the documentary evidence
necessary for the verification, recognition and regular monitoring of its compliance
with the requirements laid down in Article 33. For notified bodies which are
designated under any other Union harmonisation legislation, all documents and
certificates linked to those designations may be used to support their designation
procedure under this Regulation, as appropriate.
Article 32
Notification procedure
1. Notifying authorities may notify only conformity assessment bodies which have
satisfied the requirements laid down in Article 33.
2. Notifying authorities shall notify the Commission and the other Member States using
the electronic notification tool developed and managed by the Commission.
EN 60 EN
3. The notification shall include full details of the conformity assessment activities, the
conformity assessment module or modules and the artificial intelligence technologies
concerned.
4. The conformity assessment body concerned may perform the activities of a notified
body only where no objections are raised by the Commission or the other Member
States within one month of a notification.
5. Notifying authorities shall notify the Commission and the other Member States of
any subsequent relevant changes to the notification.
Article 33
Notified bodies
1. Notified bodies shall verify the conformity of high-risk AI system in accordance with
the conformity assessment procedures referred to in Article 43.
2. Notified bodies shall satisfy the organisational, quality management, resources and
process requirements that are necessary to fulfil their tasks.
3. The organisational structure, allocation of responsibilities, reporting lines and
operation of notified bodies shall be such as to ensure that there is confidence in the
performance by and in the results of the conformity assessment activities that the
notified bodies conduct.
4. Notified bodies shall be independent of the provider of a high-risk AI system in
relation to which it performs conformity assessment activities. Notified bodies shall
also be independent of any other operator having an economic interest in the high-
risk AI system that is assessed, as well as of any competitors of the provider.
5. Notified bodies shall be organised and operated so as to safeguard the independence,
objectivity and impartiality of their activities. Notified bodies shall document and
implement a structure and procedures to safeguard impartiality and to promote and
apply the principles of impartiality throughout their organisation, personnel and
assessment activities.
6. Notified bodies shall have documented procedures in place ensuring that their
personnel, committees, subsidiaries, subcontractors and any associated body or
personnel of external bodies respect the confidentiality of the information which
comes into their possession during the performance of conformity assessment
activities, except when disclosure is required by law. The staff of notified bodies
shall be bound to observe professional secrecy with regard to all information
obtained in carrying out their tasks under this Regulation, except in relation to the
notifying authorities of the Member State in which their activities are carried out.
7. Notified bodies shall have procedures for the performance of activities which take
due account of the size of an undertaking, the sector in which it operates, its
structure, the degree of complexity of the AI system in question.
8. Notified bodies shall take out appropriate liability insurance for their conformity
assessment activities, unless liability is assumed by the Member State concerned in
accordance with national law or that Member State is directly responsible for the
conformity assessment.
9. Notified bodies shall be capable of carrying out all the tasks falling to them under
this Regulation with the highest degree of professional integrity and the requisite
EN 61 EN
competence in the specific field, whether those tasks are carried out by notified
bodies themselves or on their behalf and under their responsibility.
10. Notified bodies shall have sufficient internal competences to be able to effectively
evaluate the tasks conducted by external parties on their behalf. To that end, at all
times and for each conformity assessment procedure and each type of high-risk AI
system in relation to which they have been designated, the notified body shall have
permanent availability of sufficient administrative, technical and scientific personnel
who possess experience and knowledge relating to the relevant artificial intelligence
technologies, data and data computing and to the requirements set out in Chapter 2 of
this Title.
11. Notified bodies shall participate in coordination activities as referred to in Article 38.
They shall also take part directly or be represented in European standardisation
organisations, or ensure that they are aware and up to date in respect of relevant
standards.
12. Notified bodies shall make available and submit upon request all relevant
documentation, including the providers’ documentation, to the notifying authority
referred to in Article 30 to allow it to conduct its assessment, designation,
notification, monitoring and surveillance activities and to facilitate the assessment
outlined in this Chapter.
Article 34
Subsidiaries of and subcontracting by notified bodies
1. Where a notified body subcontracts specific tasks connected with the conformity
assessment or has recourse to a subsidiary, it shall ensure that the subcontractor or
the subsidiary meets the requirements laid down in Article 33 and shall inform the
notifying authority accordingly.
2. Notified bodies shall take full responsibility for the tasks performed by
subcontractors or subsidiaries wherever these are established.
3. Activities may be subcontracted or carried out by a subsidiary only with the
agreement of the provider.
4. Notified bodies shall keep at the disposal of the notifying authority the relevant
documents concerning the assessment of the qualifications of the subcontractor or the
subsidiary and the work carried out by them under this Regulation.
Article 35
Identification numbers and lists of notified bodies designated under this Regulation
1. The Commission shall assign an identification number to notified bodies. It shall
assign a single number, even where a body is notified under several Union acts.
2. The Commission shall make publicly available the list of the bodies notified under
this Regulation, including the identification numbers that have been assigned to them
and the activities for which they have been notified. The Commission shall ensure
that the list is kept up to date.
EN 62 EN
Article 36
Changes to notifications
1. Where a notifying authority has suspicions or has been informed that a notified body
no longer meets the requirements laid down in Article 33, or that it is failing to fulfil
its obligations, that authority shall without delay investigate the matter with the
utmost diligence. In that context, it shall inform the notified body concerned about
the objections raised and give it the possibility to make its views known. If the
notifying authority comes to the conclusion that the notified body investigation no
longer meets the requirements laid down in Article 33 or that it is failing to fulfil its
obligations, it shall restrict, suspend or withdraw the notification as appropriate,
depending on the seriousness of the failure. It shall also immediately inform the
Commission and the other Member States accordingly.
2. In the event of restriction, suspension or withdrawal of notification, or where the
notified body has ceased its activity, the notifying authority shall take appropriate
steps to ensure that the files of that notified body are either taken over by another
notified body or kept available for the responsible notifying authorities at their
request.
Article 37
Challenge to the competence of notified bodies
1. The Commission shall, where necessary, investigate all cases where there are reasons
to doubt whether a notified body complies with the requirements laid down in Article
33.
2. The Notifying authority shall provide the Commission, on request, with all relevant
information relating to the notification of the notified body concerned.
3. The Commission shall ensure that all confidential information obtained in the course
of its investigations pursuant to this Article is treated confidentially.
4. Where the Commission ascertains that a notified body does not meet or no longer
meets the requirements laid down in Article 33, it shall adopt a reasoned decision
requesting the notifying Member State to take the necessary corrective measures,
including withdrawal of notification if necessary. That implementing act shall be
adopted in accordance with the examination procedure referred to in Article 74(2).
Article 38
Coordination of notified bodies
1. The Commission shall ensure that, with regard to the areas covered by this
Regulation, appropriate coordination and cooperation between notified bodies active
in the conformity assessment procedures of AI systems pursuant to this Regulation
are put in place and properly operated in the form of a sectoral group of notified
bodies.
2. Member States shall ensure that the bodies notified by them participate in the work
of that group, directly or by means of designated representatives.
EN 63 EN
Article 39
Conformity assessment bodies of third countries
Conformity assessment bodies established under the law of a third country with which the
Union has concluded an agreement may be authorised to carry out the activities of notified
Bodies under this Regulation.
CHAPTER 5
STANDARDS, CONFORMITY ASSESSMENT, CERTIFICATES, REGISTRATION
Article 40
Harmonised standards
High-risk AI systems which are in conformity with harmonised standards or parts thereof the
references of which have been published in the Official Journal of the European Union shall
be presumed to be in conformity with the requirements set out in Chapter 2 of this Title, to the
extent those standards cover those requirements.
Article 41
Common specifications
1. Where harmonised standards referred to in Article 40 do not exist or where the
Commission considers that the relevant harmonised standards are insufficient or that
there is a need to address specific safety or fundamental right concerns, the
Commission may, by means of implementing acts, adopt common specifications in
respect of the requirements set out in Chapter 2 of this Title. Those implementing
acts shall be adopted in accordance with the examination procedure referred to in
Article 74(2).
2. The Commission, when preparing the common specifications referred to in
paragraph 1, shall gather the views of relevant bodies or expert groups established
under relevant sectorial Union law.
3. High-risk AI systems which are in conformity with the common specifications
referred to in paragraph 1 shall be presumed to be in conformity with the
requirements set out in Chapter 2 of this Title, to the extent those common
specifications cover those requirements.
4. Where providers do not comply with the common specifications referred to in
paragraph 1, they shall duly justify that they have adopted technical solutions that are
at least equivalent thereto.
Article 42
Presumption of conformity with certain requirements
1. Taking into account their intended purpose, high-risk AI systems that have been
trained and tested on data concerning the specific geographical, behavioural and
functional setting within which they are intended to be used shall be presumed to be
in compliance with the requirement set out in Article 10(4).
EN 64 EN
2. High-risk AI systems that have been certified or for which a statement of conformity
has been issued under a cybersecurity scheme pursuant to Regulation (EU) 2019/881
of the European Parliament and of the Council63
and the references of which have
been published in the Official Journal of the European Union shall be presumed to be
in compliance with the cybersecurity requirements set out in Article 15 of this
Regulation in so far as the cybersecurity certificate or statement of conformity or
parts thereof cover those requirements.
Article 43
Conformity assessment
1. For high-risk AI systems listed in point 1 of Annex III, where, in demonstrating the
compliance of a high-risk AI system with the requirements set out in Chapter 2 of
this Title, the provider has applied harmonised standards referred to in Article 40, or,
where applicable, common specifications referred to in Article 41, the provider shall
follow one of the following procedures:
(a) the conformity assessment procedure based on internal control referred to in
Annex VI;
(b) the conformity assessment procedure based on assessment of the quality
management system and assessment of the technical documentation, with the
involvement of a notified body, referred to in Annex VII.
Where, in demonstrating the compliance of a high-risk AI system with the
requirements set out in Chapter 2 of this Title, the provider has not applied or has
applied only in part harmonised standards referred to in Article 40, or where such
harmonised standards do not exist and common specifications referred to in Article
41 are not available, the provider shall follow the conformity assessment procedure
set out in Annex VII.
For the purpose of the conformity assessment procedure referred to in Annex VII, the
provider may choose any of the notified bodies. However, when the system is
intended to be put into service by law enforcement, immigration or asylum
authorities as well as EU institutions, bodies or agencies, the market surveillance
authority referred to in Article 63(5) or (6), as applicable, shall act as a notified body.
2. For high-risk AI systems referred to in points 2 to 8 of Annex III, providers shall
follow the conformity assessment procedure based on internal control as referred to
in Annex VI, which does not provide for the involvement of a notified body. For
high-risk AI systems referred to in point 5(b) of Annex III, placed on the market or
put into service by credit institutions regulated by Directive 2013/36/EU, the
conformity assessment shall be carried out as part of the procedure referred to in
Articles 97 to101 of that Directive.
3. For high-risk AI systems, to which legal acts listed in Annex II, section A, apply, the
provider shall follow the relevant conformity assessment as required under those
legal acts. The requirements set out in Chapter 2 of this Title shall apply to those
63
Regulation (EU) 2019/881 of the European Parliament and of the Council of 17 April 2019 on ENISA
(the European Union Agency for Cybersecurity) and on information and communications technology
cybersecurity certification and repealing Regulation (EU) No 526/2013 (Cybersecurity Act) (OJ L 151,
7.6.2019, p. 1).
EN 65 EN
high-risk AI systems and shall be part of that assessment. Points 4.3., 4.4., 4.5. and
the fifth paragraph of point 4.6 of Annex VII shall also apply.
For the purpose of that assessment, notified bodies which have been notified under
those legal acts shall be entitled to control the conformity of the high-risk AI systems
with the requirements set out in Chapter 2 of this Title, provided that the compliance
of those notified bodies with requirements laid down in Article 33(4), (9) and (10)
has been assessed in the context of the notification procedure under those legal acts.
Where the legal acts listed in Annex II, section A, enable the manufacturer of the
product to opt out from a third-party conformity assessment, provided that that
manufacturer has applied all harmonised standards covering all the relevant
requirements, that manufacturer may make use of that option only if he has also
applied harmonised standards or, where applicable, common specifications referred
to in Article 41, covering the requirements set out in Chapter 2 of this Title.
4. High-risk AI systems shall undergo a new conformity assessment procedure
whenever they are substantially modified, regardless of whether the modified system
is intended to be further distributed or continues to be used by the current user.
For high-risk AI systems that continue to learn after being placed on the market or
put into service, changes to the high-risk AI system and its performance that have
been pre-determined by the provider at the moment of the initial conformity
assessment and are part of the information contained in the technical documentation
referred to in point 2(f) of Annex IV, shall not constitute a substantial modification.
5. The Commission is empowered to adopt delegated acts in accordance with Article 73
for the purpose of updating Annexes VI and Annex VII in order to introduce
elements of the conformity assessment procedures that become necessary in light of
technical progress.
6. The Commission is empowered to adopt delegated acts to amend paragraphs 1 and 2
in order to subject high-risk AI systems referred to in points 2 to 8 of Annex III to
the conformity assessment procedure referred to in Annex VII or parts thereof. The
Commission shall adopt such delegated acts taking into account the effectiveness of
the conformity assessment procedure based on internal control referred to in Annex
VI in preventing or minimizing the risks to health and safety and protection of
fundamental rights posed by such systems as well as the availability of adequate
capacities and resources among notified bodies.
Article 44
Certificates
1. Certificates issued by notified bodies in accordance with Annex VII shall be drawn-
up in an official Union language determined by the Member State in which the
notified body is established or in an official Union language otherwise acceptable to
the notified body.
2. Certificates shall be valid for the period they indicate, which shall not exceed five
years. On application by the provider, the validity of a certificate may be extended
for further periods, each not exceeding five years, based on a re-assessment in
accordance with the applicable conformity assessment procedures.
3. Where a notified body finds that an AI system no longer meets the requirements set
out in Chapter 2 of this Title, it shall, taking account of the principle of
EN 66 EN
proportionality, suspend or withdraw the certificate issued or impose any restrictions
on it, unless compliance with those requirements is ensured by appropriate corrective
action taken by the provider of the system within an appropriate deadline set by the
notified body. The notified body shall give reasons for its decision.
Article 45
Appeal against decisions of notified bodies
Member States shall ensure that an appeal procedure against decisions of the notified bodies
is available to parties having a legitimate interest in that decision.
Article 46
Information obligations of notified bodies
1. Notified bodies shall inform the notifying authority of the following:
(a) any Union technical documentation assessment certificates, any supplements to
those certificates, quality management system approvals issued in accordance
with the requirements of Annex VII;
(b) any refusal, restriction, suspension or withdrawal of a Union technical
documentation assessment certificate or a quality management system approval
issued in accordance with the requirements of Annex VII;
(c) any circumstances affecting the scope of or conditions for notification;
(d) any request for information which they have received from market surveillance
authorities regarding conformity assessment activities;
(e) on request, conformity assessment activities performed within the scope of
their notification and any other activity performed, including cross-border
activities and subcontracting.
2. Each notified body shall inform the other notified bodies of:
(a) quality management system approvals which it has refused, suspended or
withdrawn, and, upon request, of quality system approvals which it has issued;
(b) EU technical documentation assessment certificates or any supplements thereto
which it has refused, withdrawn, suspended or otherwise restricted, and, upon
request, of the certificates and/or supplements thereto which it has issued.
3. Each notified body shall provide the other notified bodies carrying out similar
conformity assessment activities covering the same artificial intelligence
technologies with relevant information on issues relating to negative and, on request,
positive conformity assessment results.
Article 47
Derogation from conformity assessment procedure
1. By way of derogation from Article 43, any market surveillance authority may
authorise the placing on the market or putting into service of specific high-risk AI
systems within the territory of the Member State concerned, for exceptional reasons
of public security or the protection of life and health of persons, environmental
protection and the protection of key industrial and infrastructural assets. That
authorisation shall be for a limited period of time, while the necessary conformity
EN 67 EN
assessment procedures are being carried out, and shall terminate once those
procedures have been completed. The completion of those procedures shall be
undertaken without undue delay.
2. The authorisation referred to in paragraph 1 shall be issued only if the market
surveillance authority concludes that the high-risk AI system complies with the
requirements of Chapter 2 of this Title. The market surveillance authority shall
inform the Commission and the other Member States of any authorisation issued
pursuant to paragraph 1.
3. Where, within 15 calendar days of receipt of the information referred to in paragraph
2, no objection has been raised by either a Member State or the Commission in
respect of an authorisation issued by a market surveillance authority of a Member
State in accordance with paragraph 1, that authorisation shall be deemed justified.
4. Where, within 15 calendar days of receipt of the notification referred to in paragraph
2, objections are raised by a Member State against an authorisation issued by a
market surveillance authority of another Member State, or where the Commission
considers the authorisation to be contrary to Union law or the conclusion of the
Member States regarding the compliance of the system as referred to in paragraph 2
to be unfounded, the Commission shall without delay enter into consultation with the
relevant Member State; the operator(s) concerned shall be consulted and have the
possibility to present their views. In view thereof, the Commission shall decide
whether the authorisation is justified or not. The Commission shall address its
decision to the Member State concerned and the relevant operator or operators.
5. If the authorisation is considered unjustified, this shall be withdrawn by the market
surveillance authority of the Member State concerned.
6. By way of derogation from paragraphs 1 to 5, for high-risk AI systems intended to be
used as safety components of devices, or which are themselves devices, covered by
Regulation (EU) 2017/745 and Regulation (EU) 2017/746, Article 59 of Regulation
(EU) 2017/745 and Article 54 of Regulation (EU) 2017/746 shall apply also with
regard to the derogation from the conformity assessment of the compliance with the
requirements set out in Chapter 2 of this Title.
Article 48
EU declaration of conformity
1. The provider shall draw up a written EU declaration of conformity for each AI
system and keep it at the disposal of the national competent authorities for 10 years
after the AI system has been placed on the market or put into service. The EU
declaration of conformity shall identify the AI system for which it has been drawn
up. A copy of the EU declaration of conformity shall be given to the relevant
national competent authorities upon request.
2. The EU declaration of conformity shall state that the high-risk AI system in question
meets the requirements set out in Chapter 2 of this Title. The EU declaration of
conformity shall contain the information set out in Annex V and shall be translated
into an official Union language or languages required by the Member State(s) in
which the high-risk AI system is made available.
3. Where high-risk AI systems are subject to other Union harmonisation legislation
which also requires an EU declaration of conformity, a single EU declaration of
conformity shall be drawn up in respect of all Union legislations applicable to the
EN 68 EN
high-risk AI system. The declaration shall contain all the information required for
identification of the Union harmonisation legislation to which the declaration relates.
4. By drawing up the EU declaration of conformity, the provider shall assume
responsibility for compliance with the requirements set out in Chapter 2 of this Title.
The provider shall keep the EU declaration of conformity up-to-date as appropriate.
5. The Commission shall be empowered to adopt delegated acts in accordance with
Article 73 for the purpose of updating the content of the EU declaration of
conformity set out in Annex V in order to introduce elements that become necessary
in light of technical progress.
Article 49
CE marking of conformity
1. The CE marking shall be affixed visibly, legibly and indelibly for high-risk AI
systems. Where that is not possible or not warranted on account of the nature of the
high-risk AI system, it shall be affixed to the packaging or to the accompanying
documentation, as appropriate.
2. The CE marking referred to in paragraph 1 of this Article shall be subject to the
general principles set out in Article 30 of Regulation (EC) No 765/2008.
3. Where applicable, the CE marking shall be followed by the identification number of
the notified body responsible for the conformity assessment procedures set out in
Article 43. The identification number shall also be indicated in any promotional
material which mentions that the high-risk AI system fulfils the requirements for CE
marking.
Article 50
Document retention
The provider shall, for a period ending 10 years after the AI system has been placed on the
market or put into service, keep at the disposal of the national competent authorities:
(a) the technical documentation referred to in Article 11;
(b) the documentation concerning the quality management system referred to Article 17;
(c) the documentation concerning the changes approved by notified bodies where
applicable;
(d) the decisions and other documents issued by the notified bodies where applicable;
(e) the EU declaration of conformity referred to in Article 48.
Article 51
Registration
Before placing on the market or putting into service a high-risk AI system referred to in
Article 6(2), the provider or, where applicable, the authorised representative shall register that
system in the EU database referred to in Article 60.
EN 69 EN
TITLE IV
TRANSPARENCY OBLIGATIONS FOR CERTAIN AI SYSTEMS
Article 52
Transparency obligations for certain AI systems
1. Providers shall ensure that AI systems intended to interact with natural persons are
designed and developed in such a way that natural persons are informed that they are
interacting with an AI system, unless this is obvious from the circumstances and the
context of use. This obligation shall not apply to AI systems authorised by law to
detect, prevent, investigate and prosecute criminal offences, unless those systems are
available for the public to report a criminal offence.
2. Users of an emotion recognition system or a biometric categorisation system shall
inform of the operation of the system the natural persons exposed thereto. This
obligation shall not apply to AI systems used for biometric categorisation, which are
permitted by law to detect, prevent and investigate criminal offences.
3. Users of an AI system that generates or manipulates image, audio or video content
that appreciably resembles existing persons, objects, places or other entities or events
and would falsely appear to a person to be authentic or truthful (‘deep fake’), shall
disclose that the content has been artificially generated or manipulated.
However, the first subparagraph shall not apply where the use is authorised by law to
detect, prevent, investigate and prosecute criminal offences or it is necessary for the
exercise of the right to freedom of expression and the right to freedom of the arts and
sciences guaranteed in the Charter of Fundamental Rights of the EU, and subject to
appropriate safeguards for the rights and freedoms of third parties.
4. Paragraphs 1, 2 and 3 shall not affect the requirements and obligations set out in Title
III of this Regulation.
TITLE V
MEASURES IN SUPPORT OF INNOVATION
Article 53
AI regulatory sandboxes
1. AI regulatory sandboxes established by one or more Member States competent
authorities or the European Data Protection Supervisor shall provide a controlled
environment that facilitates the development, testing and validation of innovative AI
systems for a limited time before their placement on the market or putting into
service pursuant to a specific plan. This shall take place under the direct supervision
and guidance by the competent authorities with a view to ensuring compliance with
the requirements of this Regulation and, where relevant, other Union and Member
States legislation supervised within the sandbox.
2. Member States shall ensure that to the extent the innovative AI systems involve the
processing of personal data or otherwise fall under the supervisory remit of other
national authorities or competent authorities providing or supporting access to data,
EN 70 EN
the national data protection authorities and those other national authorities are
associated to the operation of the AI regulatory sandbox.
3. The AI regulatory sandboxes shall not affect the supervisory and corrective powers
of the competent authorities. Any significant risks to health and safety and
fundamental rights identified during the development and testing of such systems
shall result in immediate mitigation and, failing that, in the suspension of the
development and testing process until such mitigation takes place.
4. Participants in the AI regulatory sandbox shall remain liable under applicable Union
and Member States liability legislation for any harm inflicted on third parties as a
result from the experimentation taking place in the sandbox.
5. Member States’ competent authorities that have established AI regulatory sandboxes
shall coordinate their activities and cooperate within the framework of the European
Artificial Intelligence Board. They shall submit annual reports to the Board and the
Commission on the results from the implementation of those scheme, including good
practices, lessons learnt and recommendations on their setup and, where relevant, on
the application of this Regulation and other Union legislation supervised within the
sandbox.
6. The modalities and the conditions of the operation of the AI regulatory sandboxes,
including the eligibility criteria and the procedure for the application, selection,
participation and exiting from the sandbox, and the rights and obligations of the
participants shall be set out in implementing acts. Those implementing acts shall be
adopted in accordance with the examination procedure referred to in Article 74(2).
Article 54
Further processing of personal data for developing certain AI systems in the public interest in
the AI regulatory sandbox
1. In the AI regulatory sandbox personal data lawfully collected for other purposes shall
be processed for the purposes of developing and testing certain innovative AI
systems in the sandbox under the following conditions:
(a) the innovative AI systems shall be developed for safeguarding substantial
public interest in one or more of the following areas:
(i) the prevention, investigation, detection or prosecution of criminal
offences or the execution of criminal penalties, including the
safeguarding against and the prevention of threats to public security,
under the control and responsibility of the competent authorities. The
processing shall be based on Member State or Union law;
(ii) public safety and public health, including disease prevention, control and
treatment;
(iii) a high level of protection and improvement of the quality of the
environment;
(b) the data processed are necessary for complying with one or more of the
requirements referred to in Title III, Chapter 2 where those requirements
cannot be effectively fulfilled by processing anonymised, synthetic or other
non-personal data;
EN 71 EN
(c) there are effective monitoring mechanisms to identify if any high risks to the
fundamental rights of the data subjects may arise during the sandbox
experimentation as well as response mechanism to promptly mitigate those
risks and, where necessary, stop the processing;
(d) any personal data to be processed in the context of the sandbox are in a
functionally separate, isolated and protected data processing environment
under the control of the participants and only authorised persons have access to
that data;
(e) any personal data processed are not be transmitted, transferred or otherwise
accessed by other parties;
(f) any processing of personal data in the context of the sandbox do not lead to
measures or decisions affecting the data subjects;
(g) any personal data processed in the context of the sandbox are deleted once the
participation in the sandbox has terminated or the personal data has reached the
end of its retention period;
(h) the logs of the processing of personal data in the context of the sandbox are
kept for the duration of the participation in the sandbox and 1 year after its
termination, solely for the purpose of and only as long as necessary for
fulfilling accountability and documentation obligations under this Article or
other application Union or Member States legislation;
(i) complete and detailed description of the process and rationale behind the
training, testing and validation of the AI system is kept together with the
testing results as part of the technical documentation in Annex IV;
(j) a short summary of the AI project developed in the sandbox, its objectives and
expected results published on the website of the competent authorities.
2. Paragraph 1 is without prejudice to Union or Member States legislation excluding
processing for other purposes than those explicitly mentioned in that legislation.
Article 55
Measures for small-scale providers and users
1. Member States shall undertake the following actions:
(a) provide small-scale providers and start-ups with priority access to the AI
regulatory sandboxes to the extent that they fulfil the eligibility conditions;
(b) organise specific awareness raising activities about the application of this
Regulation tailored to the needs of the small-scale providers and users;
(c) where appropriate, establish a dedicated channel for communication with
small-scale providers and user and other innovators to provide guidance and
respond to queries about the implementation of this Regulation.
2. The specific interests and needs of the small-scale providers shall be taken into
account when setting the fees for conformity assessment under Article 43, reducing
those fees proportionately to their size and market size.
EN 72 EN
TITLE VI
GOVERNANCE
CHAPTER 1
EUROPEAN ARTIFICIAL INTELLIGENCE BOARD
Article 56
Establishment of the European Artificial Intelligence Board
1. A ‘European Artificial Intelligence Board’ (the ‘Board’) is established.
2. The Board shall provide advice and assistance to the Commission in order to:
(a) contribute to the effective cooperation of the national supervisory authorities
and the Commission with regard to matters covered by this Regulation;
(b) coordinate and contribute to guidance and analysis by the Commission and the
national supervisory authorities and other competent authorities on emerging
issues across the internal market with regard to matters covered by this
Regulation;
(c) assist the national supervisory authorities and the Commission in ensuring the
consistent application of this Regulation.
Article 57
Structure of the Board
1. The Board shall be composed of the national supervisory authorities, who shall be
represented by the head or equivalent high-level official of that authority, and the
European Data Protection Supervisor. Other national authorities may be invited to
the meetings, where the issues discussed are of relevance for them.
2. The Board shall adopt its rules of procedure by a simple majority of its members,
following the consent of the Commission. The rules of procedure shall also contain
the operational aspects related to the execution of the Board’s tasks as listed in
Article 58. The Board may establish sub-groups as appropriate for the purpose of
examining specific questions.
3. The Board shall be chaired by the Commission. The Commission shall convene the
meetings and prepare the agenda in accordance with the tasks of the Board pursuant
to this Regulation and with its rules of procedure. The Commission shall provide
administrative and analytical support for the activities of the Board pursuant to this
Regulation.
4. The Board may invite external experts and observers to attend its meetings and may
hold exchanges with interested third parties to inform its activities to an appropriate
extent. To that end the Commission may facilitate exchanges between the Board and
other Union bodies, offices, agencies and advisory groups.
EN 73 EN
Article 58
Tasks of the Board
When providing advice and assistance to the Commission in the context of Article 56(2), the
Board shall in particular:
(a) collect and share expertise and best practices among Member States;
(b) contribute to uniform administrative practices in the Member States, including for
the functioning of regulatory sandboxes referred to in Article 53;
(c) issue opinions, recommendations or written contributions on matters related to the
implementation of this Regulation, in particular
(i) on technical specifications or existing standards regarding the requirements set
out in Title III, Chapter 2,
(ii) on the use of harmonised standards or common specifications referred to in
Articles 40 and 41,
(iii) on the preparation of guidance documents, including the guidelines concerning
the setting of administrative fines referred to in Article 71.
CHAPTER 2
NATIONAL COMPETENT AUTHORITIES
Article 59
Designation of national competent authorities
1. National competent authorities shall be established or designated by each Member
State for the purpose of ensuring the application and implementation of this
Regulation. National competent authorities shall be organised so as to safeguard the
objectivity and impartiality of their activities and tasks.
2. Each Member State shall designate a national supervisory authority among the
national competent authorities. The national supervisory authority shall act as
notifying authority and market surveillance authority unless a Member State has
organisational and administrative reasons to designate more than one authority.
3. Member States shall inform the Commission of their designation or designations and,
where applicable, the reasons for designating more than one authority.
4. Member States shall ensure that national competent authorities are provided with
adequate financial and human resources to fulfil their tasks under this Regulation. In
particular, national competent authorities shall have a sufficient number of personnel
permanently available whose competences and expertise shall include an in-depth
understanding of artificial intelligence technologies, data and data computing,
fundamental rights, health and safety risks and knowledge of existing standards and
legal requirements.
5. Member States shall report to the Commission on an annual basis on the status of the
financial and human resources of the national competent authorities with an
assessment of their adequacy. The Commission shall transmit that information to the
Board for discussion and possible recommendations.
6. The Commission shall facilitate the exchange of experience between national
competent authorities.
EN 74 EN
7. National competent authorities may provide guidance and advice on the
implementation of this Regulation, including to small-scale providers. Whenever
national competent authorities intend to provide guidance and advice with regard to
an AI system in areas covered by other Union legislation, the competent national
authorities under that Union legislation shall be consulted, as appropriate. Member
States may also establish one central contact point for communication with operators.
8. When Union institutions, agencies and bodies fall within the scope of this
Regulation, the European Data Protection Supervisor shall act as the competent
authority for their supervision.
TITLE VII
EU DATABASE FOR STAND-ALONE HIGH-RISK AI SYSTEMS
Article 60
EU database for stand-alone high-risk AI systems
1. The Commission shall, in collaboration with the Member States, set up and maintain
a EU database containing information referred to in paragraph 2 concerning high-risk
AI systems referred to in Article 6(2) which are registered in accordance with Article
51.
2. The data listed in Annex VIII shall be entered into the EU database by the providers.
The Commission shall provide them with technical and administrative support.
3. Information contained in the EU database shall be accessible to the public.
4. The EU database shall contain personal data only insofar as necessary for collecting
and processing information in accordance with this Regulation. That information
shall include the names and contact details of natural persons who are responsible for
registering the system and have the legal authority to represent the provider.
5. The Commission shall be the controller of the EU database. It shall also ensure to
providers adequate technical and administrative support.
TITLE VIII
POST-MARKET MONITORING, INFORMATION SHARING, MARKET
SURVEILLANCE
CHAPTER 1
POST-MARKET MONITORING
Article 61
Post-market monitoring by providers and post-market monitoring plan for high-risk AI
systems
1. Providers shall establish and document a post-market monitoring system in a manner
that is proportionate to the nature of the artificial intelligence technologies and the
risks of the high-risk AI system.
EN 75 EN
2. The post-market monitoring system shall actively and systematically collect,
document and analyse relevant data provided by users or collected through other
sources on the performance of high-risk AI systems throughout their lifetime, and
allow the provider to evaluate the continuous compliance of AI systems with the
requirements set out in Title III, Chapter 2.
3. The post-market monitoring system shall be based on a post-market monitoring plan.
The post-market monitoring plan shall be part of the technical documentation
referred to in Annex IV. The Commission shall adopt an implementing act laying
down detailed provisions establishing a template for the post-market monitoring plan
and the list of elements to be included in the plan.
4. For high-risk AI systems covered by the legal acts referred to in Annex II, where a
post-market monitoring system and plan is already established under that legislation,
the elements described in paragraphs 1, 2 and 3 shall be integrated into that system
and plan as appropriate.
The first subparagraph shall also apply to high-risk AI systems referred to in point
5(b) of Annex III placed on the market or put into service by credit institutions
regulated by Directive 2013/36/EU.
CHAPTER 2
SHARING OF INFORMATION ON INCIDENTS AND MALFUNCTIONING
Article 62
Reporting of serious incidents and of malfunctioning
1. Providers of high-risk AI systems placed on the Union market shall report any
serious incident or any malfunctioning of those systems which constitutes a breach of
obligations under Union law intended to protect fundamental rights to the market
surveillance authorities of the Member States where that incident or breach occurred.
Such notification shall be made immediately after the provider has established a
causal link between the AI system and the incident or malfunctioning or the
reasonable likelihood of such a link, and, in any event, not later than 15 days after the
providers becomes aware of the serious incident or of the malfunctioning.
2. Upon receiving a notification related to a breach of obligations under Union law
intended to protect fundamental rights, the market surveillance authority shall inform
the national public authorities or bodies referred to in Article 64(3). The Commission
shall develop dedicated guidance to facilitate compliance with the obligations set out
in paragraph 1. That guidance shall be issued 12 months after the entry into force of
this Regulation, at the latest.
3. For high-risk AI systems referred to in point 5(b) of Annex III which are placed on
the market or put into service by providers that are credit institutions regulated by
Directive 2013/36/EU and for high-risk AI systems which are safety components of
devices, or are themselves devices, covered by Regulation (EU) 2017/745 and
Regulation (EU) 2017/746, the notification of serious incidents or malfunctioning
shall be limited to those that that constitute a breach of obligations under Union law
intended to protect fundamental rights.
EN 76 EN
CHAPTER 3
ENFORCEMENT
Article 63
Market surveillance and control of AI systems in the Union market
1. Regulation (EU) 2019/1020 shall apply to AI systems covered by this Regulation.
However, for the purpose of the effective enforcement of this Regulation:
(a) any reference to an economic operator under Regulation (EU) 2019/1020 shall
be understood as including all operators identified in Title III, Chapter 3 of this
Regulation;
(b) any reference to a product under Regulation (EU) 2019/1020 shall be
understood as including all AI systems falling within the scope of this
Regulation.
2. The national supervisory authority shall report to the Commission on a regular basis
the outcomes of relevant market surveillance activities. The national supervisory
authority shall report, without delay, to the Commission and relevant national
competition authorities any information identified in the course of market
surveillance activities that may be of potential interest for the application of Union
law on competition rules.
3. For high-risk AI systems, related to products to which legal acts listed in Annex II,
section A apply, the market surveillance authority for the purposes of this Regulation
shall be the authority responsible for market surveillance activities designated under
those legal acts.
4. For AI systems placed on the market, put into service or used by financial institutions
regulated by Union legislation on financial services, the market surveillance
authority for the purposes of this Regulation shall be the relevant authority
responsible for the financial supervision of those institutions under that legislation.
5. For AI systems listed in point 1(a) in so far as the systems are used for law
enforcement purposes, points 6 and 7 of Annex III, Member States shall designate as
market surveillance authorities for the purposes of this Regulation either the
competent data protection supervisory authorities under Directive (EU) 2016/680, or
Regulation 2016/679 or the national competent authorities supervising the activities
of the law enforcement, immigration or asylum authorities putting into service or
using those systems.
6. Where Union institutions, agencies and bodies fall within the scope of this
Regulation, the European Data Protection Supervisor shall act as their market
surveillance authority.
7. Member States shall facilitate the coordination between market surveillance
authorities designated under this Regulation and other relevant national authorities or
bodies which supervise the application of Union harmonisation legislation listed in
Annex II or other Union legislation that might be relevant for the high-risk AI
systems referred to in Annex III.
EN 77 EN
Article 64
Access to data and documentation
1. Access to data and documentation in the context of their activities, the market
surveillance authorities shall be granted full access to the training, validation and
testing datasets used by the provider, including through application programming
interfaces (‘API’) or other appropriate technical means and tools enabling remote
access.
2. Where necessary to assess the conformity of the high-risk AI system with the
requirements set out in Title III, Chapter 2 and upon a reasoned request, the market
surveillance authorities shall be granted access to the source code of the AI system.
3. National public authorities or bodies which supervise or enforce the respect of
obligations under Union law protecting fundamental rights in relation to the use of
high-risk AI systems referred to in Annex III shall have the power to request and
access any documentation created or maintained under this Regulation when access
to that documentation is necessary for the fulfilment of the competences under their
mandate within the limits of their jurisdiction. The relevant public authority or body
shall inform the market surveillance authority of the Member State concerned of any
such request.
4. By 3 months after the entering into force of this Regulation, each Member State shall
identify the public authorities or bodies referred to in paragraph 3 and make a list
publicly available on the website of the national supervisory authority. Member
States shall notify the list to the Commission and all other Member States and keep
the list up to date.
5. Where the documentation referred to in paragraph 3 is insufficient to ascertain
whether a breach of obligations under Union law intended to protect fundamental
rights has occurred, the public authority or body referred to paragraph 3 may make a
reasoned request to the market surveillance authority to organise testing of the high-
risk AI system through technical means. The market surveillance authority shall
organise the testing with the close involvement of the requesting public authority or
body within reasonable time following the request.
6. Any information and documentation obtained by the national public authorities or
bodies referred to in paragraph 3 pursuant to the provisions of this Article shall be
treated in compliance with the confidentiality obligations set out in Article 70.
Article 65
Procedure for dealing with AI systems presenting a risk at national level
1. AI systems presenting a risk shall be understood as a product presenting a risk
defined in Article 3, point 19 of Regulation (EU) 2019/1020 insofar as risks to the
health or safety or to the protection of fundamental rights of persons are concerned.
2. Where the market surveillance authority of a Member State has sufficient reasons to
consider that an AI system presents a risk as referred to in paragraph 1, they shall
carry out an evaluation of the AI system concerned in respect of its compliance with
all the requirements and obligations laid down in this Regulation. When risks to the
protection of fundamental rights are present, the market surveillance authority shall
also inform the relevant national public authorities or bodies referred to in Article
64(3). The relevant operators shall cooperate as necessary with the market
EN 78 EN
surveillance authorities and the other national public authorities or bodies referred to
in Article 64(3).
Where, in the course of that evaluation, the market surveillance authority finds that
the AI system does not comply with the requirements and obligations laid down in
this Regulation, it shall without delay require the relevant operator to take all
appropriate corrective actions to bring the AI system into compliance, to withdraw
the AI system from the market, or to recall it within a reasonable period,
commensurate with the nature of the risk, as it may prescribe.
The market surveillance authority shall inform the relevant notified body
accordingly. Article 18 of Regulation (EU) 2019/1020 shall apply to the measures
referred to in the second subparagraph.
3. Where the market surveillance authority considers that non-compliance is not
restricted to its national territory, it shall inform the Commission and the other
Member States of the results of the evaluation and of the actions which it has
required the operator to take.
4. The operator shall ensure that all appropriate corrective action is taken in respect of
all the AI systems concerned that it has made available on the market throughout the
Union.
5. Where the operator of an AI system does not take adequate corrective action within
the period referred to in paragraph 2, the market surveillance authority shall take all
appropriate provisional measures to prohibit or restrict the AI system's being made
available on its national market, to withdraw the product from that market or to recall
it. That authority shall inform the Commission and the other Member States, without
delay, of those measures.
6. The information referred to in paragraph 5 shall include all available details, in
particular the data necessary for the identification of the non-compliant AI system,
the origin of the AI system, the nature of the non-compliance alleged and the risk
involved, the nature and duration of the national measures taken and the arguments
put forward by the relevant operator. In particular, the market surveillance authorities
shall indicate whether the non-compliance is due to one or more of the following:
(a) a failure of the AI system to meet requirements set out in Title III, Chapter 2;
(b) shortcomings in the harmonised standards or common specifications referred to
in Articles 40 and 41 conferring a presumption of conformity.
7. The market surveillance authorities of the Member States other than the market
surveillance authority of the Member State initiating the procedure shall without
delay inform the Commission and the other Member States of any measures adopted
and of any additional information at their disposal relating to the non-compliance of
the AI system concerned, and, in the event of disagreement with the notified national
measure, of their objections.
8. Where, within three months of receipt of the information referred to in paragraph 5,
no objection has been raised by either a Member State or the Commission in respect
of a provisional measure taken by a Member State, that measure shall be deemed
justified. This is without prejudice to the procedural rights of the concerned operator
in accordance with Article 18 of Regulation (EU) 2019/1020.
EN 79 EN
9. The market surveillance authorities of all Member States shall ensure that
appropriate restrictive measures are taken in respect of the product concerned, such
as withdrawal of the product from their market, without delay.
Article 66
Union safeguard procedure
1. Where, within three months of receipt of the notification referred to in Article 65(5),
objections are raised by a Member State against a measure taken by another Member
State, or where the Commission considers the measure to be contrary to Union law,
the Commission shall without delay enter into consultation with the relevant Member
State and operator or operators and shall evaluate the national measure. On the basis
of the results of that evaluation, the Commission shall decide whether the national
measure is justified or not within 9 months from the notification referred to in Article
65(5) and notify such decision to the Member State concerned.
2. If the national measure is considered justified, all Member States shall take the
measures necessary to ensure that the non-compliant AI system is withdrawn from
their market, and shall inform the Commission accordingly. If the national measure
is considered unjustified, the Member State concerned shall withdraw the measure.
3. Where the national measure is considered justified and the non-compliance of the AI
system is attributed to shortcomings in the harmonised standards or common
specifications referred to in Articles 40 and 41 of this Regulation, the Commission
shall apply the procedure provided for in Article 11 of Regulation (EU) No
1025/2012.
Article 67
Compliant AI systems which present a risk
1. Where, having performed an evaluation under Article 65, the market surveillance
authority of a Member State finds that although an AI system is in compliance with
this Regulation, it presents a risk to the health or safety of persons, to the compliance
with obligations under Union or national law intended to protect fundamental rights
or to other aspects of public interest protection, it shall require the relevant operator
to take all appropriate measures to ensure that the AI system concerned, when placed
on the market or put into service, no longer presents that risk, to withdraw the AI
system from the market or to recall it within a reasonable period, commensurate with
the nature of the risk, as it may prescribe.
2. The provider or other relevant operators shall ensure that corrective action is taken in
respect of all the AI systems concerned that they have made available on the market
throughout the Union within the timeline prescribed by the market surveillance
authority of the Member State referred to in paragraph 1.
3. The Member State shall immediately inform the Commission and the other Member
States. That information shall include all available details, in particular the data
necessary for the identification of the AI system concerned, the origin and the supply
chain of the AI system, the nature of the risk involved and the nature and duration of
the national measures taken.
4. The Commission shall without delay enter into consultation with the Member States
and the relevant operator and shall evaluate the national measures taken. On the basis
EN 80 EN
of the results of that evaluation, the Commission shall decide whether the measure is
justified or not and, where necessary, propose appropriate measures.
5. The Commission shall address its decision to the Member States.
Article 68
Formal non-compliance
1. Where the market surveillance authority of a Member State makes one of the
following findings, it shall require the relevant provider to put an end to the non-
compliance concerned:
(a) the conformity marking has been affixed in violation of Article 49;
(b) the conformity marking has not been affixed;
(c) the EU declaration of conformity has not been drawn up;
(d) the EU declaration of conformity has not been drawn up correctly;
(e) the identification number of the notified body, which is involved in the
conformity assessment procedure, where applicable, has not been affixed;
2. Where the non-compliance referred to in paragraph 1 persists, the Member State
concerned shall take all appropriate measures to restrict or prohibit the high-risk AI
system being made available on the market or ensure that it is recalled or withdrawn
from the market.
TITLE IX
CODES OF CONDUCT
Article 69
Codes of conduct
1. The Commission and the Member States shall encourage and facilitate the drawing
up of codes of conduct intended to foster the voluntary application to AI systems
other than high-risk AI systems of the requirements set out in Title III, Chapter 2 on
the basis of technical specifications and solutions that are appropriate means of
ensuring compliance with such requirements in light of the intended purpose of the
systems.
2. The Commission and the Board shall encourage and facilitate the drawing up of
codes of conduct intended to foster the voluntary application to AI systems of
requirements related for example to environmental sustainability, accessibility for
persons with a disability, stakeholders participation in the design and development of
the AI systems and diversity of development teams on the basis of clear objectives
and key performance indicators to measure the achievement of those objectives.
3. Codes of conduct may be drawn up by individual providers of AI systems or by
organisations representing them or by both, including with the involvement of users
and any interested stakeholders and their representative organisations. Codes of
conduct may cover one or more AI systems taking into account the similarity of the
intended purpose of the relevant systems.
EN 81 EN
4. The Commission and the Board shall take into account the specific interests and
needs of the small-scale providers and start-ups when encouraging and facilitating
the drawing up of codes of conduct.
TITLE X
CONFIDENTIALITY AND PENALTIES
Article 70
Confidentiality
1. National competent authorities and notified bodies involved in the application of this
Regulation shall respect the confidentiality of information and data obtained in
carrying out their tasks and activities in such a manner as to protect, in particular:
(a) intellectual property rights, and confidential business information or trade
secrets of a natural or legal person, including source code, except the cases
referred to in Article 5 of Directive 2016/943 on the protection of undisclosed
know-how and business information (trade secrets) against their unlawful
acquisition, use and disclosure apply.
(b) the effective implementation of this Regulation, in particular for the purpose of
inspections, investigations or audits;(c) public and national security interests;
(c) integrity of criminal or administrative proceedings.
2. Without prejudice to paragraph 1, information exchanged on a confidential basis
between the national competent authorities and between national competent
authorities and the Commission shall not be disclosed without the prior consultation
of the originating national competent authority and the user when high-risk AI
systems referred to in points 1, 6 and 7 of Annex III are used by law enforcement,
immigration or asylum authorities, when such disclosure would jeopardise public and
national security interests.
When the law enforcement, immigration or asylum authorities are providers of high-
risk AI systems referred to in points 1, 6 and 7 of Annex III, the technical
documentation referred to in Annex IV shall remain within the premises of those
authorities. Those authorities shall ensure that the market surveillance authorities
referred to in Article 63(5) and (6), as applicable, can, upon request, immediately
access the documentation or obtain a copy thereof. Only staff of the market
surveillance authority holding the appropriate level of security clearance shall be
allowed to access that documentation or any copy thereof.
3. Paragraphs 1 and 2 shall not affect the rights and obligations of the Commission,
Member States and notified bodies with regard to the exchange of information and
the dissemination of warnings, nor the obligations of the parties concerned to provide
information under criminal law of the Member States.
4. The Commission and Member States may exchange, where necessary, confidential
information with regulatory authorities of third countries with which they have
concluded bilateral or multilateral confidentiality arrangements guaranteeing an
adequate level of confidentiality.
EN 82 EN
Article 71
Penalties
1. In compliance with the terms and conditions laid down in this Regulation, Member
States shall lay down the rules on penalties, including administrative fines, applicable
to infringements of this Regulation and shall take all measures necessary to ensure
that they are properly and effectively implemented. The penalties provided for shall
be effective, proportionate, and dissuasive. They shall take into particular account the
interests of small-scale providers and start-up and their economic viability.
2. The Member States shall notify the Commission of those rules and of those measures
and shall notify it, without delay, of any subsequent amendment affecting them.
3. The following infringements shall be subject to administrative fines of up to 30 000
000 EUR or, if the offender is company, up to 6 % of its total worldwide annual
turnover for the preceding financial year, whichever is higher:
(a) non-compliance with the prohibition of the artificial intelligence practices
referred to in Article 5;
(b) non-compliance of the AI system with the requirements laid down in Article
10.
4. The non-compliance of the AI system with any requirements or obligations under
this Regulation, other than those laid down in Articles 5 and 10, shall be subject to
administrative fines of up to 20 000 000 EUR or, if the offender is a company, up to
4 % of its total worldwide annual turnover for the preceding financial year,
whichever is higher.
5. The supply of incorrect, incomplete or misleading information to notified bodies and
national competent authorities in reply to a request shall be subject to administrative
fines of up to 10 000 000 EUR or, if the offender is a company, up to 2 % of its total
worldwide annual turnover for the preceding financial year, whichever is higher.
6. When deciding on the amount of the administrative fine in each individual case, all
relevant circumstances of the specific situation shall be taken into account and due
regard shall be given to the following:
(a) the nature, gravity and duration of the infringement and of its consequences;
(b) whether administrative fines have been already applied by other market
surveillance authorities to the same operator for the same infringement.
(c) the size and market share of the operator committing the infringement;
7. Each Member State shall lay down rules on whether and to what extent
administrative fines may be imposed on public authorities and bodies established in
that Member State.
8. Depending on the legal system of the Member States, the rules on administrative
fines may be applied in such a manner that the fines are imposed by competent
national courts of other bodies as applicable in those Member States. The application
of such rules in those Member States shall have an equivalent effect.
EN 83 EN
Article 72
Administrative fines on Union institutions, agencies and bodies
1. The European Data Protection Supervisor may impose administrative fines on Union
institutions, agencies and bodies falling within the scope of this Regulation. When
deciding whether to impose an administrative fine and deciding on the amount of the
administrative fine in each individual case, all relevant circumstances of the specific
situation shall be taken into account and due regard shall be given to the following:
(a) the nature, gravity and duration of the infringement and of its consequences;
(b) the cooperation with the European Data Protection Supervisor in order to
remedy the infringement and mitigate the possible adverse effects of the
infringement, including compliance with any of the measures previously
ordered by the European Data Protection Supervisor against the Union
institution or agency or body concerned with regard to the same subject matter;
(c) any similar previous infringements by the Union institution, agency or body;
2. The following infringements shall be subject to administrative fines of up to 500 000
EUR:
(a) non-compliance with the prohibition of the artificial intelligence practices
referred to in Article 5;
(b) non-compliance of the AI system with the requirements laid down in Article
10.
3. The non-compliance of the AI system with any requirements or obligations under
this Regulation, other than those laid down in Articles 5 and 10, shall be subject to
administrative fines of up to 250 000 EUR.
4. Before taking decisions pursuant to this Article, the European Data Protection
Supervisor shall give the Union institution, agency or body which is the subject of
the proceedings conducted by the European Data Protection Supervisor the
opportunity of being heard on the matter regarding the possible infringement. The
European Data Protection Supervisor shall base his or her decisions only on elements
and circumstances on which the parties concerned have been able to comment.
Complainants, if any, shall be associated closely with the proceedings.
5. The rights of defense of the parties concerned shall be fully respected in the
proceedings. They shall be entitled to have access to the European Data Protection
Supervisor’s file, subject to the legitimate interest of individuals or undertakings in
the protection of their personal data or business secrets.
6. Funds collected by imposition of fines in this Article shall be the income of the
general budget of the Union.
TITLE XI
DELEGATION OF POWER AND COMMITTEE PROCEDURE
Article 73
Exercise of the delegation
1. The power to adopt delegated acts is conferred on the Commission subject to the
conditions laid down in this Article.
EN 84 EN
2. The delegation of power referred to in Article 4, Article 7(1), Article 11(3), Article
43(5) and (6) and Article 48(5) shall be conferred on the Commission for an
indeterminate period of time from [entering into force of the Regulation].
3. The delegation of power referred to in Article 4, Article 7(1), Article 11(3), Article
43(5) and (6) and Article 48(5) may be revoked at any time by the European
Parliament or by the Council. A decision of revocation shall put an end to the
delegation of power specified in that decision. It shall take effect the day following
that of its publication in the Official Journal of the European Union or at a later date
specified therein. It shall not affect the validity of any delegated acts already in force.
4. As soon as it adopts a delegated act, the Commission shall notify it simultaneously to
the European Parliament and to the Council.
5. Any delegated act adopted pursuant to Article 4, Article 7(1), Article 11(3), Article
43(5) and (6) and Article 48(5) shall enter into force only if no objection has been
expressed by either the European Parliament or the Council within a period of three
months of notification of that act to the European Parliament and the Council or if,
before the expiry of that period, the European Parliament and the Council have both
informed the Commission that they will not object. That period shall be extended by
three months at the initiative of the European Parliament or of the Council.
Article 74
Committee procedure
1. The Commission shall be assisted by a committee. That committee shall be a
committee within the meaning of Regulation (EU) No 182/2011.
2. Where reference is made to this paragraph, Article 5 of Regulation (EU) No
182/2011 shall apply.
TITLE XII
FINAL PROVISIONS
Article 75
Amendment to Regulation (EC) No 300/2008
In Article 4(3) of Regulation (EC) No 300/2008, the following subparagraph is added:
“When adopting detailed measures related to technical specifications and procedures for
approval and use of security equipment concerning Artificial Intelligence systems in the
meaning of Regulation (EU) YYY/XX [on Artificial Intelligence] of the European Parliament
and of the Council*, the requirements set out in Chapter 2, Title III of that Regulation shall be
taken into account.”
__________
* Regulation (EU) YYY/XX [on Artificial Intelligence] (OJ …).”
Article 76
Amendment to Regulation (EU) No 167/2013
In Article 17(5) of Regulation (EU) No 167/2013, the following subparagraph is added:
EN 85 EN
“When adopting delegated acts pursuant to the first subparagraph concerning artificial
intelligence systems which are safety components in the meaning of Regulation (EU)
YYY/XX [on Artificial Intelligence] of the European Parliament and of the Council*, the
requirements set out in Title III, Chapter 2 of that Regulation shall be taken into account.
__________
* Regulation (EU) YYY/XX [on Artificial Intelligence] (OJ …).”
Article 77
Amendment to Regulation (EU) No 168/2013
In Article 22(5) of Regulation (EU) No 168/2013, the following subparagraph is added:
“When adopting delegated acts pursuant to the first subparagraph concerning Artificial
Intelligence systems which are safety components in the meaning of Regulation (EU)
YYY/XX on [Artificial Intelligence] of the European Parliament and of the Council*, the
requirements set out in Title III, Chapter 2 of that Regulation shall be taken into account.
__________
* Regulation (EU) YYY/XX [on Artificial Intelligence] (OJ …).”
Article 78
Amendment to Directive 2014/90/EU
In Article 8 of Directive 2014/90/EU, the following paragraph is added:
“4. For Artificial Intelligence systems which are safety components in the meaning of
Regulation (EU) YYY/XX [on Artificial Intelligence] of the European Parliament and of the
Council*, when carrying out its activities pursuant to paragraph 1 and when adopting
technical specifications and testing standards in accordance with paragraphs 2 and 3, the
Commission shall take into account the requirements set out in Title III, Chapter 2 of that
Regulation.
__________
* Regulation (EU) YYY/XX [on Artificial Intelligence] (OJ …).”.
Article 79
Amendment to Directive (EU) 2016/797
In Article 5 of Directive (EU) 2016/797, the following paragraph is added:
“12. When adopting delegated acts pursuant to paragraph 1 and implementing acts pursuant to
paragraph 11 concerning Artificial Intelligence systems which are safety components in the
meaning of Regulation (EU) YYY/XX [on Artificial Intelligence] of the European Parliament
and of the Council*, the requirements set out in Title III, Chapter 2 of that Regulation shall be
taken into account.
__________
* Regulation (EU) YYY/XX [on Artificial Intelligence] (OJ …).”.
EN 86 EN
Article 80
Amendment to Regulation (EU) 2018/858
In Article 5 of Regulation (EU) 2018/858 the following paragraph is added:
“4. When adopting delegated acts pursuant to paragraph 3 concerning Artificial Intelligence
systems which are safety components in the meaning of Regulation (EU) YYY/XX [on
Artificial Intelligence] of the European Parliament and of the Council *, the requirements set
out in Title III, Chapter 2 of that Regulation shall be taken into account.
__________
* Regulation (EU) YYY/XX [on Artificial Intelligence] (OJ …).”.
Article 81
Amendment to Regulation (EU) 2018/1139
Regulation (EU) 2018/1139 is amended as follows:
(1) In Article 17, the following paragraph is added:
“3. Without prejudice to paragraph 2, when adopting implementing acts pursuant to paragraph
1 concerning Artificial Intelligence systems which are safety components in the meaning of
Regulation (EU) YYY/XX [on Artificial Intelligence] of the European Parliament and of the
Council*, the requirements set out in Title III, Chapter 2 of that Regulation shall be taken into
account.
__________
* Regulation (EU) YYY/XX [on Artificial Intelligence] (OJ …).”
(2) In Article 19, the following paragraph is added:
“4. When adopting delegated acts pursuant to paragraphs 1 and 2 concerning Artificial
Intelligence systems which are safety components in the meaning of Regulation (EU)
YYY/XX [on Artificial Intelligence], the requirements set out in Title III, Chapter 2 of that
Regulation shall be taken into account.”
(3) In Article 43, the following paragraph is added:
“4. When adopting implementing acts pursuant to paragraph 1 concerning Artificial
Intelligence systems which are safety components in the meaning of Regulation (EU)
YYY/XX [on Artificial Intelligence], the requirements set out in Title III, Chapter 2 of that
Regulation shall be taken into account.”
(4) In Article 47, the following paragraph is added:
“3. When adopting delegated acts pursuant to paragraphs 1 and 2 concerning Artificial
Intelligence systems which are safety components in the meaning of Regulation (EU)
YYY/XX [on Artificial Intelligence], the requirements set out in Title III, Chapter 2 of that
Regulation shall be taken into account.”
(5) In Article 57, the following paragraph is added:
“When adopting those implementing acts concerning Artificial Intelligence systems which are
safety components in the meaning of Regulation (EU) YYY/XX [on Artificial Intelligence],
the requirements set out in Title III, Chapter 2 of that Regulation shall be taken into account.”
(6) In Article 58, the following paragraph is added:
EN 87 EN
“3. When adopting delegated acts pursuant to paragraphs 1 and 2 concerning Artificial
Intelligence systems which are safety components in the meaning of Regulation (EU)
YYY/XX [on Artificial Intelligence] , the requirements set out in Title III, Chapter 2 of that
Regulation shall be taken into account.”.
Article 82
Amendment to Regulation (EU) 2019/2144
In Article 11 of Regulation (EU) 2019/2144, the following paragraph is added:
“3. When adopting the implementing acts pursuant to paragraph 2, concerning artificial
intelligence systems which are safety components in the meaning of Regulation (EU)
YYY/XX [on Artificial Intelligence] of the European Parliament and of the Council*, the
requirements set out in Title III, Chapter 2 of that Regulation shall be taken into account.
__________
* Regulation (EU) YYY/XX [on Artificial Intelligence] (OJ …).”.
Article 83
AI systems already placed on the market or put into service
1. This Regulation shall not apply to the AI systems which are components of the large-
scale IT systems established by the legal acts listed in Annex IX that have been
placed on the market or put into service before [12 months after the date of
application of this Regulation referred to in Article 85(2)], unless the replacement or
amendment of those legal acts leads to a significant change in the design or intended
purpose of the AI system or AI systems concerned.
The requirements laid down in this Regulation shall be taken into account, where
applicable, in the evaluation of each large-scale IT systems established by the legal
acts listed in Annex IX to be undertaken as provided for in those respective acts.
2. This Regulation shall apply to the high-risk AI systems, other than the ones referred
to in paragraph 1, that have been placed on the market or put into service before
[date of application of this Regulation referred to in Article 85(2)], only if, from that
date, those systems are subject to significant changes in their design or intended
purpose.
Article 84
Evaluation and review
1. The Commission shall assess the need for amendment of the list in Annex III once a
year following the entry into force of this Regulation.
2. By [three years after the date of application of this Regulation referred to in Article
85(2)] and every four years thereafter, the Commission shall submit a report on the
evaluation and review of this Regulation to the European Parliament and to the
Council. The reports shall be made public.
3. The reports referred to in paragraph 2 shall devote specific attention to the following:
(a) the status of the financial and human resources of the national competent
authorities in order to effectively perform the tasks assigned to them under this
Regulation;
EN 88 EN
(b) the state of penalties, and notably administrative fines as referred to in Article
71(1), applied by Member States to infringements of the provisions of this
Regulation.
4. Within [three years after the date of application of this Regulation referred to in
Article 85(2)] and every four years thereafter, the Commission shall evaluate the
impact and effectiveness of codes of conduct to foster the application of the
requirements set out in Title III, Chapter 2 and possibly other additional requirements
for AI systems other than high-risk AI systems.
5. For the purpose of paragraphs 1 to 4 the Board, the Member States and national
competent authorities shall provide the Commission with information on its request.
6. In carrying out the evaluations and reviews referred to in paragraphs 1 to 4 the
Commission shall take into account the positions and findings of the Board, of the
European Parliament, of the Council, and of other relevant bodies or sources.
7. The Commission shall, if necessary, submit appropriate proposals to amend this
Regulation, in particular taking into account developments in technology and in the
light of the state of progress in the information society.
Article 85
Entry into force and application
1. This Regulation shall enter into force on the twentieth day following that of its
publication in the Official Journal of the European Union.
2. This Regulation shall apply from [24 months following the entering into force of the
Regulation].
3. By way of derogation from paragraph 2:
(a) Title III, Chapter 4 and Title VI shall apply from [three months following the
entry into force of this Regulation];
(b) Article 71 shall apply from [twelve months following the entry into force of
this Regulation].
This Regulation shall be binding in its entirety and directly applicable in all Member States.
Done at Brussels,
For the European Parliament For the Council
The President The President
EN 89 EN
LEGISLATIVE FINANCIAL STATEMENT
1. FRAMEWORK OF THE PROPOSAL/INITIATIVE
1.1. Title of the proposal/initiative
1.2. Policy area(s) concerned
1.3. The proposal/initiative relates to:
1.4. Objective(s)
1.4.1. General objective(s)
1.4.2. Specific objective(s)
1.4.3. Expected result(s) and impact
1.4.4. Indicators of performance
1.5. Grounds for the proposal/initiative
1.5.1. Requirement(s) to be met in the short or long term including a detailed
timeline for roll-out of the implementation of the initiative
1.5.2. Added value of Union involvement (it may result from different factors, e.g.
coordination gains, legal certainty, greater effectiveness or complementarities). For
the purposes of this point 'added value of Union involvement' is the value resulting
from Union intervention which is additional to the value that would have been
otherwise created by Member States alone
1.5.3. Lessons learned from similar experiences in the past
1.5.4. Compatibility with the Multiannual Financial Framework and possible
synergies with other appropriate instruments
1.5.5 Assessment of the different available financing options, including scope for
redeployment
1.6. Duration and financial impact of the proposal/initiative
1.7. Management mode(s) planned
2. MANAGEMENT MEASURES
2.1. Monitoring and reporting rules
2.2. Management and control system
2.2.1. Justification of the management mode(s), the funding implementation
mechanism(s), the payment modalities and the control strategy proposed
2.2.2. Information concerning the risks identified and the internal control system(s)
set up to mitigate them
2.2.3. Estimation and justification of the cost-effectiveness of the controls (ratio of
"control costs ÷ value of the related funds managed"), and assessment of the
expected levels of risk of error (at payment & at closure)
EN 90 EN
2.3. Measures to prevent fraud and irregularities
3. ESTIMATED FINANCIAL IMPACT OF THE PROPOSAL/INITIATIVE
3.1. Heading(s) of the multiannual financial framework and expenditure budget
line(s) affected
3.2. Estimated financial impact of the proposal on appropriations
3.2.1. Summary of estimated impact on operational appropriations
3.2.2. Estimated output funded with operational appropriations
3.2.3. Summary of estimated impact on administrative appropriations
3.2.4. Compatibility with the current multiannual financial framework
3.2.5. Third-party contributions
3.3. Estimated impact on revenue
EN 91 EN
LEGISLATIVE FINANCIAL STATEMENT
1. FRAMEWORK OF THE PROPOSAL/INITIATIVE
1.1. Title of the proposal/initiative
Regulation of the European Parliament and of the Council Laying Down Harmonised
Rules on Artificial Intelligence (Artificial Intelligence Act) and Amending Certain
Union Legislative Acts
1.2. Policy area(s) concerned
Communications Networks, Content and Technology;
Internal Market, Industry, Entrepreneurship and SMEs;
The budgetary impact concerns the new tasks entrusted with the Commission,
including the support to the EU AI Board;
Activity: Shaping Europe's digital future.
1.3. The proposal/initiative relates to:
X a new action
 a new action following a pilot project/preparatory action64
 the extension of an existing action
 an action redirected towards a new action
1.4. Objective(s)
1.4.1. General objective(s)
The general objective of the intervention is to ensure the proper functioning of the
single market by creating the conditions for the development and use of trustworthy
artificial intelligence in the Union.
1.4.2. Specific objective(s)
Specific objective No 1
To set requirements specific to AI systems and obligations on all value chain
participants in order to ensure that AI systems placed on the market and used are safe
and respect existing law on fundamental rights and Union values;
Specific objective No 2
To ensure legal certainty to facilitate investment and innovation in AI by making it
clear what essential requirements, obligations, as well as conformity and compliance
procedures must be followed to place or use an AI system in the Union market;
Specific objective No 3
To enhance governance and effective enforcement of existing law on fundamental
rights and safety requirements applicable to AI systems by providing new powers,
resources and clear rules for relevant authorities on conformity assessment and ex
64
As referred to in Article 54(2)(a) or (b) of the Financial Regulation
EN 92 EN
post monitoring procedures and the division of governance and supervision tasks
between national and EU levels;
Specific objective No 4
To facilitate the development of a single market for lawful, safe and trustworthy AI
applications and prevent market fragmentation by taking EU action to set minimum
requirement for AI systems to be placed and used in the Union market in compliance
with existing law on fundamental rights and safety.
EN 93 EN
1.4.3. Expected result(s) and impact
Specify the effects which the proposal/initiative should have on the beneficiaries/groups targeted.
AI suppliers should benefit from a minimal but clear set of requirements, creating
legal certainty and ensuring access to the entire single market.
AI users should benefit from legal certainty that the high-risk AI systems they buy
comply with European laws and values.
Consumers should benefit by reducing the risk of violations of their safety or
fundamental rights.
1.4.4. Indicators of performance
Specify the indicators for monitoring implementation of the proposal/initiative.
Indicator 1
Number of serious incidents or AI performances which constitute a serious incident
or a breach of fundamental rights obligations (semi-annual) by fields of applications
and calculated a) in absolute terms, b) as share of applications deployed and c) as
share of citizens concerned.
Indicator 2
a) Total AI investment in the EU (annual)
b) Total AI investment by Member State (annual)
c) Share of companies using AI (annual)
d) Share of SMEs using AI (annual)
a) and b) will be calculated based on official sources and benchmarked against
private estimates
c) and d) will be collected by regular company surveys
1.5. Grounds for the proposal/initiative
1.5.1. Requirement(s) to be met in the short or long term including a detailed timeline for
roll-out of the implementation of the initiative
The Regulation should be fully applicable one year and a half after its adoption.
However, elements of the governance structure should be in place before then. In
particular, Member States shall have appointed existing authorities and/or established
new authorities performing the tasks set out in the legislation earlier, and the EU AI
Board should be set-up and effective. By the time of applicability, the European
database of AI systems should be fully operative. In parallel to the adoption process,
it is therefore necessary to develop the database, so that its development has come to
an end when the regulation enters into force.
1.5.2. Added value of Union involvement (it may result from different factors, e.g.
coordination gains, legal certainty, greater effectiveness or complementarities). For
the purposes of this point 'added value of Union involvement' is the value resulting
from Union intervention which is additional to the value that would have been
otherwise created by Member States alone.
An emerging patchy framework of potentially divergent national rules will hamper
the seamless provision of AI systems across the EU and is ineffective in ensuring the
EN 94 EN
safety and protection of fundamental rights and Union values across the different
Member States. A common EU legislative action on AI could boost the internal
market and has great potential to provide European industry with a competitive edge
at the global scene and economies of scale that cannot be achieved by individual
Member States alone.
1.5.3. Lessons learned from similar experiences in the past
The E-commerce Directive 2000/31/EC provides the core framework for the
functioning of the single market and the supervision of digital services and sets a
basic structure for a general cooperation mechanism among Member States, covering
in principle all requirements applicable to digital services. The evaluation of the
Directive pointed to shortcomings in several aspects of this cooperation mechanism,
including important procedural aspects such as the lack of clear timeframes for
response from Member States coupled with a general lack of responsiveness to
requests from their counterparts. This has led over the years to a lack of trust
between Member States in addressing concerns about providers offering digital
services cross-border. The evaluation of the Directive showed the need to define a
differentiated set of rules and requirements at European level. For this reason, the
implementation of the specific obligations laid down in this Regulation would
require a specific cooperation mechanism at EU level, with a governance structure
ensuring coordination of specific responsible bodies at EU level.
1.5.4. Compatibility with the Multiannual Financial Framework and possible synergies
with other appropriate instruments
The Regulation Laying Down Harmonised Rules on Artificial Intelligence and
Amending Certain Union Legislative Acts defines a new common framework of
requirements applicable to AI systems, which goes well beyond the framework
provided by existing legislation. For this reason, a new national and European
regulatory and coordination function needs to be established with this proposal.
As regards possible synergies with other appropriate instruments, the role of
notifying authorities at national level can be performed by national authorities
fulfilling similar functions sunder other EU regulations.
Moreover, by increasing trust in AI and thus encouraging investment in development
and adoption of AI, it complements Digital Europe, for which promoting the
diffusion of AI is one of five priorities.
1.5.5. Assessment of the different available financing options, including scope for
redeployment
The staff will be redeployed. The other costs will be supported from the DEP.
envelope, given that the objective of this regulation – ensuring trustworthy AI –
contributes directly to one key objective of Digital Europe – accelerating AI
development and deployment in Europe.
EN 95 EN
1.6. Duration and financial impact of the proposal/initiative
 limited duration
–  in effect from [DD/MM]YYYY to [DD/MM]YYYY
–  Financial impact from YYYY to YYYY for commitment appropriations and
from YYYY to YYYY for payment appropriations.
X unlimited duration
– Implementation with a start-up period from one/two (tbc) year,
– followed by full-scale operation.
1.7. Management mode(s) planned65
X Direct management by the Commission
–  by its departments, including by its staff in the Union delegations;
–  by the executive agencies
 Shared management with the Member States
 Indirect management by entrusting budget implementation tasks to:
–  third countries or the bodies they have designated;
–  international organisations and their agencies (to be specified);
–  the EIB and the European Investment Fund;
–  bodies referred to in Articles 70 and 71 of the Financial Regulation;
–  public law bodies;
–  bodies governed by private law with a public service mission to the extent that
they provide adequate financial guarantees;
–  bodies governed by the private law of a Member State that are entrusted with
the implementation of a public-private partnership and that provide adequate
financial guarantees;
–  persons entrusted with the implementation of specific actions in the CFSP
pursuant to Title V of the TEU, and identified in the relevant basic act.
– If more than one management mode is indicated, please provide details in the ‘Comments’ section.
Comments
65
Details of management modes and references to the Financial Regulation may be found on the
BudgWeb site: http://www.cc.cec/budg/man/budgmanag/budgmanag_en.html
EN 96 EN
2. MANAGEMENT MEASURES
2.1. Monitoring and reporting rules
Specify frequency and conditions.
The Regulation will be reviewed and evaluated five years from the entry into force of
the regulation. The Commission will report on the findings of the evaluation to the
European Parliament, the Council and the European Economic and Social
Committee.
2.2. Management and control system(s)
2.2.1. Justification of the management mode(s), the funding implementation mechanism(s),
the payment modalities and the control strategy proposed
The Regulation establishes a new policy with regard to harmonised rules for the
provision of artificial intelligence systems in the internal market while ensuring the
respect of safety and fundamental rights. These new rules require a consistency
mechanism for the cross-border application of the obligations under this Regulation
in the form of a new advisory group coordinating the activities of national
authorities.
In order to face these new tasks, it is necessary to appropriately resource the
Commission’s services. The enforcement of the new Regulation is estimated to
require 10 FTE à regime (5 FTE for the support to the activities of the Board and 5
FTE for the European Data Protection Supervisor acting as a notifying body for AI
systems deployed by a body of the European Union).
2.2.2. Information concerning the risks identified and the internal control system(s) set up
to mitigate them
In order to ensure that the members of the Board have the possibility to make
informed analysis on the basis of factual evidence, it is foreseen that the Board
should be supported by the administrative structure of the Commission and that an
expert group be created to provide additional expertise where required.
2.2.3. Estimate and justification of the cost-effectiveness of the controls (ratio of "control
costs ÷ value of the related funds managed"), and assessment of the expected levels
of risk of error (at payment & at closure)
For the meeting expenditure, given the low value per transaction (e.g. refunding
travel costs for a delegate for a meeting), standard control procedures seem
sufficient. Regarding the development of the database, contract attribution has a
strong internal control system in place in DG CNECT through centralised
procurement activities.
2.3. Measures to prevent fraud and irregularities
Specify existing or envisaged prevention and protection measures, e.g. from the Anti-Fraud Strategy.
The existing fraud prevention measures applicable to the Commission will cover the
additional appropriations necessary for this Regulation.
EN 97 EN
3. ESTIMATED FINANCIAL IMPACT OF THE PROPOSAL/INITIATIVE
3.1. Heading(s) of the multiannual financial framework and expenditure budget line(s) affected
 Existing budget lines
In order of multiannual financial framework headings and budget lines.
Heading of
multiannual
financial
framework
Budget line
Type of
expenditure
Contribution
Number Diff./Non-
diff.
66
from
EFTA
countries
67
from
candidate
countries
68
from third
countries
within the
meaning of
Article 21(2)(b) of
the Financial
Regulation
7 20 02 06 Administrative expenditure Non-diff. NO NO NO NO
1 02 04 03 DEP Artificial Intelligence Diff. YES NO NO NO
1
02 01 30 01 Support expenditure for
the Digital Europe programme
Non-diff. YES NO NO NO
3.2. Estimated financial impact of the proposal on appropriations
3.2.1. Summary of estimated impact on expenditure on operational appropriations
–  The proposal/initiative does not require the use of operational appropriations
– X The proposal/initiative requires the use of operational appropriations, as explained below:
EUR million (to three decimal places)
66
Diff. = Differentiated appropriations / Non-diff. = Non-differentiated appropriations.
67
EFTA: European Free Trade Association.
68
Candidate countries and, where applicable, potential candidate countries from the Western Balkans.
EN 98 EN
Heading of multiannual financial
framework
1
DG: CNECT
Year
2022
Year
2023
Year
2024
Year
2025
Year
2026
Year
2027
69 TOTAL
 Operational appropriations
Budget line
70
02 04 03
Commitments (1a) 1.000 1.000
Payments (2a) 0.600 0.100 0.100 0.100 0.100 1.000
Budget line
Commitments (1b)
Payments (2b)
Appropriations of an administrative nature financed from the envelope of specific
programmes
71
Budget line 02 01 30 01 (3) 0.240 0.240 0.240 0.240 0.240 1.200
TOTAL appropriations
for DG CNECT
Commitments =1a+1b +3 1.240 0.240 0.240 0.240 2.200
Payments
=2a+2b
+3
0.840 0.340 0.340 0.340 0.340 2.200
69
Indicative and dependent on budget availability.
70
According to the official budget nomenclature.
71
Technical and/or administrative assistance and expenditure in support of the implementation of EU programmes and/or actions (former ‘BA’ lines), indirect research,
direct research.
EN 99 EN
 TOTAL operational appropriations
Commitments (4) 1.000 1.000
Payments (5) 0.600 0.100 0.100 0.100 0.100 1.000
 TOTAL appropriations of an administrative nature financed from the
envelope for specific programmes
(6) 0.240 0.240 0.240 0.240 0.240 1.200
TOTAL appropriations
under HEADING 1
of the multiannual financial framework
Commitments =4+ 6 1.240 0.240 0.240 .0.240 0.240 2.200
Payments =5+ 6 0.840 0.340 0.340 0.340 0.340 2.200
If more than one heading is affected by the proposal / initiative, repeat the section above:
 TOTAL operational appropriations (all
operational headings)
Commitments (4)
Payments (5)
 TOTAL appropriations of an administrative nature
financed from the envelope for specific programmes (all
operational headings)
(6)
TOTAL appropriations
under HEADINGS 1 to 6
of the multiannual financial framework
(Reference amount)
Commitments =4+ 6
Payments =5+ 6
EN 100 EN
Heading of multiannual financial
framework
7 ‘Administrative expenditure’
This section should be filled in using the 'budget data of an administrative nature' to be firstly introduced in the Annex to the Legislative
Financial Statement (Annex V to the internal rules), which is uploaded to DECIDE for interservice consultation purposes.
EUR million (to three decimal places)
Year
2023
Year
2024
Year
2025
Year
2026
Year 2027
After
2027
72 TOTAL
DG: CNECT
 Human resources 0.760 0.760 0.760 0.760 0.760 0.760 3.800
 Other administrative expenditure 0.010 0.010 0.010 0.010 0.010 0.010 0.050
TOTAL DG CNECT Appropriations 0.760 0.760 0.760 0.760 0.760 0.760 3.850
European Data Protection Supervisor
 Human resources 0.760 0.760 0.760 0.760 0.760 0.760 3.800
 Other administrative expenditure
TOTAL EDPS Appropriations 0.760 0.760 0.760 0.760 0.760
0.760 3.800
TOTAL appropriations
under HEADING 7
of the multiannual financial framework
(Total commitments = Total payments) 1.530 1.530 1.530 1.530 1.530 1.530 7.650
EUR million (to three decimal places)
Year
2022
Year
2023
Year
2024
Year
2025
Year 2026 Year 2027 TOTAL
TOTAL appropriations Commitments 2.770 1.770 1.770 1.770 1.770 9.850
72
All figures in this column are indicative and subject to the continuation of the programmes and availability of appropriations
EN 101 EN
under HEADINGS 1 to 7
of the multiannual financial framework Payments 2.370 1.870 1.870 1.870 1.870 9.850
EN 102 EN
3.2.2. Estimated output funded with operational appropriations
Commitment appropriations in EUR million (to three decimal places)
Indicate objectives
and outputs

Year
2022
Year
2023
Year
2024
Year
2025
Year
2026
Year
2027
After
2027
73 TOTAL
OUTPUTS
Type Average
cost
No
Cost
No
Cost
No
Cost
No
Cost
No
Cost
No
Cost
No
Cost
Tota
l No
Total
cost
SPECIFIC OBJECTIVE No 1
74
…
Database 1 1.000 1 1 1 1 1 0.100 1 1.000
Meetings- Output 10 0.200 10 0.200 10 0.200 10 0.200 10 0.200 10 0.200 50 1.000
Communication
activities
2 0.040 2 0.040 2 0.040 2 0.040 2 0.040 2 0.040 10 0.040
Subtotal for specific objective No 1
SPECIFIC OBJECTIVE No 2 ...
- Output
Subtotal for specific objective No 2
TOTALS 13 0.240 13 0.240 13 0.240 13 0.240 13 0.240 13 0.100 65 2.200
73
All figures in this column are indicative and subject to the continuation of the programmes and availability of appropriations
74
As described in point 1.4.2. ‘Specific objective(s)…’
EN 103 EN
3.2.3. Summary of estimated impact on administrative appropriations
–  The proposal/initiative does not require the use of appropriations of an
administrative nature
– X The proposal/initiative requires the use of appropriations of an administrative
nature, as explained below:
EUR million (to three decimal places)
Year
2022
Year
2023
Year
2024
Year
2025
Year
2026
Year
2027
Yearly after
2027
75 TOTAL
HEADING 7
of the multiannual
financial framework
Human resources 1.520 1.520 1.520 1.520 1.520 1.520 7.600
Other administrative
expenditure
0.010 0.010 0.010 0.010 0.010 0.010 0.050
Subtotal HEADING 7
of the multiannual
financial framework
1.530 1.530 1.530 1.530 1.530 1.530 7.650
Outside HEADING 7
76
of the multiannual
financial framework
Human resources
Other expenditure
of an administrative
nature
0.240 0.240 0.240 0.240 0.240 0.240 1.20
Subtotal
outside HEADING 7
of the multiannual
financial framework
0.240 0.240 0.240 0.240 0.240 0.240 1.20
TOTAL 1.770 1.770 1.770 1.770 1.770 1.770 8.850
The appropriations required for human resources and other expenditure of an administrative nature will be met by
appropriations from the DG that are already assigned to management of the action and/or have been redeployed within the
DG, together if necessary with any additional allocation which may be granted to the managing DG under the annual
allocation procedure and in the light of budgetary constraints.
75
All figures in this column are indicative and subject to the continuation of the programmes and availability of
appropriations.
76
Technical and/or administrative assistance and expenditure in support of the implementation of
EU programmes and/or actions (former ‘BA’ lines), indirect research, direct research.
EN 104 EN
3.2.3.1. Estimated requirements of human resources
–  The proposal/initiative does not require the use of human resources.
– X The proposal/initiative requires the use of human resources, as explained
below:
Estimate to be expressed in full time equivalent units
.
Year
2023
Year
2024
Year
2025
2026 2027
After
202777
 Establishment plan posts (officials and temporary staff)
20 01 02 01 (Headquarters and Commission’s Representation
Offices)
10 10 10 10 10 10
20 01 02 03 (Delegations)
01 01 01 01 (Indirect research)
01 01 01 11 (Direct research)
Other budget lines (specify)
 External staff (in Full Time Equivalent unit: FTE)
78
20 02 01 (AC, END, INT from the ‘global envelope’)
20 02 03 (AC, AL, END, INT and JPD in the delegations)
XX 01 xx yy zz
79 - at Headquarters
- in Delegations
01 01 01 02 (AC, END, INT - Indirect research)
01 01 01 12 (AC, END, INT - Direct research)
Other budget lines (specify)
TOTAL 10 10 10 10 10 10
XX is the policy area or budget title concerned.
The human resources required will be met by staff from the DG who are already assigned to management of the
action and/or have been redeployed within the DG, together if necessary with any additional allocation which
may be granted to the managing DG under the annual allocation procedure and in the light of budgetary
constraints.
EDPS is expected to provide half of the resources required.
Description of tasks to be carried out:
Officials and temporary staff To prepare a total of 13-16 meetings, draft reports, continue policy work, e.g.
regarding future amendments of the list of high-risk AI applications, and maintain
relations with Member States’ authorities will require four AD FTE and 1 AST FTE.
For AI systems developed by the EU institutions, the European Data Protection
Supervisor is responsible. Based on past experience, it can be estimated that 5 AD FTE
are reuqired to fulfill the EDPS responsibilites under the draft legislation.
77
All figures in this column are indicative and subject to the continuation of the programmes and
availability of appropriations.
78
AC = Contract Staff; AL = Local Staff; END = Seconded National Expert; INT = agency staff; JPD
= Junior Professionals in Delegations.
79
Sub-ceiling for external staff covered by operational appropriations (former ‘BA’ lines).
EN 105 EN
External staff
EN 106 EN
3.2.4. Compatibility with the current multiannual financial framework
The proposal/initiative:
– X can be fully financed through redeployment within the relevant heading of the
Multiannual Financial Framework (MFF).
No reporgramming is needed.
–  requires use of the unallocated margin under the relevant heading of the MFF
and/or use of the special instruments as defined in the MFF Regulation.
Explain what is required, specifying the headings and budget lines concerned, the corresponding
amounts, and the instruments proposed to be used.
–  requires a revision of the MFF.
Explain what is required, specifying the headings and budget lines concerned and the corresponding
amounts.
3.2.5. Third-party contributions
The proposal/initiative:
– X does not provide for co-financing by third parties
–  provides for the co-financing by third parties estimated below:
Appropriations in EUR million (to three decimal places)
Year
N
80
Year
N+1
Year
N+2
Year
N+3
Enter as many years as necessary
to show the duration of the
impact (see point 1.6)
Total
Specify the co-financing
body
TOTAL appropriations
co-financed
80
Year N is the year in which implementation of the proposal/initiative starts. Please replace "N" by the
expected first year of implementation (for instance: 2021). The same for the following years.
EN 107 EN
3.3. Estimated impact on revenue
–  The proposal/initiative has the following financial impact:
–  The proposal/initiative has the following financial impact:
–  on other revenue
–  on other revenue
– Please indicate, if the revenue is assigned to expenditure lines 
EUR million (to three decimal places)
Budget revenue line:
Appropriation
s available for
the current
financial year
Impact of the proposal/initiative
81
Year
N
Year
N+1
Year
N+2
Year
N+3
Enter as many years as necessary to show
the duration of the impact (see point 1.6)
Article ………….
For assigned revenue, specify the budget expenditure line(s) affected.
Other remarks (e.g. method/formula used for calculating the impact on revenue or any other
information).
81
As regards traditional own resources (customs duties, sugar levies), the amounts indicated must be net
amounts, i.e. gross amounts after deduction of 20 % for collection costs.


EN EN
EUROPEAN
COMMISSION
Brussels, 21.4.2021
COM(2021) 206 final
ANNEXES 1 to 9
ANNEXES
to the
Proposal for a Regulation of the European Parliament and of the Council
LAYING DOWN HARMONISED RULES ON ARTIFICIAL INTELLIGENCE
(ARTIFICIAL INTELLIGENCE ACT) AND AMENDING CERTAIN UNION
LEGISLATIVE ACTS
{SEC(2021) 167 final} - {SWD(2021) 84 final} - {SWD(2021) 85 final}
Europaudvalget 2021
KOM (2021) 0206 - Forslag til forordning
Offentligt
EN 1 EN
ANNEX I
ARTIFICIAL INTELLIGENCE TECHNIQUES AND APPROACHES
referred to in Article 3, point 1
(a) Machine learning approaches, including supervised, unsupervised and reinforcement
learning, using a wide variety of methods including deep learning;
(b) Logic- and knowledge-based approaches, including knowledge representation,
inductive (logic) programming, knowledge bases, inference and deductive engines,
(symbolic) reasoning and expert systems;
(c) Statistical approaches, Bayesian estimation, search and optimization methods.
EN 2 EN
ANNEX II
LIST OF UNION HARMONISATION LEGISLATION
Section A – List of Union harmonisation legislation based on the New Legislative
Framework
1. Directive 2006/42/EC of the European Parliament and of the Council of 17 May
2006 on machinery, and amending Directive 95/16/EC (OJ L 157, 9.6.2006, p. 24)
[as repealed by the Machinery Regulation];
2. Directive 2009/48/EC of the European Parliament and of the Council of 18 June
2009 on the safety of toys (OJ L 170, 30.6.2009, p. 1);
3. Directive 2013/53/EU of the European Parliament and of the Council of 20
November 2013 on recreational craft and personal watercraft and repealing Directive
94/25/EC (OJ L 354, 28.12.2013, p. 90);
4. Directive 2014/33/EU of the European Parliament and of the Council of 26 February
2014 on the harmonisation of the laws of the Member States relating to lifts and
safety components for lifts (OJ L 96, 29.3.2014, p. 251);
5. Directive 2014/34/EU of the European Parliament and of the Council of 26 February
2014 on the harmonisation of the laws of the Member States relating to equipment
and protective systems intended for use in potentially explosive atmospheres (OJ L
96, 29.3.2014, p. 309);
6. Directive 2014/53/EU of the European Parliament and of the Council of 16 April
2014 on the harmonisation of the laws of the Member States relating to the making
available on the market of radio equipment and repealing Directive 1999/5/EC (OJ L
153, 22.5.2014, p. 62);
7. Directive 2014/68/EU of the European Parliament and of the Council of 15 May
2014 on the harmonisation of the laws of the Member States relating to the making
available on the market of pressure equipment (OJ L 189, 27.6.2014, p. 164);
8. Regulation (EU) 2016/424 of the European Parliament and of the Council of 9 March
2016 on cableway installations and repealing Directive 2000/9/EC (OJ L 81,
31.3.2016, p. 1);
9. Regulation (EU) 2016/425 of the European Parliament and of the Council of 9 March
2016 on personal protective equipment and repealing Council Directive 89/686/EEC
(OJ L 81, 31.3.2016, p. 51);
10. Regulation (EU) 2016/426 of the European Parliament and of the Council of 9 March
2016 on appliances burning gaseous fuels and repealing Directive 2009/142/EC (OJ
L 81, 31.3.2016, p. 99);
11. Regulation (EU) 2017/745 of the European Parliament and of the Council of 5 April
2017 on medical devices, amending Directive 2001/83/EC, Regulation (EC) No
178/2002 and Regulation (EC) No 1223/2009 and repealing Council Directives
90/385/EEC and 93/42/EEC (OJ L 117, 5.5.2017, p. 1;
12. Regulation (EU) 2017/746 of the European Parliament and of the Council of 5 April
2017 on in vitro diagnostic medical devices and repealing Directive 98/79/EC and
Commission Decision 2010/227/EU (OJ L 117, 5.5.2017, p. 176).
EN 3 EN
Section B. List of other Union harmonisation legislation
1. Regulation (EC) No 300/2008 of the European Parliament and of the Council of 11
March 2008 on common rules in the field of civil aviation security and repealing
Regulation (EC) No 2320/2002 (OJ L 97, 9.4.2008, p. 72).
2. Regulation (EU) No 168/2013 of the European Parliament and of the Council of 15
January 2013 on the approval and market surveillance of two- or three-wheel
vehicles and quadricycles (OJ L 60, 2.3.2013, p. 52);
3. Regulation (EU) No 167/2013 of the European Parliament and of the Council of 5
February 2013 on the approval and market surveillance of agricultural and forestry
vehicles (OJ L 60, 2.3.2013, p. 1);
4. Directive 2014/90/EU of the European Parliament and of the Council of 23 July 2014
on marine equipment and repealing Council Directive 96/98/EC (OJ L 257,
28.8.2014, p. 146);
5. Directive (EU) 2016/797 of the European Parliament and of the Council of 11 May
2016 on the interoperability of the rail system within the European Union (OJ L 138,
26.5.2016, p. 44).
6. Regulation (EU) 2018/858 of the European Parliament and of the Council of 30 May
2018 on the approval and market surveillance of motor vehicles and their trailers,
and of systems, components and separate technical units intended for such vehicles,
amending Regulations (EC) No 715/2007 and (EC) No 595/2009 and repealing
Directive 2007/46/EC (OJ L 151, 14.6.2018, p. 1); 3. Regulation (EU) 2019/2144 of
the European Parliament and of the Council of 27 November 2019 on type-approval
requirements for motor vehicles and their trailers, and systems, components and
separate technical units intended for such vehicles, as regards their general safety and
the protection of vehicle occupants and vulnerable road users, amending Regulation
(EU) 2018/858 of the European Parliament and of the Council and repealing
Regulations (EC) No 78/2009, (EC) No 79/2009 and (EC) No 661/2009 of the
European Parliament and of the Council and Commission Regulations (EC) No
631/2009, (EU) No 406/2010, (EU) No 672/2010, (EU) No 1003/2010, (EU) No
1005/2010, (EU) No 1008/2010, (EU) No 1009/2010, (EU) No 19/2011, (EU) No
109/2011, (EU) No 458/2011, (EU) No 65/2012, (EU) No 130/2012, (EU) No
347/2012, (EU) No 351/2012, (EU) No 1230/2012 and (EU) 2015/166 (OJ L 325,
16.12.2019, p. 1);
7. Regulation (EU) 2018/1139 of the European Parliament and of the Council of 4 July
2018 on common rules in the field of civil aviation and establishing a European
Union Aviation Safety Agency, and amending Regulations (EC) No 2111/2005, (EC)
No 1008/2008, (EU) No 996/2010, (EU) No 376/2014 and Directives 2014/30/EU
and 2014/53/EU of the European Parliament and of the Council, and repealing
Regulations (EC) No 552/2004 and (EC) No 216/2008 of the European Parliament
and of the Council and Council Regulation (EEC) No 3922/91 (OJ L 212, 22.8.2018,
p. 1), in so far as the design, production and placing on the market of aircrafts
referred to in points (a) and (b) of Article 2(1) thereof, where it concerns unmanned
aircraft and their engines, propellers, parts and equipment to control them remotely,
are concerned.
EN 4 EN
ANNEX III
HIGH-RISK AI SYSTEMS REFERRED TO IN ARTICLE 6(2)
High-risk AI systems pursuant to Article 6(2) are the AI systems listed in any of the following
areas:
1. Biometric identification and categorisation of natural persons:
(a) AI systems intended to be used for the ‘real-time’ and ‘post’ remote biometric
identification of natural persons;
2. Management and operation of critical infrastructure:
(a) AI systems intended to be used as safety components in the management and
operation of road traffic and the supply of water, gas, heating and electricity.
3. Education and vocational training:
(a) AI systems intended to be used for the purpose of determining access or
assigning natural persons to educational and vocational training institutions;
(b) AI systems intended to be used for the purpose of assessing students in
educational and vocational training institutions and for assessing participants in
tests commonly required for admission to educational institutions.
4. Employment, workers management and access to self-employment:
(a) AI systems intended to be used for recruitment or selection of natural persons,
notably for advertising vacancies, screening or filtering applications, evaluating
candidates in the course of interviews or tests;
(b) AI intended to be used for making decisions on promotion and termination of
work-related contractual relationships, for task allocation and for monitoring
and evaluating performance and behavior of persons in such relationships.
5. Access to and enjoyment of essential private services and public services and
benefits:
(a) AI systems intended to be used by public authorities or on behalf of public
authorities to evaluate the eligibility of natural persons for public assistance
benefits and services, as well as to grant, reduce, revoke, or reclaim such
benefits and services;
(b) AI systems intended to be used to evaluate the creditworthiness of natural
persons or establish their credit score, with the exception of AI systems put into
service by small scale providers for their own use;
(c) AI systems intended to be used to dispatch, or to establish priority in the
dispatching of emergency first response services, including by firefighters and
medical aid.
6. Law enforcement:
(a) AI systems intended to be used by law enforcement authorities for making
individual risk assessments of natural persons in order to assess the risk of a
natural person for offending or reoffending or the risk for potential victims of
criminal offences;
(b) AI systems intended to be used by law enforcement authorities as polygraphs
and similar tools or to detect the emotional state of a natural person;
EN 5 EN
(c) AI systems intended to be used by law enforcement authorities to detect deep
fakes as referred to in article 52(3);
(d) AI systems intended to be used by law enforcement authorities for evaluation
of the reliability of evidence in the course of investigation or prosecution of
criminal offences;
(e) AI systems intended to be used by law enforcement authorities for predicting
the occurrence or reoccurrence of an actual or potential criminal offence
based on profiling of natural persons as referred to in Article 3(4) of Directive
(EU) 2016/680 or assessing personality traits and characteristics or past
criminal behaviour of natural persons or groups;
(f) AI systems intended to be used by law enforcement authorities for profiling of
natural persons as referred to in Article 3(4) of Directive (EU) 2016/680 in the
course of detection, investigation or prosecution of criminal offences;
(g) AI systems intended to be used for crime analytics regarding natural persons,
allowing law enforcement authorities to search complex related and unrelated
large data sets available in different data sources or in different data formats in
order to identify unknown patterns or discover hidden relationships in the data.
7. Migration, asylum and border control management:
(a) AI systems intended to be used by competent public authorities as polygraphs
and similar tools or to detect the emotional state of a natural person;
(b) AI systems intended to be used by competent public authorities to assess a risk,
including a security risk, a risk of irregular immigration, or a health risk, posed
by a natural person who intends to enter or has entered into the territory of a
Member State;
(c) AI systems intended to be used by competent public authorities for the
verification of the authenticity of travel documents and supporting
documentation of natural persons and detect non-authentic documents by
checking their security features;
(d) AI systems intended to assist competent public authorities for the examination
of applications for asylum, visa and residence permits and associated
complaints with regard to the eligibility of the natural persons applying for a
status.
8. Administration of justice and democratic processes:
(a) AI systems intended to assist a judicial authority in researching and
interpreting facts and the law and in applying the law to a concrete set of facts.
EN 6 EN
ANNEX IV
TECHNICAL DOCUMENTATION referred to in Article 11(1)
The technical documentation referred to in Article 11(1) shall contain at least the following
information, as applicable to the relevant AI system:
1. A general description of the AI system including:
(a) its intended purpose, the person/s developing the system the date and the
version of the system;
(b) how the AI system interacts or can be used to interact with hardware or
software that is not part of the AI system itself, where applicable;
(c) the versions of relevant software or firmware and any requirement related to
version update;
(d) the description of all forms in which the AI system is placed on the market or
put into service;
(e) the description of hardware on which the AI system is intended to run;
(f) where the AI system is a component of products, photographs or illustrations
showing external features, marking and internal layout of those products;
(g) instructions of use for the user and, where applicable installation instructions;
2. A detailed description of the elements of the AI system and of the process for its
development, including:
(a) the methods and steps performed for the development of the AI system,
including, where relevant, recourse to pre-trained systems or tools provided by
third parties and how these have been used, integrated or modified by the
provider;
(b) the design specifications of the system, namely the general logic of the AI
system and of the algorithms; the key design choices including the rationale
and assumptions made, also with regard to persons or groups of persons on
which the system is intended to be used; the main classification choices; what
the system is designed to optimise for and the relevance of the different
parameters; the decisions about any possible trade-off made regarding the
technical solutions adopted to comply with the requirements set out in Title III,
Chapter 2;
(c) the description of the system architecture explaining how software components
build on or feed into each other and integrate into the overall processing; the
computational resources used to develop, train, test and validate the AI system;
(d) where relevant, the data requirements in terms of datasheets describing the
training methodologies and techniques and the training data sets used,
including information about the provenance of those data sets, their scope and
main characteristics; how the data was obtained and selected; labelling
procedures (e.g. for supervised learning), data cleaning methodologies (e.g.
outliers detection);
(e) assessment of the human oversight measures needed in accordance with Article
14, including an assessment of the technical measures needed to facilitate the
interpretation of the outputs of AI systems by the users, in accordance with
Articles 13(3)(d);
EN 7 EN
(f) where applicable, a detailed description of pre-determined changes to the AI
system and its performance, together with all the relevant information related
to the technical solutions adopted to ensure continuous compliance of the AI
system with the relevant requirements set out in Title III, Chapter 2;
(g) the validation and testing procedures used, including information about the
validation and testing data used and their main characteristics; metrics used to
measure accuracy, robustness, cybersecurity and compliance with other
relevant requirements set out in Title III, Chapter 2 as well as potentially
discriminatory impacts; test logs and all test reports dated and signed by the
responsible persons, including with regard to pre-determined changes as
referred to under point (f).
3. Detailed information about the monitoring, functioning and control of the AI system,
in particular with regard to: its capabilities and limitations in performance, including
the degrees of accuracy for specific persons or groups of persons on which the
system is intended to be used and the overall expected level of accuracy in relation to
its intended purpose; the foreseeable unintended outcomes and sources of risks to
health and safety, fundamental rights and discrimination in view of the intended
purpose of the AI system; the human oversight measures needed in accordance with
Article 14, including the technical measures put in place to facilitate the
interpretation of the outputs of AI systems by the users; specifications on input data,
as appropriate;
4. A detailed description of the risk management system in accordance with Article 9;
5. A description of any change made to the system through its lifecycle;
6. A list of the harmonised standards applied in full or in part the references of which
have been published in the Official Journal of the European Union; where no such
harmonised standards have been applied, a detailed description of the solutions
adopted to meet the requirements set out in Title III, Chapter 2, including a list of
other relevant standards and technical specifications applied;
7. A copy of the EU declaration of conformity;
8. A detailed description of the system in place to evaluate the AI system performance
in the post-market phase in accordance with Article 61, including the post-market
monitoring plan referred to in Article 61(3).
EN 8 EN
ANNEX V
EU DECLARATION OF CONFORMITY
The EU declaration of conformity referred to in Article 48, shall contain all of the following
information:
1. AI system name and type and any additional unambiguous reference allowing
identification and traceability of the AI system;
2. Name and address of the provider or, where applicable, their authorised
representative;
3. A statement that the EU declaration of conformity is issued under the sole
responsibility of the provider;
4. A statement that the AI system in question is in conformity with this Regulation and,
if applicable, with any other relevant Union legislation that provides for the issuing
of an EU declaration of conformity;
5. References to any relevant harmonised standards used or any other common
specification in relation to which conformity is declared;
6. Where applicable, the name and identification number of the notified body, a
description of the conformity assessment procedure performed and identification of
the certificate issued;
7. Place and date of issue of the declaration, name and function of the person who
signed it as well as an indication for, and on behalf of whom, that person signed,
signature.
EN 9 EN
ANNEX VI
CONFORMITY ASSESSMENT PROCEDURE BASED ON INTERNAL CONTROL
1. The conformity assessment procedure based on internal control is the conformity
assessment procedure based on points 2 to 4.
2. The provider verifies that the established quality management system is in
compliance with the requirements of Article 17.
3. The provider examines the information contained in the technical documentation in
order to assess the compliance of the AI system with the relevant essential
requirements set out in Title III, Chapter 2.
4. The provider also verifies that the design and development process of the AI system
and its post-market monitoring as referred to in Article 61 is consistent with the
technical documentation.
EN 10 EN
ANNEX VII
CONFORMITY BASED ON ASSESSMENT OF QUALITY MANAGEMENT
SYSTEM AND ASSESSMENT OF TECHNICAL DOCUMENTATION
1. Introduction
Conformity based on assessment of quality management system and assessment of
the technical documentation is the conformity assessment procedure based on points
2 to 5.
2. Overview
The approved quality management system for the design, development and testing of
AI systems pursuant to Article 17 shall be examined in accordance with point 3 and
shall be subject to surveillance as specified in point 5. The technical documentation
of the AI system shall be examined in accordance with point 4.
3. Quality management system
3.1. The application of the provider shall include:
(a) the name and address of the provider and, if the application is lodged by the
authorised representative, their name and address as well;
(b) the list of AI systems covered under the same quality management system;
(c) the technical documentation for each AI system covered under the same quality
management system;
(d) the documentation concerning the quality management system which shall
cover all the aspects listed under Article 17;
(e) a description of the procedures in place to ensure that the quality management
system remains adequate and effective;
(f) a written declaration that the same application has not been lodged with any
other notified body.
3.2. The quality management system shall be assessed by the notified body, which shall
determine whether it satisfies the requirements referred to in Article 17.
The decision shall be notified to the provider or its authorised representative.
The notification shall contain the conclusions of the assessment of the quality
management system and the reasoned assessment decision.
3.3. The quality management system as approved shall continue to be implemented and
maintained by the provider so that it remains adequate and efficient.
3.4. Any intended change to the approved quality management system or the list of AI
systems covered by the latter shall be brought to the attention of the notified body by
the provider.
The proposed changes shall be examined by the notified body, which shall decide
whether the modified quality management system continues to satisfy the
requirements referred to in point 3.2 or whether a reassessment is necessary.
The notified body shall notify the provider of its decision. The notification shall
contain the conclusions of the examination of the changes and the reasoned
assessment decision.
4. Control of the technical documentation.
EN 11 EN
4.1. In addition to the application referred to in point 3, an application with a notified
body of their choice shall be lodged by the provider for the assessment of the
technical documentation relating to the AI system which the provider intends to
place on the market or put into service and which is covered by the quality
management system referred to under point 3.
4.2. The application shall include:
(a) the name and address of the provider;
(b) a written declaration that the same application has not been lodged with any
other notified body;
(c) the technical documentation referred to in Annex IV.
4.3. The technical documentation shall be examined by the notified body. To this
purpose, the notified body shall be granted full access to the training and testing
datasets used by the provider, including through application programming interfaces
(API) or other appropriate means and tools enabling remote access.
4.4. In examining the technical documentation, the notified body may require that the
provider supplies further evidence or carries out further tests so as to enable a proper
assessment of conformity of the AI system with the requirements set out in Title III,
Chapter 2. Whenever the notified body is not satisfied with the tests carried out by
the provider, the notified body shall directly carry out adequate tests, as appropriate.
4.5. Where necessary to assess the conformity of the high-risk AI system with the
requirements set out in Title III, Chapter 2 and upon a reasoned request, the notified
body shall also be granted access to the source code of the AI system.
4.6. The decision shall be notified to the provider or its authorised representative. The
notification shall contain the conclusions of the assessment of the technical
documentation and the reasoned assessment decision.
Where the AI system is in conformity with the requirements set out in Title III,
Chapter 2, an EU technical documentation assessment certificate shall be issued by
the notified body. The certificate shall indicate the name and address of the provider,
the conclusions of the examination, the conditions (if any) for its validity and the
data necessary for the identification of the AI system.
The certificate and its annexes shall contain all relevant information to allow the
conformity of the AI system to be evaluated, and to allow for control of the AI
system while in use, where applicable.
Where the AI system is not in conformity with the requirements set out in Title III,
Chapter 2, the notified body shall refuse to issue an EU technical documentation
assessment certificate and shall inform the applicant accordingly, giving detailed
reasons for its refusal.
Where the AI system does not meet the requirement relating to the data used to train
it, re-training of the AI system will be needed prior to the application for a new
conformity assessment. In this case, the reasoned assessment decision of the notified
body refusing to issue the EU technical documentation assessment certificate shall
contain specific considerations on the quality data used to train the AI system,
notably on the reasons for non-compliance.
4.7. Any change to the AI system that could affect the compliance of the AI system with
the requirements or its intended purpose shall be approved by the notified body
EN 12 EN
which issued the EU technical documentation assessment certificate. The provider
shall inform such notified body of its intention to introduce any of the above-
mentioned changes or if it becomes otherwise aware of the occurrence of such
changes. The intended changes shall be assessed by the notified body which shall
decide whether those changes require a new conformity assessment in accordance
with Article 43(4) or whether they could be addressed by means of a supplement to
the EU technical documentation assessment certificate. In the latter case, the notified
body shall assess the changes, notify the provider of its decision and, where the
changes are approved, issue to the provider a supplement to the EU technical
documentation assessment certificate.
5. Surveillance of the approved quality management system.
5.1. The purpose of the surveillance carried out by the notified body referred to in Point 3
is to make sure that the provider duly fulfils the terms and conditions of the approved
quality management system.
5.2. For assessment purposes, the provider shall allow the notified body to access the
premises where the design, development, testing of the AI systems is taking place.
The provider shall further share with the notified body all necessary information.
5.3. The notified body shall carry out periodic audits to make sure that the provider
maintains and applies the quality management system and shall provide the provider
with an audit report. In the context of those audits, the notified body may carry out
additional tests of the AI systems for which an EU technical documentation
assessment certificate was issued.
EN 13 EN
ANNEX VIII
INFORMATION TO BE SUBMITTED UPON THE REGISTRATION OF HIGH-
RISK AI SYSTEMS IN ACCORDANCE WITH ARTICLE 51
The following information shall be provided and thereafter kept up to date with regard to
high-risk AI systems to be registered in accordance with Article 51.
1. Name, address and contact details of the provider;
2. Where submission of information is carried out by another person on behalf of the
provider, the name, address and contact details of that person;
3. Name, address and contact details of the authorised representative, where applicable;
4. AI system trade name and any additional unambiguous reference allowing
identification and traceability of the AI system;
5. Description of the intended purpose of the AI system;
6. Status of the AI system (on the market, or in service; no longer placed on the
market/in service, recalled);
7. Type, number and expiry date of the certificate issued by the notified body and the
name or identification number of that notified body, when applicable;
8. A scanned copy of the certificate referred to in point 7, when applicable;
9. Member States in which the AI system is or has been placed on the market, put into
service or made available in the Union;
10. A copy of the EU declaration of conformity referred to in Article 48;
11. Electronic instructions for use; this information shall not be provided for high-risk AI
systems in the areas of law enforcement and migration, asylum and border control
management referred to in Annex III, points 1, 6 and 7.
12. URL for additional information (optional).
EN 14 EN
ANNEX IX
UNION LEGISLATION ON LARGE-SCALE IT SYSTEMS IN THE AREA OF
FREEDOM, SECURITY AND JUSTICE
1. Schengen Information System
(a) Regulation (EU) 2018/1860 of the European Parliament and of the Council of
28 November 2018 on the use of the Schengen Information System for the
return of illegally staying third-country nationals (OJ L 312, 7.12.2018, p. 1).
(b) Regulation (EU) 2018/1861 of the European Parliament and of the Council of
28 November 2018 on the establishment, operation and use of the Schengen
Information System (SIS) in the field of border checks, and amending the
Convention implementing the Schengen Agreement, and amending and
repealing Regulation (EC) No 1987/2006 (OJ L 312, 7.12.2018, p. 14)
(c) Regulation (EU) 2018/1862 of the European Parliament and of the Council of
28 November 2018 on the establishment, operation and use of the Schengen
Information System (SIS) in the field of police cooperation and judicial
cooperation in criminal matters, amending and repealing Council Decision
2007/533/JHA, and repealing Regulation (EC) No 1986/2006 of the European
Parliament and of the Council and Commission Decision 2010/261/EU (OJ L
312, 7.12.2018, p. 56).
2. Visa Information System
(a) Proposal for a REGULATION OF THE EUROPEAN PARLIAMENT AND
OF THE COUNCIL amending Regulation (EC) No 767/2008, Regulation (EC)
No 810/2009, Regulation (EU) 2017/2226, Regulation (EU) 2016/399,
Regulation XX/2018 [Interoperability Regulation], and Decision 2004/512/EC
and repealing Council Decision 2008/633/JHA - COM(2018) 302 final. To be
updated once the Regulation is adopted (April/May 2021) by the co-legislators.
3. Eurodac
(a) Amended proposal for a REGULATION OF THE EUROPEAN
PARLIAMENT AND OF THE COUNCIL on the establishment of 'Eurodac'
for the comparison of biometric data for the effective application of Regulation
(EU) XXX/XXX [Regulation on Asylum and Migration Management] and of
Regulation (EU) XXX/XXX [Resettlement Regulation], for identifying an
illegally staying third-country national or stateless person and on requests for
the comparison with Eurodac data by Member States' law enforcement
authorities and Europol for law enforcement purposes and amending
Regulations (EU) 2018/1240 and (EU) 2019/818 – COM(2020) 614 final.
4. Entry/Exit System
(a) Regulation (EU) 2017/2226 of the European Parliament and of the Council of
30 November 2017 establishing an Entry/Exit System (EES) to register entry
and exit data and refusal of entry data of third-country nationals crossing the
external borders of the Member States and determining the conditions for
access to the EES for law enforcement purposes, and amending the Convention
implementing the Schengen Agreement and Regulations (EC) No 767/2008
and (EU) No 1077/2011 (OJ L 327, 9.12.2017, p. 20).
5. European Travel Information and Authorisation System
EN 15 EN
(a) Regulation (EU) 2018/1240 of the European Parliament and of the Council of
12 September 2018 establishing a European Travel Information and
Authorisation System (ETIAS) and amending Regulations (EU) No 1077/2011,
(EU) No 515/2014, (EU) 2016/399, (EU) 2016/1624 and (EU) 2017/2226 (OJ
L 236, 19.9.2018, p. 1).
(b) Regulation (EU) 2018/1241 of the European Parliament and of the Council of
12 September 2018 amending Regulation (EU) 2016/794 for the purpose of
establishing a European Travel Information and Authorisation System (ETIAS)
(OJ L 236, 19.9.2018, p. 72).
6. European Criminal Records Information System on third-country nationals and
stateless persons
(a) Regulation (EU) 2019/816 of the European Parliament and of the Council of 17
April 2019 establishing a centralised system for the identification of Member
States holding conviction information on third-country nationals and stateless
persons (ECRIS-TCN) to supplement the European Criminal Records
Information System and amending Regulation (EU) 2018/1726 (OJ L 135,
22.5.2019, p. 1).
7. Interoperability
(a) Regulation (EU) 2019/817 of the European Parliament and of the Council of 20
May 2019 on establishing a framework for interoperability between EU
information systems in the field of borders and visa (OJ L 135, 22.5.2019, p.
27).
(b) Regulation (EU) 2019/818 of the European Parliament and of the Council of 20
May 2019 on establishing a framework for interoperability between EU
information systems in the field of police and judicial cooperation, asylum and
migration (OJ L 135, 22.5.2019, p. 85).
EN 16 EN


DA DA
EUROPA-
KOMMISSIONEN
Bruxelles, den 21.4.2021
COM(2021) 206 final
2021/0106 (COD)
Forslag til
EUROPA-PARLAMENTETS OG RÅDETS FORORDNING
OM HARMONISEREDE REGLER FOR KUNSTIG INTELLIGENS (RETSAKTEN
OM KUNSTIG INTELLIGENS) OG OM ÆNDRING AF VISSE AF UNIONENS
LOVGIVNINGSMÆSSIGE RETSAKTER
{SEC(2021) 167 final} - {SWD(2021) 84 final} - {SWD(2021) 85 final}
Europaudvalget 2021
KOM (2021) 0206 - Forslag til forordning
Offentligt
DA 1 DA
BEGRUNDELSE
1. BAGGRUND FOR FORSLAGET
1.1. Forslagets begrundelse og formål
Denne begrundelse ledsager forslaget til forordning om harmoniserede regler for kunstig
intelligens (retsakten om kunstig intelligens). Kunstig intelligens (AI) er en vifte af
teknologier i hurtig udvikling, som kan medføre brede økonomiske og samfundsmæssige
fordele på tværs af hele spektret af industrier og sociale aktiviteter. Ved at forbedre prognoser,
optimere drift og ressourceallokering og personalisere leveringen af tjenester kan anvendelsen
af kunstig intelligens fremme sociale og miljømæssige fremskridt og give virksomhederne og
den europæiske økonomi afgørende konkurrencemæssige fordele. Der er især behov for en
sådan indsats inden for vigtige sektorer, herunder klimaændringer, miljø og sundhed, den
offentlige sektor, finans, mobilitet, indre anliggender og landbrug. De samme elementer og
teknikker, der skaber de socioøkonomiske fordele ved kunstig intelligens, kan imidlertid også
medføre nye risici eller negative konsekvenser for enkeltpersoner eller samfundet. I lyset af
den hurtige teknologiske udvikling og de mulige udfordringer er EU fast besluttet på at stræbe
efter en afbalanceret tilgang. Det er i Unionens interesse at bevare EU's teknologiske
førerposition og sikre, at europæerne kan drage fordel af nye teknologier, der udvikles og som
fungerer i overensstemmelse med Unionens værdier, grundlæggende rettigheder og
principper.
Dette forslag lever op til det politiske tilsagn fra kommissionsformand Ursula von der Leyen,
som i sine politiske retningslinjer for Kommissionen for 2019-2024 "En mere ambitiøs
Union"1
bebudede, at Kommissionen ville fremsætte forslag til lovgivning om en koordineret
europæisk tilgang til de menneskelige og etiske konsekvenser af kunstig intelligens. I
forlængelse heraf offentliggjorde Kommissionen den 19. februar 2020 "Hvidbog om kunstig
intelligens – en europæisk tilgang til ekspertise og tillid"2
. Hvidbogen indeholder politiske
valgmuligheder, der har til formål både at fremme anvendelsen af kunstig intelligens og at
håndtere de risici, der er forbundet med visse anvendelser af denne teknologi. Sigtet med dette
forslag er at gennemføre den anden målsætning om udvikling af et tillidsmiljø ved at foreslå
en retlig ramme for pålidelig kunstig intelligens. Forslaget er baseret på EU's værdier og
grundlæggende rettigheder og har til formål at give brugere og befolkningen i bred forstand
tillid til at anvende AI-baserede løsninger, samtidig med at virksomhederne tilskyndes til at
udvikle dem. Kunstig intelligens bør være et redskab, der tjener mennesker og udgør en
positiv kraft i samfundet med det endelige mål at øge menneskers velfærd. Regler for kunstig
intelligens, der vedrører EU-markedet eller på anden måde påvirker mennesker i Unionen, bør
derfor være menneskecentrerede, således at folk kan have tillid til, at teknologien anvendes på
en måde, der er sikker og i overensstemmelse med lovgivningen, herunder respekten for de
grundlæggende rettigheder. Efter offentliggørelsen af hvidbogen iværksatte Kommissionen en
bred interessenthøring, som blev mødt med stor interesse af en lang række interessenter, som i
vid udstrækning støttede regulerende indgreb til imødegåelse af de udfordringer og
bekymringer, som den stigende brug af kunstig intelligens giver anledning til.
Med forslaget imødekommes også eksplicitte anmodninger fra Europa-Parlamentet og Det
Europæiske Råd, som gentagne gange har opfordret til lovgivningsmæssige tiltag for at sikre
et velfungerende indre marked for kunstig intelligens-systemer ("AI-systemer"), hvor både
1
https://ec.europa.eu/commission/sites/beta-political/files/political-guidelines-next-commission_da.pdf.
2
Europa-Kommissionen, Hvidbog om kunstig intelligens - en europæisk tilgang til ekspertise og tillid
(COM (2020) 65 final).
DA 2 DA
fordele og risici ved kunstig intelligens håndteres tilfredsstillende på EU-plan. Hermed støttes
målet om, at Unionen skal være førende på verdensplan inden for udvikling af sikker,
pålidelig og etisk kunstig intelligens som anført af Det Europæiske Råd3
, og der sikres
beskyttelse af etiske principper, som Europa-Parlamentet specifikt har anmodet om4
.
I 2017 opfordrede Det Europæiske Råd til "en erkendelse af, at det haster med at se nærmere
på nye tendenser", herunder "spørgsmål som kunstig intelligens ..., samtidig med at der sikres
et højt niveau af databeskyttelse, digitale rettigheder og etiske standarder."5
I sine
konklusioner fra 2019 om den koordinerede plan for udviklingen og anvendelsen af kunstig
intelligens produceret i Europa6
fremhævede Rådet endvidere betydningen af at sikre, at de
europæiske borgeres rettigheder respekteres fuldt ud, og opfordrede til en revision af den
relevante lovgivning for at gøre den egnet til formålet med de nye muligheder og
udfordringer, der skyldes kunstig intelligens. Det Europæiske Råd har også opfordret til en
klar definition af de AI-anvendelser, der bør betragtes som højrisiko-anvendelser7
.
I de seneste konklusioner af 21. oktober 2020 opfordres der endvidere til at tackle visse AI-
systemers uigennemsigtighed, kompleksitet, forudindtagethed, en vis grad af uforudsigelighed
og delvis autonome adfærd for at sikre, at de er forenelige med de grundlæggende rettigheder
og for at lette håndhævelsen af retsforskrifter8
.
Europa-Parlamentet har også ydet en betydelig indsats i forbindelse med kunstig intelligens. I
oktober 2020 vedtog det en række beslutninger vedrørende kunstig intelligens, herunder om
etik9
, ansvar10
og ophavsret11
. I 2021 blev disse efterfulgt af resolutioner om brugen af
kunstig intelligens i straffesager12
og inden for uddannelse, kultur og den audiovisuelle
sektor13
. Europa-Parlamentets beslutning om en ramme for etiske aspekter af kunstig
intelligens, robotteknologi og relaterede teknologier anbefaler specifikt Kommissionen at
foreslå lovgivningsmæssige tiltag for at udnytte mulighederne og fordelene ved kunstig
intelligens, men også for at sikre beskyttelse af etiske principper. Beslutningen indeholder en
tekst til det lovgivningsmæssige forslag til en forordning om etiske principper for udvikling,
3
Det Europæiske Råd, Ekstraordinært møde i Det Europæiske Råd (1. og 2. oktober 2020) −
Konklusioner, EUCO 13/20, 2020, s. 6.
4
Europa-Parlamentets beslutning af 20. oktober 2020 med henstillinger til Kommissionen om en ramme
for etiske aspekter af kunstig intelligens, robotteknologi og relaterede teknologier, 2020/2012(INL).
5
Det Europæiske Råd, Møde i Det Europæiske Råd (19. oktober 2017) − Konklusioner, EUCO 14/17,
2017, s. 8.
6
Rådet for Den Europæiske Union, Kunstig intelligens b) Konklusioner om en koordineret plan for
kunstig intelligens - Vedtagelse 6177/19, 2019.
7
Det Europæiske Råd, Ekstraordinært møde i Det Europæiske Råd (1. og 2. oktober 2020) −
Konklusioner, EUCO 13/20, 2020.
8
Rådet for Den Europæiske Union, Formandskabets konklusioner – Chartret om grundlæggende
rettigheder i forbindelse med kunstig intelligens og digital forandring, 11481/20, 2020.
9
Europa-Parlamentets beslutning af 20. oktober 2020 med henstillinger til Kommissionen om en ramme
for etiske aspekter af kunstig intelligens, robotteknologi og relaterede teknologier, 2020/2012(INL).
10
Europa-Parlamentets beslutning af 20. oktober 2020 med henstillinger til Kommissionen om en
civilretlig erstatningsansvarsordning for kunstig intelligens, 2020/2014(INL).
11
Europa-Parlamentets beslutning af 20. oktober 2020 om intellektuel ejendomsret i forbindelse med
udvikling af teknologier vedrørende kunstig intelligens, 2020/2015(INI).
12
Europa-Parlamentet. Udkast til betænkning om kunstig intelligens inden for strafferet og politiets og de
retlige myndigheders anvendelse heraf i strafferetlige sager, 2020/2016(INI).
13
Europa-Parlamentet. Udkast til betænkning om kunstig intelligens inden for uddannelse, kultur og den
audiovisuelle sektor 2020/2017(INI). I den forbindelse har Kommissionen vedtaget handlingsplanen for
digital uddannelse 2021-2027: Omstilling af uddannelsessystemerne med henblik på den digitale
tidsalder, som forudsætter udviklingen af etiske retningslinjer for AI og anvendelsen af data i
undervisning — COM(2020) 624 final.
DA 3 DA
udbredelse og anvendelse af kunstig intelligens, robotteknologi og relaterede teknologier. I
overensstemmelse med det politiske tilsagn, som kommissionsformand Ursula von der Leyen
gav i sine politiske retningslinjer for så vidt angår beslutninger vedtaget af Europa-
Parlamentet i henhold til artikel 225 i TEUF, tager dette forslag hensyn til Europa-
Parlamentets ovennævnte beslutning i fuld overensstemmelse med proportionalitetsprincippet,
nærhedsprincippet og princippet om bedre lovgivning.
På denne politiske baggrund fremlægger Kommissionen den foreslåede lovgivningsmæssige
ramme for kunstig intelligens med følgende specifikke mål:
 at sørge for, at AI-systemer, der bringes i omsætning og anvendes på EU-
markedet, er sikre og i overensstemmelse med eksisterende lovgivning om
grundlæggende rettigheder og Unionens værdier
 at sikre retssikkerheden med henblik på at fremme investering og innovation
inden for kunstig intelligens
 at forbedre forvaltning og effektiv håndhævelse af den eksisterende lovgivning
om grundlæggende rettigheder og sikkerhedskrav til AI-systemer
 at fremme udviklingen af et indre marked for lovlige, sikre og pålidelige AI-
anvendelser og forhindre markedsfragmentering.
For at nå disse mål indeholder dette forslag en afbalanceret og forholdsmæssigt afpasset
horisontal lovgivningsmæssig tilgang til kunstig intelligens, som er begrænset til de
mindstekrav, der er nødvendige for at håndtere de risici og problemer, der er forbundet med
kunstig intelligens, uden unødigt at begrænse eller hindre den teknologiske udvikling eller på
anden måde uforholdsmæssigt øge omkostningerne ved at omsætte AI-løsninger. Med
forslaget fastlægges en robust og fleksibel retlig ramme. På den ene side er det omfattende og
fremtidssikret med hensyn til de grundlæggende lovgivningsmæssige valg, herunder de
principbaserede krav, som AI-systemer bør overholde. På den anden side indføres der et
proportionalt reguleringssystem, der er baseret på en veldefineret risikobaseret
reguleringstilgang, som ikke skaber unødvendige handelsrestriktioner, hvorved retlig
indgriben er skræddersyet til de konkrete situationer, hvor der er en berettiget grund til
bekymring, eller hvor en sådan bekymring med rimelighed kan forventes i den nærmeste
fremtid. Samtidig indeholder de retlige rammer fleksible mekanismer, der gør det muligt at
tilpasse dem dynamisk, efterhånden som teknologien udvikler sig og nye problemstillinger
opstår.
Følgende en proportional risikobaseret tilgang fastsættes der med forslaget harmoniserede
regler for udvikling, markedsføring og anvendelse af AI-systemer i Unionen. Der foreslås en
enkelt fremtidssikret definition af kunstig intelligens. Visse særligt skadelige former for AI-
praksis forbydes som værende i strid med Unionens værdier, mens der foreslås specifikke
restriktioner og sikkerhedsforanstaltninger i forbindelse med visse anvendelser af systemer til
biometrisk fjernidentifikation med henblik på retshåndhævelse. I forslaget fastsættes en robust
metode til definition af "højrisiko-AI-systemer", som udgør en betydelig risiko for
menneskers sundhed og sikkerhed eller grundlæggende rettigheder. Disse AI-systemer skal
opfylde et sæt horisontale obligatoriske krav til pålidelig kunstig intelligens og der skal følges
en procedure for overensstemmelsesvurdering, inden disse systemer kan bringes i omsætning
på EU-markedet. Udbydere og brugere af disse systemer pålægges også gennemskuelige,
proportionale og klare forpligtelser til at garantere sikkerhed og overholdelse af eksisterende
lovgivning, der beskytter de grundlæggende rettigheder, i hele AI-systemets livscyklus. For
visse specifikke AI-systemer foreslås der kun minimale gennemsigtighedsforpligtelser,
navnlig ved anvendelse af chatbots eller "deep fakes".
DA 4 DA
De foreslåede regler vil blive håndhævet gennem et forvaltningssystem på medlemsstatsplan,
der bygger på allerede eksisterende strukturer, og en samarbejdsmekanisme på EU-plan med
oprettelsen af Det Europæiske Udvalg for Kunstig Intelligens. Der foreslås også yderligere
foranstaltninger til støtte for innovation, navnlig gennem reguleringsmæssige sandkasser for
kunstig intelligens og andre foranstaltninger til at mindske regelbyrden og støtte små og
mellemstore virksomheder (SMV'er) og startup-virksomheder.
1.2. Sammenhæng med de gældende regler på samme område
Forslagets horisontale karakter kræver fuld overensstemmelse med eksisterende EU-
lovgivning, der finder anvendelse på sektorer, hvor der allerede anvendes eller sandsynligvis
vil blive anvendt højrisiko-AI-systemer i den nærmeste fremtid.
Der sikres også overensstemmelse med EU's charter om grundlæggende rettigheder og den
eksisterende afledte EU-lovgivning om databeskyttelse, forbrugerbeskyttelse,
ikkeforskelsbehandling og ligestilling mellem kønnene. Forslaget berører ikke den generelle
forordning om databeskyttelse (forordning (EU) 2016/679) og retshåndhævelsesdirektivet
(direktiv (EU) 2016/680), men supplerer disse med et sæt harmoniserede regler for
udformning, udvikling og anvendelse af visse højrisiko-AI-systemer og begrænsninger for
visse anvendelser af systemer til biometrisk fjernidentifikation. Forslaget supplerer desuden
den eksisterende EU-lovgivning om ikkeforskelsbehandling med specifikke krav, der har til
formål at minimere risikoen for algoritmisk forskelsbehandling, navnlig i forbindelse med
udformningen og kvaliteten af de datasæt, der anvendes til udvikling af AI-systemer,
suppleret med krav om testning, risikostyring, dokumentation og menneskeligt tilsyn i hele
AI-systemernes livscyklus. Forslaget berører ikke anvendelsen af EU-konkurrenceretten.
For så vidt angår højrisiko-AI-systemer, der indgår som sikkerhedskomponenter i produkter,
vil dette forslag blive integreret i den eksisterende sektorspecifikke sikkerhedslovgivning for
at sikre konsekvens, undgå overlap og minimere yderligere byrder. Navnlig for så vidt angår
højrisiko-AI-systemer i forbindelse med produkter, der er omfattet af lovgivning under den
nye lovgivningsmæssige ramme (f.eks. maskiner, medicinsk udstyr, legetøj), vil de krav til
AI-systemer, der er fastsat i dette forslag, blive kontrolleret som led i de eksisterende
procedurer for overensstemmelsesvurdering i henhold til den relevante lovgivning under den
nye lovgivningsmæssige ramme. Hvad angår samspillet mellem kravene, er det meningen, at
de sikkerhedsrisici, der er specifikke for AI-systemer, omfattes af kravene i dette forslag,
mens lovgivning under den nye lovgivningsmæssige ramme har til formål at sikre det
endelige produkts samlede sikkerhed og derfor kan indeholde specifikke krav vedrørende
sikker integration af et AI-system i det endelige produkt. Forslaget til en maskinforordning,
der vedtages samme dag som dette forslag, afspejler fuldt ud denne tilgang. For så vidt angår
højrisiko-AI-systemer i forbindelse med produkter, der er omfattet af en relevant lovgivning
efter den gamle metode (f.eks. luftfart og biler), finder dette forslag ikke direkte anvendelse.
De forudgående væsentlige krav til højrisiko-AI-systemer, der er fastsat i dette forslag, skal
der dog tages højde for når der vedtages relevant gennemførelseslovgivning eller delegeret
lovgivning i henhold til disse retsakter.
For så vidt angår AI-systemer, der leveres eller anvendes af regulerede kreditinstitutter, bør de
myndigheder, der er ansvarlige for tilsynet med EU-lovgivningen om finansielle
tjenesteydelser, udpeges som kompetente myndigheder til at føre tilsyn med kravene i dette
forslag for at sikre en sammenhængende håndhævelse af forpligtelserne i henhold til dette
forslag og Unionens lovgivning om finansielle tjenesteydelser, hvor AI-systemer til en vis
grad er regulerede implicit i forhold til kreditinstitutternes interne forvaltningssystem. For
yderligere at styrke sammenhængen er proceduren for overensstemmelsesvurdering og nogle
af udbydernes proceduremæssige forpligtelser i henhold til dette forslag integreret i
DA 5 DA
procedurerne i direktiv 2013/36/EU om adgang til at udøve virksomhed som kreditinstitut og
om tilsyn14
.
Dette forslag er også i overensstemmelse med den gældende EU-lovgivning om
tjenesteydelser, herunder om formidlingstjenester, der er reguleret af direktiv 2000/31/EF15
om elektronisk handel og Kommissionens nylige forslag til en retsakt om digitale tjenester16
.
For så vidt angår AI-systemer, der er komponenter til store IT-systemer inden for området
med frihed, sikkerhed og retfærdighed, der forvaltes af Den Europæiske Unions Agentur for
den Operationelle Forvaltning af Store IT-Systemer (eu-LISA), finder forslaget ikke
anvendelse på de AI-systemer, der er bragt i omsætning eller taget i brug, før der er gået et år
fra datoen for denne forordnings anvendelse, medmindre erstatningen eller ændringen af disse
retsakter medfører en væsentlig ændring af det pågældende AI-systems eller -systemers
design eller tilsigtede formål.
1.3. Sammenhæng med Unionens politik på andre områder
Forslaget er en del af en bredere omfattende pakke af foranstaltninger, der tager fat på de
problemer, som udviklingen og anvendelsen af kunstig intelligens medfører, som behandlet i
hvidbogen om kunstig intelligens. Der sikres derfor overensstemmelse og komplementaritet
med andre igangværende eller planlagte initiativer fra Kommissionens side, som også tager
fat på disse problemer, herunder revisionen af den sektorspecifikke produktlovgivning (f.eks.
maskindirektivet og direktivet om produktsikkerhed i almindelighed) og initiativer, der
omhandler ansvarsspørgsmål i forbindelse med nye teknologier, herunder AI-systemer. Disse
initiativer bygger videre på og supplerer dette forslag med henblik på at skabe juridisk klarhed
og fremme udviklingen af et tillidsmiljø i forbindelse med kunstig intelligens i Europa.
Forslaget hænger også sammen med Kommissionens digitale strategi, idet det bidrager til at
fremme teknologi, der tjener alle, som er en af de tre hovedsøjler til støtte for de politiske
retningslinjer og målsætninger, der blev annonceret i meddelelsen om "Europas digitale
fremtid i støbeskeen"17
. Det fastlægger en sammenhængende, effektiv og proportional ramme
for at sikre, at kunstig intelligens udvikles på måder, der respekterer borgernes rettigheder og
fortjener deres tillid, gør Europa klar til den digitale tidsalder og omdanner de næste ti år til
det digitale årti18
.
Desuden er fremme af AI-drevet innovation tæt forbundet med datastyringsforordningen19
,
direktivet om åbne data20
og andre initiativer under EU's strategi for data21
, som vil
14
Europa-Parlamentets og Rådets direktiv 2013/36/EU af 26. juni 2013 om adgang til at udøve
virksomhed som kreditinstitut og om tilsyn med kreditinstitutter og investeringsselskaber, om ændring
af direktiv 2002/87/EF og om ophævelse af direktiv 2006/48/EF og 2006/49/EF (EUT L 176 af
27.6.2013, s. 338).
15
Europa-Parlamentets og Rådets direktiv 2000/31/EF af 8. juni 2000 om visse retlige aspekter af
informationssamfundstjenester, navnlig elektronisk handel, i det indre marked ("Direktivet om
elektronisk handel") (EFT L 178 af 17.7.2000, s. 1).
16
Forslag til Europa-Parlamentets og Rådets forordning om et indre marked for digitale tjenester (retsakt
om digitale tjenester) og om ændring af direktiv 2000/31/EF (COM(2020) 825 final).
17
Meddelelse fra Kommissionen: Europas digitale fremtid i støbeskeen, COM/2020/67 final.
18
kompas: den.
19
Forslag til Europa-Parlamentets og Rådets forordning om europæisk datastyring (forordning om
datastyring), COM(2020) 767.
20
Europa-Parlamentets og Rådets direktiv (EU) 2019/1024 af 20. juni 2019 om åbne data og
videreanvendelse af den offentlige sektors informationer PE/28/2019/REV/1 (EUT L 172 af 26.6.2019,
s. 56).
21
Meddelelse om "En europæisk strategi for data", COM(2020) 66 final.
DA 6 DA
etablere pålidelige mekanismer og tjenester til videreanvendelse, udveksling og samling af
data, som er afgørende for udviklingen af datadrevne AI-modeller af høj kvalitet.
Forslaget styrker også i væsentlig grad Unionens rolle med hensyn til at bidrage til
udformningen af globale normer og standarder og fremme pålidelig kunstig intelligens, der er
i overensstemmelse med Unionens værdier og interesser. Den giver Unionen et stærkt
grundlag for yderligere dialog med sine eksterne partnere, herunder tredjelande, og i
internationale fora om spørgsmål vedrørende kunstig intelligens.
2. RETSGRUNDLAG, NÆRHEDSPRINCIPPET OG
PROPORTIONALITETSPRINCIPPET
2.1. Retsgrundlag
Retsgrundlaget for forslaget er først og fremmest artikel 114 i traktaten om Den Europæiske
Unions funktionsmåde (TEUF), som indeholder bestemmelser om vedtagelse af
foranstaltninger, der skal sikre det indre markeds oprettelse og funktion.
Dette forslag udgør en central del af EU's strategi for et digitalt indre marked. Hovedformålet
med dette forslag er at sikre et velfungerende indre marked ved at fastsætte harmoniserede
regler, navnlig for udvikling, markedsføring på EU-markedet og brug af produkter og
tjenester, der gør brug af AI-teknologier eller leveres som selvstændige AI-systemer. Nogle
medlemsstater overvejer allerede nationale regler for at sikre, at kunstig intelligens er sikker,
og at den udvikles og anvendes i overensstemmelse med forpligtelserne vedrørende
grundlæggende rettigheder. Dette vil sandsynligvis medføre to hovedproblemer: i) en
fragmentering af det indre marked på væsentlige punkter, navnlig vedrørende kravene til AI-
produkter og -tjenester, deres markedsføring, deres anvendelse, ansvarsspørgsmål og de
offentlige myndigheders tilsyn, og ii) den betydelige forringelse af retssikkerheden for både
udbydere og brugere af AI-systemer med hensyn til, hvordan eksisterende og nye regler vil
finde anvendelse på disse systemer inden for Unionen. I betragtning af den omfattende
bevægelighed af varer og tjenesteydelser på tværs af grænserne kan disse to problemer bedst
løses gennem harmonisering af lovgivningen på EU-plan.
Ved forslaget fastlægges der således vedrørende udformningen og udviklingen af visse AI-
systemer, inden de bringes i omsætning, fælles obligatoriske krav, som vil blive gjort
yderligere operationelle gennem harmoniserede tekniske standarder. Der tages også højde for
situationer, efter at AI-systemer er blevet bragt i omsætning, ved at harmonisere den måde,
hvorpå efterfølgende kontrol gennemføres.
I betragtning af at dette forslag indeholder visse specifikke regler om beskyttelse af fysiske
personer i forbindelse med behandling af personoplysninger, navnlig begrænsninger i
anvendelsen af AI-systemer til biometrisk fjernidentifikation i realtid på offentlige steder med
henblik på retshåndhævelse, er det desuden hensigtsmæssigt at basere denne forordning på
artikel 16 i TEUF for så vidt angår disse specifikke regler.
2.2. Nærhedsprincippet (for områder, der ikke er omfattet af enekompetence)
Eftersom kunstig intelligens ofte afhænger af store og varierede datasæt, og kan være indlejret
i ethvert produkt eller tjeneste, der cirkulerer frit på det indre marked, kan målene med dette
forslag ikke opfyldes effektivt af medlemsstaterne alene. Desuden vil et kludetæppe af
potentielt divergerende nationale regler forhindre produkter og tjenester i forbindelse med AI-
systemer i at cirkulere gnidningsløst i hele EU og vil være ineffektivt med hensyn til at
garantere sikkerheden og beskyttelsen af de grundlæggende rettigheder og Unionens værdier i
de forskellige medlemsstater. Nationale tilgange til løsning af problemerne vil kun skabe
DA 7 DA
yderligere retsusikkerhed og hindringer og vil forsinke markedsaccepten af kunstig
intelligens.
Målene med dette forslag kan bedre nås på EU-plan for at undgå en yderligere opsplitning af
det indre marked i potentielt modstridende nationale rammer, der forhindrer fri bevægelighed
for varer og tjenesteydelser, der integrerer kunstig intelligens. En solid europæisk
lovgivningsmæssig ramme for pålidelig kunstig intelligens vil også sikre lige vilkår og
beskytte alle borgere samt styrke Europas konkurrenceevne og industrielle grundlag inden for
kunstig intelligens. Kun fælles handling på EU-plan kan også beskytte Unionens digitale
suverænitet og udnytte dens redskaber og lovgivningsmæssige beføjelser til at forme globale
regler og standarder.
2.3. Proportionalitetsprincippet
Forslaget bygger på eksisterende retlige rammer og er rimeligt og nødvendigt for at nå
målene, da det følger en risikobaseret tilgang og kun pålægger reguleringsmæssige byrder, når
et AI-system sandsynligvis vil udgøre en stor risiko for grundlæggende rettigheder og
sikkerhed. For andre AI-systemer, der ikke er højrisikosystemer, pålægges der kun meget
begrænsede gennemsigtighedsforpligtelser, f.eks. med hensyn til markering af et AI-system,
når det bruges til at interagere med mennesker. For højrisiko-AI-systemer er kravene om data
af høj kvalitet, dokumentation og sporbarhed, gennemsigtighed, menneskeligt tilsyn,
robusthed og modstandsdygtighed strengt nødvendige for at mindske de risici, som kunstig
intelligens medfører for grundlæggende rettigheder og sikkerhed, og som ikke er omfattet af
andre eksisterende retlige rammer. Harmoniserede standarder, vejledning og
overholdelsesfremmende værktøjer vil hjælpe udbydere og brugere med at overholde de krav,
der er fastsat i forslaget, og minimere deres omkostninger. Operatørernes omkostninger står i
et rimeligt forhold til de opnåede mål og de økonomiske og omdømmemæssige fordele, som
operatørerne kan forvente af dette forslag.
2.4. Valg af retsakt
Valget af en forordning som juridisk instrument er begrundet i behovet for en ensartet
anvendelse af de nye regler, såsom definitionen af kunstig intelligens, forbuddet mod visse
former for skadelig AI-baseret praksis og klassificeringen af visse AI-systemer. Da en
forordning finder direkte anvendelse i overensstemmelse med artikel 288 i TEUF vil det
mindske retlig fragmentering og lette udviklingen af et indre marked for lovlige, sikre og
pålidelige AI-systemer. Dette vil navnlig ske ved at indføre et harmoniseret sæt centrale krav
med hensyn til højrisiko-AI-systemer og forpligtelser for udbydere og brugere af disse
systemer, forbedre beskyttelsen af grundlæggende rettigheder og skabe retssikkerhed for både
operatører og forbrugere.
Samtidig er forordningens bestemmelser ikke unødigt præskriptive og giver plads til
medlemsstaternes indsats på flere niveauer for elementer, der ikke underminerer initiativets
mål, navnlig den interne tilrettelæggelse af systemet til markedsovervågning og indførelsen af
foranstaltninger til fremme af innovation.
3. RESULTATER AF EFTERFØLGENDE EVALUERINGER, HØRINGER AF
INTERESSEREDE PARTER OG KONSEKVENSANALYSER
3.1. Høringer af interesserede parter
Dette forslag er resultatet af en omfattende høring af alle de vigtigste interesserede parter,
hvor de generelle principper og minimumsstandarder for Kommissionens høring af
interesserede parter blev anvendt.
DA 8 DA
Samtidig med offentliggørelsen af hvidbogen om kunstig intelligens blev der den 19. februar
2020 iværksat en offentlig onlinehøring, som løb indtil den 14. juni 2020. Formålet med
denne høring var at indsamle synspunkter og udtalelser om hvidbogen. Den var henvendt til
alle interesserede parter fra den offentlige og private sektor, herunder regeringer, lokale
myndigheder, kommercielle og ikkekommercielle organisationer, arbejdsmarkedets parter,
eksperter, akademikere og borgere. Efter at have analyseret alle de modtagne svar
offentliggjorde Kommissionen et resumé af resultaterne og de individuelle svar på sit
websted22
.
I alt blev der modtaget 1215 bidrag, heraf 352 fra virksomheder eller
erhvervsorganisationer/sammenslutninger, 406 fra enkeltpersoner (92 % enkeltpersoner fra
EU), 152 på vegne af akademiske institutioner/forskningsinstitutioner og 73 fra offentlige
myndigheder. Civilsamfundets stemme var repræsenteret af 160 respondenter (heriblandt 9
forbrugerorganisationer, 129 ikkestatslige organisationer og 22 fagforeninger), og 72
respondenter bidrog som "andre". Af de 352 repræsentanter for erhvervslivet og industrien var
222 repræsentanter for virksomheder, hvoraf 41,5 % var mikrovirksomheder og små og
mellemstore virksomheder. Resten kom fra erhvervssammenslutninger. Samlet set kom 84 %
af besvarelserne fra erhvervslivet og industrien i EU-27. Afhængigt af spørgsmålet brugte
mellem 81 og 598 af respondenterne muligheden for at indsætte kommentarer i fri tekst. Der
blev indsendt over 450 holdningsdokumenter via EUSurvey-webstedet, enten som supplement
til spørgeskemabesvarelser (over 400) eller som selvstændige bidrag (over 50).
Der er generel enighed blandt interessenterne om, at der er behov for handling. Et stort flertal
af interessenterne er enige i, at der er huller i lovgivningen, eller at der er behov for ny
lovgivning. Flere interessenter advarer imidlertid Kommissionen om at undgå overlap,
modstridende forpligtelser og overregulering. Der var mange bemærkninger, der
understregede vigtigheden af en teknologineutral og proportional lovgivningsmæssig ramme.
Interessenterne efterlyste for det meste en snæver, klar og præcis definition af kunstig
intelligens. Interessenterne fremhævede også, at det ud over præciseringen af begrebet kunstig
intelligens er vigtigt at definere "risiko", "højrisiko", "lavrisiko", "biometrisk
fjernidentifikation" og "skade".
De fleste respondenter går udtrykkeligt ind for den risikobaserede tilgang. Anvendelse af en
risikobaseret ramme blev anset for at være en bedre løsning end en generel regulering af alle
AI-systemer. Risiko- og trusselstyperne bør baseres på en sektorspecifik og individuel tilgang.
Risikoen bør også beregnes under hensyntagen til indvirkningen på rettigheder og sikkerhed.
Reguleringsmæssige sandkasser kan være meget nyttige til fremme af kunstig intelligens og
hilses velkommen af visse interessenter, navnlig erhvervssammenslutningerne.
Blandt dem, der formulerede deres mening om håndhævelsesmodellerne, gik mere end 50 %,
navnlig fra erhvervssammenslutningerne, ind for en kombination af en forudgående
egenrisikovurdering og en efterfølgende håndhævelse for højrisiko-AI-systemer.
3.2. Indhentning og brug af ekspertbistand
Forslaget bygger på to års analyse og tæt inddragelse af interessenter, herunder akademikere,
virksomheder, arbejdsmarkedets parter, ikkestatslige organisationer, medlemsstaterne og
borgerne. Det forberedende arbejde startede i 2018 med oprettelsen af Ekspertgruppen på
Højt Niveau vedrørende Kunstig Intelligens, som havde en inklusiv og bred
sammensætning af 52 velkendte eksperter, der havde til opgave at rådgive Kommissionen om
22
Se høringens resultater her.
DA 9 DA
gennemførelsen af Kommissionens strategi for kunstig intelligens. I april 2019 bakkede
Kommissionen op om23
de centrale krav i ekspertgruppens etiske retningslinjer for pålidelig
kunstig intelligens24
, som var blevet revideret for at tage hensyn til mere end 500 indlæg fra
interessenter. Som det fremgår af den lange række af etiske kodekser og principper, der er
udviklet af mange private og offentlige organisationer i og uden for Europa, afspejler de
centrale krav den brede og fælles tilgang, at udvikling og anvendelse af kunstig intelligens bør
styres af visse essentielle værdiorienterede principper. Ved hjælp af vurderingslisten for
pålidelig kunstig intelligens25
blev disse krav gjort operationelle i en pilotproces med over 350
organisationer.
Desuden blev Den Europæiske Alliance vedrørende Kunstig Intelligens26
dannet som en
platform, hvor ca. 4000 interessenter drøftede de teknologiske og samfundsmæssige
konsekvenser af kunstig intelligens, hvilket kulminerede i en årlig AI-forsamling.
Med Hvidbogen om kunstig intelligens blev der bygget videre på denne inklusive tilgang,
hvilket afstedkom feedback fra mere end 1250 interessenter, herunder over 450 yderligere
holdningsdokumenter. Som følge heraf offentliggjorde Kommissionen en indledende
konsekvensanalyse, som igen affødte mere end 130 kommentarer27
. Der blev også afholdt
yderligere workshops og arrangementer for interessenter, og resultaterne herfra
understøttede konsekvensanalysen og de politiske valg, der er truffet i forbindelse med dette
forslag28
. Desuden indgik en ekstern undersøgelse i konsekvensanalysen.
3.3. Konsekvensanalyse
I overensstemmelse med sin politik for bedre regulering har Kommissionen foretaget en
konsekvensanalyse af dette forslag, som blev behandlet af Kommissionens Udvalg for
Forskriftskontrol. Der blev afholdt et møde med Udvalget for Forskriftskontrol den 16.
december 2020, som blev efterfulgt af en negativ udtalelse. Efter en omfattende revision af
konsekvensanalysen for at imødekomme henstillingerne og en fornyet forelæggelse af
konsekvensanalysen afgav Udvalget for Forskriftskontrol en positiv udtalelse den 21. marts
2021. Udtalelserne fra Udvalget for Forskriftskontrol, henstillingerne og en redegørelse for,
hvordan der er taget hensyn til dem, findes i bilag 1 til konsekvensanalysen.
Kommissionen har undersøgt forskellige politiske løsningsmodeller for at nå det overordnede
mål med forslaget, som er at sikre et velfungerende indre marked ved at skabe
betingelserne for udvikling og anvendelse af pålidelig kunstig intelligens i Unionen.
Fire politiske løsningsmodeller med forskellige grader af regulerende indgreb blev vurderet:
 Model 1: en EU-retsakt om indførelse af en frivillig mærkningsordning.
 Model 2: en sektorspecifik ad hoc-tilgang.
 Model 3: en horisontal EU-retsakt baseret på en proportional risikobaseret tilgang.
23
Europa-Kommissionen, Opbygning af tillid til menneskecentreret kunstig intelligens, COM(2019) 168.
24
Ekspertgruppen på Højt Niveau vedrørende Kunstig Intelligens — Ethics Guidelines for Trustworthy
AI, 2019.
25
Ekspertgruppen på Højt Niveau vedrørende Kunstig Intelligens — Assessment List for Trustworthy
Artificial Intelligence (ALTAI) for self-assessment, 2020.
26
Den Europæiske Alliance vedrørende Kunstig Intelligens er et multiinteressentforum, der blev lanceret i
juni 2018 — https://ec.europa.eu/digital-single-market/en/european-ai-alliance.
27
Europa-Kommissionen — Indledende konsekvensanalyse med henblik på forslag til Europa-
Parlamentets og Rådets retsakt om fastlæggelse af krav til kunstig intelligens.
28
Nærmere oplysninger om alle gennemførte høringer findes i bilag 2 til konsekvensanalysen.
DA 10 DA
 Model 3+: en horisontal EU-retsakt baseret på en proportional risikobaseret
tilgang + adfærdskodekser for AI-systemer, der ikke er højrisikosystemer.
 Model 4: en horisontal EU-retsakt, der fastsætter obligatoriske krav til alle AI-
systemer, uanset hvilken risiko de udgør.
I henhold til Kommissionens fastlagte metode blev hver politiske løsningsmodel evalueret i
forhold til de økonomiske og samfundsmæssige virkninger med særligt fokus på
indvirkningen på de grundlæggende rettigheder. Den foretrukne løsningsmodel er model 3+,
en lovgivningsmæssige ramme, der kun gælder for højrisiko-AI-systemer, med mulighed for,
at alle udbydere af AI-systemer, der ikke er højrisikosystemer, kan følge en adfærdskodeks.
Kravene vil vedrøre data, dokumentation og sporbarhed, tilvejebringelse af oplysninger,
gennemsigtighed, menneskeligt tilsyn og robusthed samt nøjagtighed og vil være
obligatoriske for højrisiko-AI-systemer. Virksomheder, der indfører adfærdskodekser for
andre AI-systemer, vil gøre dette frivilligt.
Den foretrukne model blev anset for velegnet til at opfylde målsætningerne i dette forslag på
den mest effektive måde. Ved at fastlægge begrænsede, men effektive krav til udviklere og
brugere af kunstig intelligens mindsker den foretrukne løsningsmodel risikoen for krænkelse
af grundlæggende rettigheder og menneskers sikkerhed og fremmer effektivt tilsyn og effektiv
håndhævelse ved kun at målrette kravene mod systemer, hvor der er stor risiko for, at sådanne
krænkelser kan forekomme. Som følge heraf holder denne model efterlevelsesomkostningerne
på et minimum, hvorved man undgår unødvendige forsinkelser i udbredelsen på grund af
højere priser og efterlevelsesomkostninger. For at afhjælpe eventuelle ulemper for SMV'er
omfatter denne løsningsmodel flere bestemmelser til støtte for deres efterlevelse og reduktion
af deres omkostninger, herunder oprettelse af reguleringsmæssige sandkasser og en
forpligtelse til at tage hensyn til SMV'ers interesser, når der fastsættes gebyrer i forbindelse
med overensstemmelsesvurdering.
Den foretrukne løsningsmodel vil øge borgernes tillid til kunstig intelligens, øge
retssikkerheden for virksomhederne, og medlemsstaterne vil ikke have grund til at træffe
ensidige foranstaltninger, der kan fragmentere det indre marked. Det indre marked for kunstig
intelligens vil sandsynligvis blomstre som følge af øget efterspørgsel medført af øget tillid,
flere tilgængelige tilbud på grund af retssikkerheden og fraværet af hindringer for AI-
systemers grænseoverskridende bevægelighed. Den Europæiske Union vil fortsætte med at
udvikle et hurtigt voksende AI-økosystem, der omfatter innovative tjenester og produkter med
integreret AI-teknologi eller selvstændige AI-systemer, hvilket resulterer i øget digital
autonomi.
Virksomheder eller offentlige myndigheder, der er udviklere eller brugere af AI-anvendelser,
der udgør en høj risiko for borgernes sikkerhed eller grundlæggende rettigheder, vil skulle
opfylde specifikke krav og forpligtelser. Opfyldelsen af disse krav vil i forbindelse med
levering af et gennemsnitligt højrisiko-AI-system til ca. 170 000 EUR medføre omkostninger
på ca. 6 000-7 000 EUR frem til 2025. For brugerne af AI vil der også være årlige
omkostninger forbundet med den tid, der bruges på at sikre menneskeligt tilsyn, i de tilfælde,
hvor dette er hensigtsmæssigt. Disse anslås til ca. 5 000-8 000 EUR om året.
Kontrolomkostningerne kan beløbe sig til yderligere 3 000-7 500 EUR for leverandører af
højrisiko-AI. Virksomheder eller offentlige myndigheder, der er udviklere eller brugere af AI-
anvendelser, der ikke er klassificeret som højrisiko, vil kun skulle opfylde minimale
oplysningskrav. De kunne imidlertid vælge i sammenslutning med andre at vedtage en
adfærdskodeks for at opfylde passende krav og for at sikre, at deres AI-systemer er pålidelige.
I et sådant tilfælde ville omkostningerne højst være som for højrisiko-AI-systemer, men
sandsynligvis lavere.
DA 11 DA
Virkningerne af de politiske løsningsmodeller for forskellige kategorier af interessenter
(erhvervsdrivende/virksomheder, overensstemmelsesvurderingsorganer,
standardiseringsorganer og andre offentlige organer, enkeltpersoner/borgere, forskere) er
nærmere forklaret i bilag 3 til konsekvensanalysen til støtte for dette forslag.
3.4. Målrettet regulering og forenkling
Dette forslag fastsætter forpligtelser, som vil gælde for udbydere og brugere af højrisiko-AI-
systemer. For udbydere, der udvikler og bringer sådanne systemer i omsætning på EU-
markedet, vil det skabe retssikkerhed og sikre, at der ikke opstår hindringer for
grænseoverskridende levering af AI-relaterede tjenester og produkter. For virksomheder, der
anvender kunstig intelligens, vil det fremme tilliden blandt deres kunder. For de nationale
offentlige forvaltninger vil det fremme offentlighedens tillid til brugen af kunstig intelligens
og styrke håndhævelsesmekanismerne (ved at indføre en europæisk koordineringsmekanisme,
tilvejebringe passende kapacitet og lette revisionen af AI-systemerne med nye krav til
dokumentation, sporbarhed og gennemsigtighed). Rammen omfatter desuden specifikke
foranstaltninger til støtte for innovation, herunder reguleringsmæssige sandkasser og
specifikke foranstaltninger, der skal hjælpe mindre brugere og udbydere af højrisiko-AI-
systemer med at overholde de nye regler.
Forslaget sigter også specifikt mod at styrke Europas konkurrenceevne og industrielle
grundlag inden for kunstig intelligens. Der sikres fuld overensstemmelse med eksisterende
sektorspecifik EU-lovgivning, som AI-systemer omfattes af (f.eks. om produkter og
tjenesteydelser), hvilket skaber yderligere klarhed og forenkler håndhævelsen af de nye regler.
3.5. Grundlæggende rettigheder
Brugen af kunstig intelligens med dens særlige karakteristika (f.eks. uigennemsigtighed,
kompleksitet, afhængighed af data, selvstændig adfærd) kan have en negativ indvirkning på
en række grundlæggende rettigheder, der er nedfældet i EU's charter om grundlæggende
rettigheder ("chartret"). Dette forslag har til formål at sikre et højt beskyttelsesniveau for disse
grundlæggende rettigheder og tager sigte på at håndtere forskellige risikokilder gennem en
klart defineret risikobaseret tilgang. Med et sæt krav til pålidelig kunstig intelligens og
forholdsmæssigt afpassede forpligtelser for alle værdikædens deltagere vil forslaget styrke og
fremme beskyttelsen af de rettigheder, der er beskyttet af chartret, navnlig retten til
menneskelig værdighed (artikel 1), respekt for privatliv og beskyttelse af personoplysninger
(artikel 7 og 8), ikke-forskelsbehandling (artikel 21) og ligestilling mellem kvinder og mænd
(artikel 23). Det har til formål at forhindre en afdæmpende virkning på ytringsfriheden
(artikel 11) og forsamlingsfriheden (artikel 12), at sikre adgangen til effektive retsmidler og til
en upartisk domstol, retten til et forsvar og uskyldsformodningen (artikel 47 og 48) samt sikre
det generelle princip om god forvaltningsskik. Alt efter hvad der er relevant på visse områder,
vil forslaget have en positiv indvirkning på rettighederne for en række særlige grupper, såsom
arbejdstagernes ret til retfærdige og rimelige arbejdsforhold (artikel 31), et højt
forbrugerbeskyttelsesniveau (artikel 28), børns rettigheder (artikel 24) og integration af
personer med handicap (artikel 26). Retten til et højt niveau af miljøbeskyttelse og forbedring
af miljøet (artikel 37) er også relevant, herunder i forbindelse med menneskers sundhed og
sikkerhed. Forpligtelserne til forudgående testning, risikostyring og menneskeligt tilsyn vil
også lette overholdelsen af andre grundlæggende rettigheder ved at minimere risikoen for
fejlagtige eller partiske AI-støttede beslutninger på kritiske områder såsom uddannelse,
beskæftigelse, vigtige tjenester, retshåndhævelse og retsvæsen. Skulle der alligevel
forekomme overtrædelser af de grundlæggende rettigheder, sikres de berørte personer
mulighed for effektiv klageadgang gennem AI-systemernes gennemsigtighed og sporbarhed,
kombineret med en stærk efterfølgende kontrol.
DA 12 DA
Dette forslag medfører visse begrænsninger i friheden til at oprette og drive egen virksomhed
(artikel 16) og friheden for kunst og videnskab (artikel 13) for at sikre overholdelse af
tvingende almene hensyn såsom sundhed, sikkerhed, forbrugerbeskyttelse og beskyttelse af
andre grundlæggende rettigheder ("ansvarlig innovation"), når der udvikles og anvendes AI-
teknologi med høj risiko. Disse begrænsninger er forholdsmæssigt afpassede og er
begrænsede til det minimum, der er nødvendigt for at forebygge og afbøde alvorlige
sikkerhedsrisici og sandsynlige overtrædelser af grundlæggende rettigheder.
De øgede gennemsigtighedsforpligtelser vil heller ikke i uforholdsmæssig høj grad påvirke
retten til beskyttelse af intellektuel ejendomsret (artikel 17, stk. 2), da de begrænses til det
minimum, der er nødvendigt for, at enkeltpersoner kan udøve deres ret til effektive retsmidler
og den nødvendige gennemsigtighed over for tilsyns- og håndhævelsesmyndighederne i
overensstemmelse med deres mandater. Enhver videregivelse af oplysninger vil ske i
overensstemmelse med relevant lovgivning på området, herunder direktiv 2016/943 om
beskyttelse af fortrolig knowhow og fortrolige forretningsoplysninger
(forretningshemmeligheder) mod ulovlig erhvervelse, brug og videregivelse. Når offentlige
myndigheder og bemyndigede organer skal have adgang til fortrolige oplysninger eller
kildekoder for at kunne undersøge, om væsentlige forpligtelser er opfyldt, er de underlagt
bindende tavshedspligt.
4. VIRKNINGER FOR BUDGETTET
Medlemsstaterne udpeger de tilsynsmyndigheder, der skal have ansvaret for at gennemføre de
lovgivningsmæssige krav. Tilsynsfunktionen kunne bygge på eksisterende ordninger, f.eks.
angående overensstemmelsesvurderingsorganer eller markedsovervågning, men ville kræve
tilstrækkelig teknologisk ekspertise og menneskelige og finansielle ressourcer. Afhængigt af
den eksisterende struktur i hver medlemsstat kan dette beløbe sig til 1-25 fuldtidsækvivalenter
pr. medlemsstat.
En detaljeret oversigt over de omkostninger, der er forbundet hermed, findes i
"finansieringsoversigten" til dette forslag.
5. ANDRE FORHOLD
5.1. Planer for gennemførelsen og foranstaltninger til overvågning, evaluering og
rapportering
Det er afgørende at sørge for en robust overvågnings- og evalueringsmekanisme for at sikre,
at forslaget vil være effektivt med hensyn til at nå de specifikke mål. Kommissionen er
ansvarlig for at overvåge forslagets virkninger. Den opretter et system til registrering af
selvstændige højrisiko-AI-anvendelser i en offentlig EU-dækkende database. Denne
registrering vil også gøre det muligt for kompetente myndigheder, brugere og andre
interesserede personer at kontrollere, om et givet højrisiko-AI-system overholder forslagets
krav, og at føre øget tilsyn med de AI-systemer, der udgør en stor risiko for de grundlæggende
rettigheder. Til brug for databasen vil udbydere af kunstig intelligens være forpligtet til at give
meningsfulde oplysninger om deres systemer og om den overensstemmelsesvurdering, der er
foretaget af disse systemer.
Udbydere af kunstig intelligens vil desuden være forpligtet til at underrette de nationale
kompetente myndigheder om alvorlige hændelser eller fejl, der udgør en overtrædelse af
forpligtelserne vedrørende grundlæggende rettigheder, så snart de får kendskab til dem, samt
om alle tilbagekaldelser eller tilbagetrækninger af AI-systemer fra markedet. De nationale
kompetente myndigheder undersøger derefter hændelserne/fejlene, indsamler alle nødvendige
DA 13 DA
oplysninger og sender dem regelmæssigt til Kommissionen med fyldestgørende metadata.
Kommissionen vil supplere oplysningerne om hændelserne med en omfattende analyse af det
samlede marked for kunstig intelligens.
Kommissionen vil offentliggøre en rapport med evaluering og gennemgang af den foreslåede
ramme for kunstig intelligens fem år efter den dato, hvor den finder anvendelse.
5.2. Nærmere redegørelse for de enkelte bestemmelser i forslaget
5.2.1. ANVENDELSESOMRÅDE OG DEFINITIONER (AFSNIT I)
I afsnit I defineres forordningens genstand og anvendelsesområdet for de nye regler, der
omfatter markedsføring, ibrugtagning og anvendelse af AI-systemer. Desuden fastsættes de
definitioner, der anvendes i instrumentet. I den retlige ramme tilstræbes der en så
teknologineutral og fremtidssikret definition af et AI-system som muligt under hensyntagen til
den hurtige teknologiske udvikling og markedsudvikling i forbindelse med kunstig intelligens.
For at skabe den nødvendige retssikkerhed suppleres afsnit I af bilag I, som indeholder en
detaljeret liste over tilgange og teknikker til udvikling af kunstig intelligens, som
Kommissionen løbende skal tilpasse den teknologiske udvikling. Centrale deltagere i hele
værdikæden for kunstig intelligens er også klart defineret, f.eks. udbydere og brugere af AI-
systemer, der dækker både offentlige og private operatører med henblik på at sikre lige vilkår.
5.2.2. FORBUDT PRAKSIS MED HENSYN TIL KUNSTIG INTELLIGENS (AFSNIT II)
Afsnit II indeholder en liste over forbudt kunstig intelligens. I forordningen følges en
risikobaseret tilgang, hvor der skelnes mellem anvendelser af kunstig intelligens, som skaber
i) en uacceptabel risiko, ii) en høj risiko og iii) lav eller minimal risiko. Listen over forbudte
praksisser i afsnit II omfatter alle de AI-systemer, hvis anvendelse anses for at være i strid
med Unionens værdier, f.eks. ved at krænke grundlæggende rettigheder. Forbuddet omfatter
praksisser, der har et betydeligt potentiale til at manipulere en persons underbevidsthed ved
hjælp af subliminale teknikker eller udnytte sårbarheder hos specifikke sårbare grupper såsom
børn eller personer med handicap for væsentligt at forvride deres adfærd på en måde, der
sandsynligvis vil forvolde dem eller en anden person psykisk eller fysisk skade. Anden
manipulerende eller udnyttende praksis, som påvirker voksne, og som kan finde sted med
bistand af AI-systemer, kan være omfattet af den eksisterende lovgivning om databeskyttelse,
forbrugerbeskyttelse og digitale tjenester, som sikrer, at fysiske personer er behørigt
informerede og frit kan vælge ikke at blive genstand for profilering eller anden praksis, der
kan påvirke deres adfærd. Forslaget omfatter desuden et forbud mod offentlige myndigheders
generelle brug af sociale pointsystemer baseret på kunstig intelligens. Endelig er det også
forbudt at anvende systemer til biometrisk fjernidentifikation i realtid på offentlige steder med
henblik på retshåndhævelse, med visse begrænsede undtagelser.
5.2.3. HØJRISIKO-AI-SYSTEMER (AFSNIT III)
Afsnit III indeholder specifikke regler for AI-systemer, der medfører høj risiko for fysiske
personers sundhed og sikkerhed eller grundlæggende rettigheder. I overensstemmelse med en
risikobaseret tilgang tillades disse højrisiko-AI-systemer på det europæiske marked, forudsat
at visse obligatoriske krav opfyldes, og at der foretages en forudgående
overensstemmelsesvurdering. Klassificeringen af et AI-system som værende et
højrisikosystem baseres på dets tilsigtede formål, hvilket er i overensstemmelse med den
eksisterende produktsikkerhedslovgivning. Klassificeringen som højrisiko afhænger derfor
ikke kun af den funktion, AI-systemet udfører, men også af det specifikke formål med og de
særlige modaliteter i anvendelsen af systemet.
I afsnit III, kapitel 1, fastsættes klassificeringsreglerne, og der identificeres to hovedkategorier
af højrisiko-AI-systemer:
DA 14 DA
 AI-systemer, der er beregnet til at blive anvendt som sikkerhedskomponenter i
produkter, der er underlagt en forudgående overensstemmelsesvurdering fra
tredjepart
 andre selvstændige AI-systemer, der hovedsagelig har betydning for de
grundlæggende rettigheder, og som eksplicit er opført i bilag III.
Listen over højrisiko-AI-systemer i bilag III indeholder et begrænset antal AI-systemer med
risici, der allerede har realiseret sig eller sandsynligvis vil realisere sig i nær fremtid. For at
sikre, at forordningen kan tilpasses fremtidige anvendelser af kunstig intelligens, kan
Kommissionen udvide listen over højrisiko-AI-systemer inden for visse foruddefinerede
områder, ved at anvende et sæt kriterier og risikovurderingsmetoder.
Kapitel 2 fastsætter de retlige krav til højrisiko-AI-systemer for så vidt angår data og
dataforvaltning, dokumentation og registrering, gennemsigtighed og formidling af
oplysninger til brugerne, menneskeligt tilsyn, robusthed, nøjagtighed og sikkerhed. De
foreslåede minimumskrav er allerede state-of-the-art for mange samvittighedsfulde
operatører, og er resultatet af to års forberedende arbejde, der er afledt af de etiske
retningslinjer fra Ekspertgruppen på Højt Niveau vedrørende Kunstig Intelligens29
, og som er
blevet afprøvet i praksis af mere end 350 organisationer30
. De er også i vid udstrækning i
overensstemmelse med andre internationale anbefalinger og principper, hvilket sikrer, at den
foreslåede ramme for kunstig intelligens er forenelig med de rammer, der er vedtaget af EU's
internationale handelspartnere. Med henblik på at opnå overensstemmelse med disse krav kan
de nøjagtige tekniske løsninger udvikles af AI-systemets udbyder i lyset af generel teknisk
eller videnskabelig viden, eller ved hjælp af standarder eller andre tekniske specifikationer.
Denne fleksibilitet er særlig vigtig, fordi den giver udbyderne af AI-systemer mulighed for at
vælge, hvordan de vil opfylde kravene, under hensyntagen til de seneste teknologiske og
videnskabelige fremskridt på området.
I kapitel 3 fastsættes et klart sæt horisontale forpligtelser for udbydere af højrisiko-AI-
systemer. Der pålægges også rimelige forpligtelser for brugere og andre deltagere i hele AI-
værdikæden (f.eks. importører, distributører, bemyndigede repræsentanter).
I kapitel 4 fastlægges rammerne for bemyndigede organers inddragelse som uafhængige
tredjeparter i overensstemmelsesvurderingsprocedurer, mens kapitel 5 indeholder en detaljeret
beskrivelse af de overensstemmelsesvurderingsprocedurer, der skal følges for hver type
højrisiko-AI-system. Brugen af overensstemmelsesvurderinger har til formål at minimere
byrden for både erhvervsdrivende og bemyndigede organer, hvis kapacitet gradvist skal øges
med tiden. AI-systemer, der er beregnet til at blive anvendt som sikkerhedskomponenter i
produkter, der er reguleret inden for den nye lovgivningsmæssige ramme (f.eks. maskiner,
legetøj, medicinsk udstyr osv.), vil være underlagt de samme forudgående og efterfølgende
overholdelses- og håndhævelsesmekanismer som de produkter, de er en del af. Forskellen er,
at de forudgående og efterfølgende mekanismer ikke blot vil sikre overensstemmelse med de
krav, der er fastsat i den sektorspecifikke lovgivning, men også med kravene i denne
forordning.
For så vidt angår selvstændige højrisiko-AI-systemer, som der henvises til i bilag III, vil der
blive etableret et nyt overholdelses- og håndhævelsessystem. Dette følger modellen for
29
Ekspertgruppen på Højt Niveau vedrørende Kunstig Intelligens — Ethics Guidelines for Trustworthy
AI, 2019.
30
De blev også godkendt af Kommissionen i dens meddelelse fra 2019 om menneskecentreret tilgang til
kunstig intelligens.
DA 15 DA
lovgivning under den nye lovgivningsmæssige ramme, hvor intern kontrol gennemføres af
udbyderne, med undtagelse af systemer til biometrisk fjernidentifikation, som vil blive
genstand for overensstemmelsesvurderinger foretaget af tredjepart. En omfattende
forudgående overensstemmelsesvurdering gennem intern kontrol kombineret med en stærk
efterfølgende håndhævelse kan være en effektiv og rimelig løsning for disse systemer i
betragtning af, at den lovgivningsmæssige indgriben er i en tidlig fase, samt de forhold, at AI-
sektoren er meget innovativ, og at ekspertisen inden for revision først nu er ved at blive
opbygget. En vurdering i form af intern kontrol af selvstændige højrisiko-AI-systemer vil
kræve en fuldstændig, effektiv og behørigt dokumenteret forudgående opfyldelse af alle
forordningens krav, samt korrekt brug af robuste kvalitets- og risikostyringssystemer og
overvågning efter omsætning. Efter at udbyderen har foretaget den relevante
overensstemmelsesvurdering, bør udbyderen registrere disse selvstændige højrisiko-AI-
systemer i en EU-database, som vil blive forvaltet af Kommissionen for at øge
gennemsigtigheden og offentlighedens tilsyn og styrke de kompetente myndigheders
efterfølgende kontrol. Derimod vil AI-systemer, der er sikkerhedskomponenter til produkter,
af hensyn til overensstemmelsen med den eksisterende produktsikkerhedslovgivning,
underkastes tredjeparters overensstemmelsesvurderingsprocedurer, der allerede er indført i
henhold til den relevante sektorspecifikke produktsikkerhedslovgivning. Der vil være behov
for nye forudgående overensstemmelsesvurderinger i tilfælde af væsentlige ændringer af AI-
systemerne (og navnlig ændringer, der går ud over, hvad udbyderen på forhånd har fastsat i
sin tekniske dokumentation, og som kontrolleres på tidspunktet for den forudgående
overensstemmelsesvurdering).
5.2.4. GENNEMSIGTIGHEDSFORPLIGTELSER FOR VISSE AI-SYSTEMER (AFSNIT IV)
Afsnit IV vedrører visse AI-systemer for at tage højde for de særlige risici for manipulation,
som de udgør. Der vil gælde gennemsigtighedsforpligtelser for systemer, der i) interagerer
med mennesker, ii) anvendes til at opdage følelser eller fastslå tilknytning til (sociale)
kategorier baseret på biometriske data eller iii) generere eller manipulere indhold ("deep
fakes"). Når personer interagerer med et AI-system eller hvis deres følelser eller karakteristika
registreres automatisk, skal de informeres om dette forhold. Hvis et AI-system anvendes til at
generere eller manipulere billed-, lyd- eller videoindhold, der i væsentlig grad ligner autentisk
indhold, bør der være en forpligtelse til at oplyse, at indholdet er genereret automatisk, med
forbehold af undtagelser til legitime formål (retshåndhævelse, ytringsfrihed). Dette gør det
muligt for folk at træffe informerede valg eller træde tilbage fra en given situation.
5.2.5. FORANSTALTNINGER TIL STØTTE FOR INNOVATION (AFSNIT V)
Med afsnit V bidrages til målet om at skabe en retlig ramme, der er innovationsvenlig,
fremtidssikret og modstandsdygtig over for forstyrrelser. Med henblik herpå tilskyndes de
nationale kompetente myndigheder til at oprette reguleringsmæssige sandkasser og der
opstilles en grundlæggende ramme for forvaltning, tilsyn og ansvar. De reguleringsmæssige
sandkasser for kunstig intelligens etablerer et kontrolleret miljø til afprøvning af innovative
teknologier i et begrænset tidsrum på grundlag af en testplan, der er aftalt med de kompetente
myndigheder. Afsnit V omhandler også foranstaltninger til at mindske den
reguleringsmæssige byrde for SMV'er og startup-virksomheder.
5.2.6. FORVALTNING OG GENNEMFØRELSE (AFSNIT VI, VII OG VII)
I afsnit VI indføres forvaltningssystemerne på EU-plan og nationalt plan. På EU-plan oprettes
der med forslaget Det Europæiske Udvalg for Kunstig Intelligens ("udvalget") bestående af
repræsentanter for medlemsstaterne og Kommissionen. Udvalget vil fremme en gnidningsløs,
effektiv og harmoniseret gennemførelse af denne forordning ved at bidrage til et effektivt
samarbejde mellem de nationale tilsynsmyndigheder og Kommissionen og yde rådgivning og
DA 16 DA
ekspertise til Kommissionen. Den vil også indsamle og udveksle bedste praksis mellem
medlemsstaterne.
På nationalt plan skal medlemsstaterne udpege en eller flere nationale kompetente
myndigheder, herunder den nationale tilsynsmyndighed, til at føre tilsyn med anvendelsen og
gennemførelsen af forordningen. Den Europæiske Tilsynsførende for Databeskyttelse er den
kompetente myndighed, der fører tilsyn med Unionens institutioner, agenturer og organer, når
de er omfattet af denne forordnings anvendelsesområde.
Afsnit VII har til formål at lette Kommissionens og de nationale myndigheders
overvågningsarbejde gennem oprettelse af en EU-dækkende database for selvstændige
højrisiko-AI-systemer, som hovedsagelig vil have konsekvenser for de grundlæggende
rettigheder. Databasen forvaltes af Kommissionen og forsynes med data fra udbyderne af AI-
systemerne, som skal registrere deres systemer, før de bringes i omsætning eller på anden
måde tages i brug.
I afsnit VIII fastsættes overvågnings- og rapporteringsforpligtelser for udbydere af AI-
systemer med hensyn til overvågning efter omsætning og rapportering og undersøgelse af AI-
relaterede hændelser og funktionsfejl. Markedsovervågningsmyndighederne kontrollerer også
markedet og undersøger om forpligtelserne og kravene for alle højrisiko-AI-systemer, der
allerede er bragt i omsætning, bliver overholdt. Markedsovervågningsmyndighederne vil have
alle beføjelser i henhold til forordning (EU) 2019/1020 om markedsovervågning.
Efterfølgende håndhævelse bør sikre, at de offentlige myndigheder, når AI-systemet er bragt i
omsætning, har beføjelser og ressourcer til at gribe ind i tilfælde af, at AI-systemet skaber
uventede risici, der berettiger en hurtig indsats. De vil også overvåge, at operatørerne
overholder deres relevante forpligtelser i henhold til forordningen. Forslaget indeholder ikke
bestemmelser om automatisk oprettelse af yderligere organer eller myndigheder på
medlemsstatsniveau. Medlemsstaterne kan derfor udpege (og trække på ekspertisen hos)
eksisterende sektormyndigheder, som også vil få overdraget beføjelser til at overvåge og
håndhæve forordningens bestemmelser.
Alt dette berører ikke medlemsstaternes eksisterende systemer og tildelinger af beføjelser til
efterfølgende håndhævelse af forpligtelser vedrørende grundlæggende rettigheder. Når det er
nødvendigt for deres mandat, vil de eksisterende tilsyns- og håndhævelsesmyndigheder også
have beføjelse til at anmode om og få adgang til al dokumentation, der opbevares i henhold til
denne forordning, og om nødvendigt anmode markedsovervågningsmyndighederne om at
tilrettelægge tekniske test af et højrisiko-AI-system.
5.2.7. ADFÆRDSKODEKSER (AFSNIT IX)
Med afsnit IX skabes en ramme for udarbejdelse af adfærdskodekser, der har til formål at
tilskynde udbydere af AI-systemer, der ikke er højrisikosystemer, til frivilligt at anvende de
krav, der er obligatoriske for højrisiko-AI-systemer (som fastsat i afsnit III). Udbyderene af
AI-systemer, der ikke er højrisikosystemer, kan selv udarbejde og gennemføre
adfærdskodekserne. Disse kodekser kan også på frivillig basis omfatte yderligere forpligtelser
vedrørende f.eks. miljømæssig bæredygtighed, tilgængelighed for personer med handicap,
interessenters deltagelse i udformningen og udviklingen af AI-systemer og mangfoldighed i
udviklingsteamene.
5.2.8. AFSLUTTENDE BESTEMMELSER (AFSNIT X, XI OG XII)
I afsnit X understreges alle parters forpligtelse til at respektere fortroligheden af oplysninger
og data, og der fastsættes regler for udveksling af oplysninger, der er indhentet i forbindelse
med gennemførelsen af forordningen. Afsnit X omfatter også foranstaltninger til at sikre en
effektiv gennemførelse af forordningen gennem sanktioner for overtrædelse af
DA 17 DA
bestemmelserne, der er effektive, står i rimeligt forhold til overtrædelsen og har afskrækkende
virkning.
Afsnit XI indeholder regler for udøvelsen af delegerede beføjelser og
gennemførelsesbeføjelser. Med forslaget tillægges Kommissionen beføjelser til om
nødvendigt at vedtage gennemførelsesretsakter for at sikre ensartet anvendelse af
forordningen eller delegerede retsakter med henblik på at ajourføre eller supplere listerne i
bilag I-VII.
Afsnit XII omhandler Kommissionens forpligtelse til regelmæssigt at vurdere behovet for en
ajourføring af bilag III og til at udarbejde regelmæssige rapporter om evalueringen og
revisionen af forordningen. Der fastsættes også afsluttende bestemmelser, herunder en
differentieret overgangsperiode for forordningens anvendelsesdato for at lette en gnidningsløs
gennemførelse for alle berørte parter.
DA 18 DA
2021/0106 (COD)
Forslag til
EUROPA-PARLAMENTETS OG RÅDETS FORORDNING
OM HARMONISEREDE REGLER FOR KUNSTIG INTELLIGENS (RETSAKTEN
OM KUNSTIG INTELLIGENS) OG OM ÆNDRING AF VISSE AF UNIONENS
LOVGIVNINGSMÆSSIGE RETSAKTER
EUROPA-PARLAMENTET OG RÅDET FOR DEN EUROPÆISKE UNION HAR —
under henvisning til traktaten om Den Europæiske Unions funktionsmåde, særlig artikel 16 og
114,
under henvisning til forslag fra Europa-Kommissionen,
efter fremsendelse af udkast til lovgivningsmæssig retsakt til de nationale parlamenter,
under henvisning til udtalelse fra Det Europæiske Økonomiske og Sociale Udvalg31
,
under henvisning til udtalelse fra Regionsudvalget32
,
efter den almindelige lovgivningsprocedure, og
ud fra følgende betragtninger:
(1) Formålet med denne forordning er at forbedre det indre markeds funktion ved at
fastlægge ensartede retlige rammer, navnlig for udvikling, markedsføring og
anvendelse af kunstig intelligens i overensstemmelse med Unionens værdier. Med
denne forordning forfølges en række tvingende almene hensyn, såsom et højt
beskyttelsesniveau for sundhed, sikkerhed og grundlæggende rettigheder, og den
sikrer fri bevægelighed for AI-baserede varer og tjenesteydelser på tværs af grænserne
og forhindrer således medlemsstaterne i at indføre restriktioner for udvikling,
markedsføring og anvendelse af AI-systemer, medmindre det udtrykkeligt er tilladt i
henhold til denne forordning.
(2) Systemer med kunstig intelligens (AI-systemer) kan nemt anvendes i flere sektorer af
økonomien og i samfundet, herunder på tværs af grænserne, og cirkulere i hele
Unionen. Visse medlemsstater har allerede undersøgt muligheden for nationale regler
til sikring af, at kunstig intelligens er sikker, og at den udvikles og anvendes i
overensstemmelse med forpligtelserne vedrørende grundlæggende rettigheder.
Forskellige nationale regler kan føre til fragmentering af det indre marked og mindske
retssikkerheden for operatører, der udvikler eller anvender AI-systemer. Der bør derfor
sikres et ensartet og højt beskyttelsesniveau i hele Unionen, samtidig med at forskelle,
der hæmmer den frie bevægelighed for AI-systemer og relaterede produkter og
tjenesteydelser på det indre marked, bør forhindres ved at fastsætte ensartede
forpligtelser for operatører og garantere en ensartet beskyttelse af tvingende almene
hensyn og personers rettigheder i hele det indre marked på grundlag af artikel 114 i
traktaten om Den Europæiske Unions funktionsmåde (TEUF). For så vidt som denne
31
EUT C […] af […], s. […].
32
EUT C […] af […], s. […].
DA 19 DA
forordning indeholder specifikke regler om beskyttelse af fysiske personer i
forbindelse med behandling af personoplysninger vedrørende begrænsninger i
anvendelsen af AI-systemer til biometrisk fjernidentifikation i realtid på offentlige
steder med henblik på retshåndhævelse, er det desuden hensigtsmæssigt at basere
denne forordning på artikel 16 i TEUF for så vidt angår disse specifikke regler. I lyset
af disse specifikke regler og anvendelsen af artikel 16 i TEUF bør Det Europæiske
Databeskyttelsesråd høres.
(3) Kunstig intelligens er en vifte af teknologier i hurtig udvikling, som kan bidrage til
brede økonomiske og samfundsmæssige fordele på tværs af hele spektret af industrier
og sociale aktiviteter. Ved at forbedre prognoser, optimere operationer og
ressourceallokering og personalisere de digitale løsninger, der er tilgængelige for
enkeltpersoner og organisationer, kan anvendelsen af kunstig intelligens give
virksomheder vigtige konkurrencemæssige fordele og fremme socialt og miljømæssigt
gavnlige resultater, f.eks. inden for sundhedspleje, landbrug, uddannelse,
infrastrukturforvaltning, energi, transport og logistik, offentlige tjenester, sikkerhed,
retsvæsen, ressource- og energieffektivitet samt modvirkning af og tilpasning til
klimaændringer.
(4) Samtidig kan kunstig intelligens, afhængigt af omstændighederne med hensyn til dens
specifikke anvendelse, skabe risici og skade offentlige interesser og rettigheder, der er
beskyttet af EU-retten. Sådan skade kan være af materiel eller immateriel karakter.
(5) Der er derfor behov for en EU-retlig ramme, der fastsætter harmoniserede regler for
kunstig intelligens, for at fremme udviklingen, anvendelsen og udbredelsen af kunstig
intelligens på det indre marked, som samtidig opfylder et højt beskyttelsesniveau for
offentlige interesser, såsom sundhed og sikkerhed og beskyttelse af grundlæggende
rettigheder, som anerkendt og beskyttet i EU-retten. For at nå dette mål bør der
fastsættes regler for markedsføring og ibrugtagning af visse AI-systemer for at sikre et
velfungerende indre marked og give disse systemer mulighed for at drage fordel af
princippet om fri bevægelighed for varer og tjenesteydelser. Med fastsættelse af
reglerne i denne forordning støttes målet om, at Unionen skal være førende på
verdensplan inden for udvikling af sikker, pålidelig og etisk kunstig intelligens som
anført af Det Europæiske Råd33
, og der sikres beskyttelse af etiske principper, som
Europa-Parlamentet specifikt har anmodet om34
.
(6) Begrebet AI-system bør defineres klart for at sikre retssikkerheden og samtidig være
fleksibelt nok til at tage højde for den fremtidige teknologiske udvikling. Definitionen
bør baseres på softwarens vigtigste funktionelle karakteristika, navnlig evnen til for et
givet sæt mål, der er fastsat af mennesker, at generere output såsom indhold,
forudsigelser, anbefalinger eller beslutninger, der påvirker det miljø, som systemet
interagerer med, hvad enten det er i en fysisk eller digital dimension. AI-systemer kan
udformes med henblik på at fungere med varierende grader af autonomi og kan
anvendes selvstændigt eller som en del af et produkt, uanset om systemet er fysisk
integreret i produktet (indlejret) eller tjener produktets funktionalitet uden at være
integreret deri (ikke indlejret). Definitionen af et AI-system bør suppleres med en liste
over specifikke teknikker og tilgange, der anvendes i dets udvikling, og som bør
33
Det Europæiske Råd, Ekstraordinært møde i Det Europæiske Råd (1. og 2. oktober 2020) −
Konklusioner, EUCO 13/20, 2020, s. 6.
34
Europa-Parlamentets beslutning af 20. oktober 2020 med henstillinger til Kommissionen om en ramme
for etiske aspekter af kunstig intelligens, robotteknologi og relaterede teknologier, 2020/2012(INL).
DA 20 DA
holdes ajour i lyset af den markedsmæssige og teknologiske udvikling gennem
Kommissionens vedtagelse af delegerede retsakter med henblik på at ændre denne
liste.
(7) Begrebet biometriske data, der anvendes i denne forordning, er i overensstemmelse
med og bør fortolkes i overensstemmelse med begrebet biometriske data som defineret
i artikel 4, stk. 14, i Europa-Parlamentets og Rådets forordning (EU) 2016/67935
,
artikel 3, stk. 18, i Europa-Parlamentets og Rådets forordning (EU) 2018/172536
og
artikel 3, stk. 13, i Europa-Parlamentets og Rådets direktiv (EU) 2016/68037
.
(8) Begrebet "system til biometrisk fjernidentifikation" som anvendt i denne forordning
bør defineres funktionelt som et AI-system, der har til formål at identificere fysiske
personer på afstand ved at sammenligne en persons biometriske data med de
biometriske data i en referencedatabase, uden forudgående viden om, hvorvidt
målpersonen vil være til stede og kan identificeres, uanset hvilken teknologi, hvilke
processer eller hvilke typer biometriske data der anvendes. I betragtning af deres
forskellige karakteristika og måder, hvorpå de anvendes, samt de forskellige risici, der
er forbundet hermed, bør der skelnes mellem "systemer til biometrisk
fjernidentifikation i realtid" og "systemer til efterfølgende biometrisk
fjernidentifikation". Hvis der er tale om realtidssystemer, sker optagelsen af de
biometriske data, sammenligningen og identifikationen øjeblikkeligt, næsten
øjeblikkeligt eller under alle omstændigheder uden væsentlig forsinkelse. I denne
forbindelse bør der ikke være mulighed for at omgå denne forordnings bestemmelser
om realtidsanvendelse af de pågældende AI-systemer ved at tilføje mindre
forsinkelser. Realtidssystemer omfatter anvendelse af direkte eller lettere forskudt
materiale såsom videooptagelser, der genereres af et kamera eller en anden anordning
med tilsvarende funktioner. Er der derimod tale om systemer til efterfølgende
biometrisk fjernidentifikation, optages de biometriske data, og først efter en betydelig
forsinkelse finder sammenligningen og identifikationen sted. Der er tale om materiale,
såsom billeder eller videooptagelser, der genereres af videoovervågningskameraer
eller private enheder, og som er frembragt inden systemets anvendelse for så vidt
angår de pågældende fysiske personer.
(9) I denne forordning bør begrebet offentlige steder forstås som ethvert fysisk sted, der er
tilgængeligt for offentligheden, uanset om det pågældende sted er privatejet eller
offentligt ejet. Begrebet omfatter derfor ikke steder af privat karakter, som normalt
ikke er frit tilgængelige for tredjeparter, herunder retshåndhævende myndigheder,
medmindre disse parter er blevet specifikt inviteret eller bemyndiget, såsom boliger,
private klubber, kontorer, lagerbygninger og fabrikker. Online steder er heller ikke
35
Europa-Parlamentets og Rådets forordning (EU) 2016/679 af 27. april 2016 om beskyttelse af fysiske
personer i forbindelse med behandling af personoplysninger og om fri udveksling af sådanne
oplysninger og om ophævelse af direktiv 95/46/EF (generel forordning om databeskyttelse) (EUT L 119
af 4.5.2016, s. 1).
36
Europa-Parlamentets og Rådets forordning (EU) 2018/1725 af 23. oktober 2018 om beskyttelse af
fysiske personer i forbindelse med behandling af personoplysninger i Unionens institutioner, organer,
kontorer og agenturer og om fri udveksling af sådanne oplysninger og om ophævelse af forordning (EF)
nr. 45/2001 og afgørelse nr. 1247/2002/EF (EUT L 295 af 21.11.2018, s. 39).
37
Europa-Parlamentets og Rådets direktiv (EU) 2016/680 af 27. april 2016 om beskyttelse af fysiske
personer i forbindelse med kompetente myndigheders behandling af personoplysninger med henblik på
at forebygge, efterforske, afsløre eller retsforfølge strafbare handlinger eller fuldbyrde strafferetlige
sanktioner og om fri udveksling af sådanne oplysninger og om ophævelse af Rådets rammeafgørelse
2008/977/RIA (retshåndhævelsesdirektivet) (EUT L 119 af 4.5.2016, s. 89).
DA 21 DA
omfattet, da der ikke er tale om fysiske steder. Det forhold, at der kan være visse
betingelser for adgang til et bestemt sted, såsom entrébilletter eller
aldersbegrænsninger, betyder imidlertid ikke i sig selv, at stedet ikke er offentligt som
defineret i denne forordning. Ud over offentlige steder som gader, relevante dele af
offentlige bygninger og de fleste transportinfrastrukturer er steder som f.eks. biografer,
teatre, butikker og indkøbscentre derfor normalt også offentlige. Om et givet sted
betragtes som offentligt, bør imidlertid afgøres fra sag til sag under hensyntagen til de
særlige forhold i den enkelte situation.
(10) For at sikre lige vilkår og en effektiv beskyttelse af fysiske personers rettigheder og
friheder i hele Unionen bør de regler, der fastsættes ved denne forordning, finde
anvendelse på udbydere af AI-systemer på en ikkediskriminerende måde, uanset om
de er etableret i Unionen eller i et tredjeland, og på brugere af AI-systemer, der er
etablerede i Unionen.
(11) I betragtning af deres digitale karakter bør visse AI-systemer være omfattet af denne
forordnings anvendelsesområde, selv om de hverken bringes i omsætning, ibrugtages
eller anvendes i Unionen. Dette er f.eks. tilfældet for en operatør, der er etableret i
Unionen, og som indgår kontrakter om visse tjenesteydelser med en operatør, der er
etableret uden for Unionen, i forbindelse med en aktivitet, der skal udføres af et AI-
system, der kan betegnes som højrisiko, og som har virkninger for fysiske personer i
Unionen. Under disse omstændigheder kunne det AI-system, der anvendes af
operatøren uden for Unionen, behandle data, der lovligt er indsamlet i og overført fra
Unionen, og levere outputtet fra dette AI-systems behandling til den kontraherende
operatør i Unionen, uden at dette AI-system bringes i omsætning, ibrugtages eller
anvendes i Unionen. For at forhindre omgåelse af denne forordning og sikre en
effektiv beskyttelse af fysiske personer i Unionen, bør denne forordning også finde
anvendelse på udbydere og brugere af AI-systemer, der er etableret i et tredjeland, i
det omfang det output, der produceres af disse systemer, anvendes i Unionen. For at
tage hensyn til eksisterende ordninger og særlige behov for samarbejde med
udenlandske partnere, med hvem der udveksles oplysninger og bevismateriale, bør
denne forordning ikke finde anvendelse på offentlige myndigheder i et tredjeland og
internationale organisationer, når disse handler inden for rammerne af internationale
aftaler indgået på nationalt eller europæisk plan om retshåndhævelse og retligt
samarbejde med Unionen eller med dens medlemsstater. Sådanne aftaler er indgået
bilateralt mellem medlemsstaterne og tredjelande eller mellem Den Europæiske
Union, Europol og andre EU-agenturer og tredjelande og internationale organisationer.
(12) Denne forordning bør også finde anvendelse på Unionens institutioner, kontorer,
organer og agenturer, når de fungerer som udbyder eller bruger af et AI-system. AI-
systemer, der udelukkende udvikles eller anvendes til militære formål, bør ikke
omfattes af denne forordnings anvendelsesområde, hvis anvendelsen henhører under
den fælles udenrigs- og sikkerhedspolitik, der er reguleret i afsnit V i traktaten om Den
Europæiske Union (TEU). Denne forordning berører ikke bestemmelserne om
formidleransvar for tjenesteydere i Europa-Parlamentets og Rådets direktiv
2000/31/EF [som ændret ved retsakten om digitale tjenester].
(13) For at sikre et ensartet højt beskyttelsesniveau for offentlige interesser med hensyn til
sundhed, sikkerhed og grundlæggende rettigheder bør der fastsættes fælles
normgivende standarder for alle højrisiko-AI-systemer. Disse standarder bør være i
overensstemmelse med Den Europæiske Unions charter om grundlæggende
rettigheder (chartret) og bør være ikke-diskriminerende og i overensstemmelse med
Unionens internationale handelsforpligtelser.
DA 22 DA
(14) For at indføre et proportionalt og effektivt sæt bindende regler for AI-systemer bør der
anvendes en klart defineret risikobaseret tilgang. Denne tilgang bør tilpasse typen og
indholdet af sådanne regler til graden og omfanget af de risici, som AI-systemer kan
generere. Det er derfor nødvendigt at forbyde visse former for praksis med hensyn til
kunstig intelligens, at fastsætte krav til højrisiko-AI-systemer og forpligtelser for de
relevante operatører og at fastsætte gennemsigtighedsforpligtelser for visse AI-
systemer.
(15) Ud over de mange nyttige anvendelser af kunstig intelligens kan teknologien også
misbruges og resultere i nye og effektive værktøjer til manipulativ, udnyttende og
socialt kontrollerende praksis. Sådan praksis er særlig skadelig og bør forbydes, fordi
den er i modstrid med Unionens værdier om respekt for menneskelig værdighed,
frihed, ligestilling, demokrati og retsstatsprincippet og med Unionens grundlæggende
rettigheder, herunder retten til beskyttelse mod forskelsbehandling, retten til
databeskyttelse, retten til privatlivets fred og børns rettigheder.
(16) Omsætning, ibrugtagning eller anvendelse af visse AI-systemer, der har til formål at
forvride menneskers adfærd, og hvor der er sandsynlighed for fysiske eller psykiske
skader, bør forbydes. Sådanne AI-systemer anvender subliminale komponenter, som
mennesker ikke kan opfatte, eller de udnytter børns og voksnes sårbarheder på
baggrund af alder eller fysisk eller mentalt handicap. De gør dette med den hensigt i
væsentlig grad at forvride en persons adfærd og på en måde, der forvolder eller
sandsynligvis vil forvolde den pågældende eller en anden person skade. Hensigten kan
ikke formodes, hvis forvrængningen af menneskelig adfærd skyldes faktorer, som
ligger uden for AI-systemet og uden for udbyderens eller brugerens kontrol. Legitim
forskning i forbindelse med sådanne AI-systemer bør ikke hæmmes af forbuddet, hvis
sådan forskning ikke anvender AI-systemet i forholdet mellem menneske og maskine
på en måde, som udsætter fysiske personer for skade, og hvis sådan forskning udføres
i overensstemmelse med anerkendte etiske standarder for videnskabelig forskning.
(17) AI-systemer, der af offentlige myndigheder eller på deres vegne gør generel brug af
sociale pointsystemer på fysiske personer, kan føre til diskriminerende resultater og
udelukkelse af visse grupper. De kan dermed krænke retten til værdighed og retten til
beskyttelse mod forskelsbehandling og værdierne lighed og retfærdighed. Sådanne AI-
systemer evaluerer eller klassificerer fysiske personers troværdighed på grundlag af
deres sociale adfærd i flere sammenhænge eller kendte eller forudsagte personlige
egenskaber eller personlighedstræk. Det sociale pointsystem, der anvendes i sådanne
AI-systemer, kan føre til en skadelig eller ugunstig behandling af fysiske personer
eller hele grupper heraf i sociale sammenhænge, som ikke har noget at gøre med den
sammenhæng, i hvilken dataene oprindeligt blev genereret eller indsamlet, eller til en
skadelig behandling, der er uforholdsmæssig eller uberettiget i forhold til alvoren af
deres sociale adfærd. Sådanne AI-systemer bør derfor forbydes.
(18) Anvendelsen af AI-systemer til biometrisk fjernidentifikation i realtid af fysiske
personer på offentlige steder med henblik på retshåndhævelse anses for at være særligt
indgribende i de berørte personers rettigheder og friheder, for så vidt som det kan
påvirke privatlivets fred for en stor del af befolkningen, skabe en følelse af konstant
overvågning og indirekte afskrække fra udøvelsen af forsamlingsfriheden og andre
grundlæggende rettigheder. Desuden indebærer den øjeblikkelige virkning og de
begrænsede muligheder for yderligere kontrol eller justeringer i forbindelse med
anvendelsen af systemer, der fungerer i realtid, øgede risici for rettigheder og friheder
for de personer, der er berørt af retshåndhævelsesaktiviteterne.
DA 23 DA
(19) Anvendelsen af disse systemer med henblik på retshåndhævelse bør derfor forbydes,
undtagen i tre udtømmende opregnede og snævert definerede situationer, hvor
anvendelsen er strengt nødvendig for at opfylde en væsentlig samfundsinteresse, hvis
betydning vejer tungere end risiciene. Disse situationer omfatter eftersøgning af
potentielle ofre for kriminalitet, herunder forsvundne børn, visse trusler mod fysiske
personers liv eller fysiske sikkerhed eller om et terrorangreb, samt afsløring,
lokalisering, identifikation eller retsforfølgning af gerningsmænd, der har begået, eller
af personer, der mistænkes for at have begået, strafbare handlinger, der er omhandlet i
Rådets rammeafgørelse 2002/584/JHA38
, og som i den pågældende medlemsstat kan
straffes med frihedsstraf eller en anden frihedsberøvende foranstaltning af en
maksimal varighed på mindst tre år som fastsat i denne medlemsstats lovgivning. En
sådan tærskel for frihedsstraf eller anden frihedsberøvende foranstaltning i
overensstemmelse med national ret bidrager til at sikre, at lovovertrædelsen er af
tilstrækkelig alvorlig karakter til potentielt at berettige anvendelsen af systemer til
biometrisk fjernidentifikation i realtid. Desuden er nogle af de 32 strafbare handlinger,
der er opregnet i Rådets rammeafgørelse 2002/584/JHA, i praksis mere relevante end
andre, idet anvendelsen af biometrisk fjernidentifikation i realtid sandsynligvis vil
være nødvendig og rimelig i meget varierende grad for afsløring, lokalisering,
identifikation eller retsforfølgning af en gerningsmand, der har begået, eller af en
person, der mistænkes for at have begået, strafbare handlinger, der er opført på listen,
og under hensyntagen til de sandsynlige forskelle i lovovertrædelsens alvor, omfang
eller mulige negative konsekvenser.
(20) For at sikre, at disse systemer anvendes på en ansvarlig og rimelig måde, er det også
vigtigt at fastslå, at der i hver af disse tre udtømmende opregnede og snævert
definerede situationer bør tages hensyn til visse elementer, navnlig med hensyn til
situationens karakter, som ligger til grund for anmodningen, og konsekvenserne af
anvendelsen for alle berørte personers rettigheder og friheder samt de garantier og
betingelser, der er fastsat for brugen. Anvendelsen af systemer til biometrisk
fjernidentifikation i realtid på offentlige steder med henblik på retshåndhævelse bør
desuden underlægges passende begrænsninger i tid og sted, navnlig med hensyn til
beviser eller indikationer vedrørende truslerne, ofrene eller gerningsmanden.
Referencedatabasen over personer bør være passende for hvert enkelt
anvendelsestilfælde i hver af de tre ovennævnte situationer.
(21) Enhver anvendelse af et system til biometrisk fjernidentifikation i realtid på offentlige
steder med henblik på retshåndhævelse bør være betinget af en udtrykkelig og specifik
tilladelse fra en judiciel myndighed eller en uafhængig administrativ myndighed i en
medlemsstat. En sådan tilladelse bør i princippet indhentes forud for anvendelsen,
undtagen i behørigt begrundede hastende tilfælde, dvs. situationer, hvor behovet for at
anvende de pågældende systemer er af en sådan art, at det er praktisk og objektivt
umuligt at opnå en tilladelse, inden anvendelsen påbegyndes. I sådanne hastende
situationer bør anvendelsen begrænses til det absolut nødvendige minimum og være
underlagt passende garantier og betingelser som fastsat i national ret og præciseret af
den retshåndhævende myndighed selv i forbindelse med hver enkelt hastesag.
Desuden bør den retshåndhævende myndighed i sådanne situationer søge at opnå en
tilladelse så hurtigt som muligt og samtidig begrunde, hvorfor den ikke har været i
stand til at anmode om den tidligere.
38
Rådets rammeafgørelse 2002/584/RIA af 13. juni 2002 om den europæiske arrestordre og om
procedurerne for overgivelse mellem medlemsstaterne (EFT L 190 af 18.7.2002, s. 1).
DA 24 DA
(22) Endvidere bør det inden for denne forordnings udtømmende rammer fastsættes, at en
sådan anvendelse på en medlemsstats område i overensstemmelse med denne
forordning kun bør være mulig, hvis og i det omfang den pågældende medlemsstat har
besluttet udtrykkeligt at give mulighed for at tillade en sådan anvendelse i sine
detaljerede bestemmelser i national ret. Det står derfor medlemsstaterne frit for i
henhold til denne forordning slet ikke at fastsætte en sådan mulighed eller kun at
fastsætte en sådan mulighed med hensyn til nogle af de forhold, der i henhold til denne
forordning kan begrunde en godkendt anvendelse.
(23) Anvendelsen af AI-systemer til biometrisk fjernidentifikation i realtid af fysiske
personer på offentlige steder med henblik på retshåndhævelse indebærer nødvendigvis
behandling af biometriske data. De bestemmelser i denne forordning, der med
forbehold af visse undtagelser forbyder en sådan anvendelse, der er baseret på artikel
16 i TEUF, bør finde anvendelse som lex specialis for så vidt angår reglerne om
behandling af biometriske data i artikel 10 i direktiv (EU) 2016/680 og således
regulere anvendelsen og behandlingen af biometriske data på en udtømmende måde.
En sådan anvendelse og behandling bør derfor kun være mulig i det omfang, det er
foreneligt med den ramme, der er fastsat i denne forordning, uden at der uden for
denne ramme er mulighed for, at de kompetente myndigheder, når de handler med
henblik på retshåndhævelse, kan anvende sådanne systemer og i forbindelse hermed
behandle sådanne data af de grunde, der er anført i artikel 10 i direktiv (EU) 2016/680.
I denne sammenhæng har denne forordning ikke til formål at tilvejebringe
retsgrundlaget for behandling af personoplysninger i henhold til artikel 8 i direktiv
2016/680. Anvendelsen af systemer til biometrisk fjernidentifikation i realtid på
offentlige steder til andre formål end retshåndhævelse, herunder af kompetente
myndigheder, bør imidlertid ikke være omfattet af den specifikke ramme for en sådan
anvendelse med henblik på retshåndhævelse som fastsat i denne forordning. En sådan
anvendelse til andre formål end retshåndhævelse bør derfor ikke være underlagt kravet
om en tilladelse i henhold til denne forordning og de gældende detaljerede
bestemmelser i national ret, der kan give den virkning.
(24) Enhver behandling af biometriske data og andre personoplysninger, der benyttes i
forbindelse med anvendelsen af AI-systemer til biometrisk identifikation, undtagen i
forbindelse med anvendelsen af systemer til biometrisk fjernidentifikation i realtid på
offentlige steder med henblik på retshåndhævelse som reguleret ved denne forordning,
herunder når disse systemer anvendes af kompetente myndigheder på offentlige steder
til andre formål end retshåndhævelse, bør fortsat opfylde alle krav, der følger af artikel
9, stk. 1, i forordning (EU) 2016/679, artikel 10, stk. 1, i forordning (EU) 2018/1725
og artikel 10 i direktiv (EU) 2016/680, alt efter hvad der er relevant.
(25) I medfør af artikel 6a i protokol nr. 21 om Det Forenede Kongeriges og Irlands
stilling, for så vidt angår området med frihed, sikkerhed og retfærdighed, der er knyttet
som bilag til TEU og TEUF, er Irland ikke bundet af regler fastsat i artikel 5, stk. 1,
litra d), stk. 2 og stk. 3 i denne forordning, der er vedtaget på grundlag af artikel 16 i
TEUF vedrørende medlemsstaternes behandling af personoplysninger under udøvelsen
af aktiviteter, der er omfattet af tredje del, afsnit V, kapitel 4 eller 5, i TEUF, når
Irland ikke er bundet af regler vedrørende former for strafferetligt samarbejde eller
politisamarbejde, der kræver overholdelse af de bestemmelser, der er fastsat på
grundlag af artikel 16 i TEUF.
(26) I medfør af artikel 2 og 2a i protokol nr. 22 om Danmarks stilling, der er knyttet som
bilag til TEU og TEUF, er de regler, der er fastsat i artikel 5, stk. 1, litra d), stk. 2 og
stk. 3 i denne forordning, der er vedtaget på grundlag af artikel 16 i TEUF vedrørende
DA 25 DA
medlemsstaternes behandling af personoplysninger under udøvelsen af aktiviteter, der
er omfattet af tredje del, afsnit V, kapitel 4 eller 5, i TEUF, ikke bindende for og finder
ikke anvendelse i Danmark.
(27) Højrisiko-AI-systemer bør kun bringes i omsætning på EU-markedet eller tages i brug,
hvis de opfylder visse obligatoriske krav. Disse krav bør sikre, at højrisiko-AI-
systemer, der er tilgængelige i Unionen, eller hvis output på anden måde anvendes i
Unionen, ikke udgør uacceptable risici for vigtige offentlige interesser i Unionen som
anerkendt og beskyttet i EU-retten. AI-systemer, der er identificeret som indebærende
høj risiko, bør begrænses til systemer, der har en betydelig skadelig indvirkning på
menneskers sundhed, sikkerhed og grundlæggende rettigheder i Unionen, og sådanne
begrænsninger minimerer eventuelle potentielle restriktioner for den internationale
handel.
(28) AI-systemer kan forårsage negative virkninger for menneskers sundhed og sikkerhed,
navnlig når sådanne systemer fungerer som produktkomponenter. I overensstemmelse
med målene for EU-harmoniseringslovgivningen om at lette den frie bevægelighed for
produkter i det indre marked og sørge for, at kun sikre produkter, der opfylder
kravene, kommer ind på markedet, er det vigtigt, at de sikkerhedsrisici, som et produkt
som helhed kan udgøre på grund af dets digitale komponenter, herunder AI-systemer,
behørigt forebygges og afbødes. F.eks. bør stadig mere autonome robotter, hvad enten
det er i forbindelse med fremstilling eller personlig bistand og pleje, være i stand til at
operere sikkert og udføre deres funktioner i komplekse miljøer. Også i
sundhedssektoren, hvor det drejer sig direkte om liv og sundhed, bør stadig mere
avancerede diagnosesystemer og systemer, der understøtter menneskers beslutninger,
være pålidelige og nøjagtige. Omfanget af et AI-systems negative indvirkning på de
grundlæggende rettigheder, der er beskyttet af chartret, er særlig relevant, når et AI-
system klassificeres som et højrisikosystem. Disse rettigheder omfatter retten til
menneskelig værdighed, respekt for privatliv og familieliv, beskyttelse af
personoplysninger, ytrings- og informationsfrihed, forsamlings- og foreningsfrihed og
ikkeforskelsbehandling, forbrugerbeskyttelse, arbejdstagerrettigheder, rettigheder for
personer med handicap, adgang til effektive retsmidler og til en retfærdig rettergang,
retten til et forsvar og uskyldsformodningen samt retten til god forvaltning. Ud over
disse rettigheder er det vigtigt at fremhæve, at børn har specifikke rettigheder som
fastsat i artikel 24 i EU's charter og i De Forenede Nationers konvention om barnets
rettigheder (yderligere uddybet i FN's børnekonvention, generel bemærkning nr. 25
vedrørende det digitale miljø), som begge kræver, at der tages hensyn til børns
sårbarhed, og at der ydes den beskyttelse og omsorg, der er nødvendig for deres
trivsel. Den grundlæggende ret til et højt miljøbeskyttelsesniveau, der er nedfældet i
chartret og gennemført i Unionens politikker, bør også tages i betragtning ved
vurderingen af alvoren af den skade, som et AI-system kan forårsage, herunder i
forbindelse med menneskers sundhed og sikkerhed.
(29) For så vidt angår højrisiko-AI-systemer, der er sikkerhedskomponenter i produkter
eller systemer, eller som selv er produkter eller systemer, der er omfattet af
anvendelsesområdet for Europa-Parlamentets og Rådets forordning (EF) nr.
300/200839
, Europa-Parlamentets og Rådets forordning (EU) nr. 167/201340
, Europa-
39
Europa-Parlamentets og Rådets forordning (EF) nr. 300/2008 af 11. marts 2008 om fælles bestemmelser
om sikkerhed inden for civil luftfart og om ophævelse af forordning (EF) nr. 2320/2002 (EUT L 97 af
9.4.2008, s. 72).
DA 26 DA
Parlamentets og Rådets forordning (EU) nr. 168/201341
, Europa-Parlamentets og
Rådets direktiv 2014/90/EU42
, Europa-Parlamentets og Rådets direktiv (EU)
2016/79743
, Europa-Parlamentets og Rådets forordning (EU) 2018/85844
, Europa-
Parlamentets og Rådets forordning (EU) 2018/113945
og Europa-Parlamentets og
Rådets forordning (EU) 2019/214446
, bør disse retsakter ændres for at sikre, at
Kommissionen, på grundlag af de særlige tekniske og reguleringsmæssige forhold i
hver enkelt sektor og uden at intervenere i de eksisterende forvaltnings-,
overensstemmelsesvurderings- og håndhævelsesmekanismer og de myndigheder, der
er fastsat heri, tager hensyn til de obligatoriske krav til højrisiko-AI-systemer, der er
fastsat i denne forordning, når den vedtager relevante fremtidige delegerede retsakter
eller gennemførelsesretsakter på grundlag af disse retsakter.
(30) For så vidt angår AI-systemer, der er sikkerhedskomponenter i produkter, eller som
selv er produkter, der er omfattet af anvendelsesområdet for visse EU-
harmoniseringsretsakter, er det hensigtsmæssigt at klassificere dem som
højrisikosystemer i henhold til denne forordning, hvis det pågældende produkt
overensstemmelsesvurderes af en tredjeparts overensstemmelsesvurderingsorgan i
henhold til den relevante EU-harmoniseringslovgivning. Sådanne produkter er navnlig
maskiner, legetøj, elevatorer, materiel og sikringssystemer til anvendelse i
eksplosionsfarlig atmosfære, radioudstyr, trykudstyr, udstyr til fritidsfartøjer,
tovbaneanlæg, gasapparater, medicinsk udstyr og in vitro-diagnostisk medicinsk
udstyr.
(31) Klassificeringen af et AI-system som et højrisikosystem i henhold til denne forordning
bør ikke nødvendigvis betyde, at det produkt, hvori AI-systemet indgår som
sikkerhedskomponent, eller selve AI-systemet, når det betragtes som et produkt, anses
for at have høj risiko i henhold til de kriterier, der er fastsat i den relevante EU-
harmoniseringslovgivning, der finder anvendelse på produktet. Dette er navnlig
40
Europa-Parlamentets og Rådets forordning (EU) nr. 167/2013 af 5. februar 2013 om godkendelse og
markedsovervågning af landbrugs- og skovbrugstraktorer (EUT L 60 af 2.3.2013, s. 1).
41
Europa-Parlamentets og Rådets forordning (EU) nr. 168/2013 af 15. januar 2013 om godkendelse og
markedsovervågning af to- og trehjulede køretøjer samt quadricykler (EUT L 60 af 2.3.2013, s. 52).
42
Europa-Parlamentets og Rådets direktiv 2014/90/EU af 23. juli 2014 om skibsudstyr og om ophævelse
af Rådets direktiv 96/98/EF (EUT L 257 af 28.8.2014, s. 146).
43
Europa-Parlamentets og Rådets direktiv (EU) 2016/797 af 11. maj 2016 om interoperabilitet i
jernbanesystemet i Den Europæiske Union (EUT L 138 af 26.5.2016, s. 44).
44
Europa-Parlamentets og Rådets forordning (EU) 2018/858 af 30. maj 2018 om godkendelse og
markedsovervågning af motorkøretøjer og påhængskøretøjer dertil samt af systemer, komponenter og
separate tekniske enheder til sådanne køretøjer, om ændring af forordning (EF) nr. 715/2007 og (EF) nr.
595/2009 og om ophævelse af direktiv 2007/46/EF (EUT L 151 af 14.6.2018, s. 1).
45
Europa-Parlamentets og Rådets forordning (EU) 2018/1139 af 4. juli 2018 om fælles regler for civil
luftfart og oprettelse af Den Europæiske Unions Luftfartssikkerhedsagentur og om ændring af
forordning (EF) nr. 2111/2005, (EF) nr. 1008/2008, (EU) nr. 996/2010, (EU) nr. 376/2014 og direktiv
2014/30/EU og 2014/53/EU og om ophævelse af (EF) nr. 552/2004 og (EF) nr. 216/2008 og Rådets
forordning (EØF) nr. 3922/91 (EUT L 212 af 22.8.2018, s. 1).
46
Europa-Parlamentets og Rådets forordning (EU) 2019/2144 af 27. november 2019 om krav til
typegodkendelse af motorkøretøjer og påhængskøretøjer dertil samt systemer, komponenter og separate
tekniske enheder til sådanne køretøjer for så vidt angår deres generelle sikkerhed og beskyttelsen af
køretøjspassagerer og bløde trafikanter og om ændring af Europa-Parlamentets og Rådets forordning
(EU) 2018/858 og ophævelse af Europa-Parlamentets og Rådets forordning (EF) nr. 78/2009, (EF) nr.
79/2009 og (EF) nr. 661/2009 og Kommissionens forordning (EF) nr. 631/2009, (EU) nr. 406/2010,
(EU) nr. 672/2010, (EU) nr. 1003/2010, (EU) nr. 1005/2010, (EU) nr. 1008/2010, (EU) nr. 1009/2010,
(EU) nr. 19/2011, (EU) nr. 109/2011, (EU) nr. 458/2011, (EU) nr. 65/2012, (EU) nr. 130/2012, (EU) nr.
347/2012, (EU) nr. 351/2012, (EU) nr. 1230/2012 og (EU) 2015/166 (EUT L 325 af 16.12.2019, s. 1).
DA 27 DA
tilfældet med Europa-Parlamentets og Rådets forordning (EU) 2017/74547
og Europa-
Parlamentets og Rådets forordning (EU) 2017/74648
, hvor en tredjepart foretager
overensstemmelsesvurderinger af mellemrisiko- og højrisikoprodukter.
(32) Selvstændige AI-systemer, dvs. andre højrisiko-AI-systemer end dem, der er
sikkerhedskomponenter i produkter, eller som selv er produkter, bør klassificeres som
højrisikosystemer, hvis de set i lyset af deres tilsigtede formål udgør en høj risiko for
skade på menneskers sundhed og sikkerhed eller grundlæggende rettigheder, idet der
tages hensyn til både sandsynligheden for den mulige skade og dens alvorlighed, og
hvis de anvendes på en række specifikt foruddefinerede områder, der er angivet i
forordningen. Disse systemer udpeges ved hjælp af den samme metode og ud fra de
samme kriterier som i forbindelse med eventuelle fremtidige ændringer af listen over
højrisiko-AI-systemer.
(33) Tekniske unøjagtigheder i AI-systemer, der er beregnet til biometrisk
fjernidentifikation af fysiske personer, kan føre til skæve resultater og have
diskriminerende virkning. Det gælder særligt med hensyn til alder, etnicitet, køn og
handicap. Derfor bør systemer til biometrisk fjernidentifikation i realtid og
efterfølgende biometrisk fjernidentifikation klassificeres som højrisikosystemer. I
betragtning af de risici, systemerne udgør, bør begge typer af systemer til biometrisk
fjernidentifikation være underlagt specifikke krav med hensyn til logningskapacitet og
menneskeligt tilsyn.
(34) For så vidt angår forvaltning og drift af kritisk infrastruktur bør AI-systemer, der er
beregnet til anvendelse som sikkerhedskomponenter i forvaltningen og driften af
vejtrafik og forsyning af vand, gas, varme og elektricitet, klassificeres som
højrisikosystemer, da svigt eller funktionsfejl i disse systemer kan bringe menneskers
liv og sundhed i fare i stort omfang og føre til betydelige forstyrrelser i de sociale og
økonomiske aktiviteter.
(35) AI-systemer, der anvendes inden for uddannelse eller erhvervsuddannelse, navnlig til
optagelse eller fordeling af personer på uddannelsesinstitutioner eller til at evaluere
personer i forbindelse med prøver som en del af eller som en forudsætning for deres
uddannelse, bør betragtes som højrisikosystemer, da de kan afgøre menneskers
uddannelsesmæssige og arbejdsmæssige livsforløb og dermed påvirke deres evne til at
sikre sig et livsgrundlag. Hvis sådanne systemer udformes og anvendes forkert, kan de
krænke retten til uddannelse og retten til ikke at blive forskelsbehandlet samt
opretholde historiske diskriminationsmønstre.
(36) AI-systemer, der anvendes inden for beskæftigelse, forvaltning af arbejdskraft og
adgang til selvstændig erhvervsvirksomhed, navnlig til rekruttering og udvælgelse af
personer og til beslutningstagning om forfremmelse og afskedigelse og til
opgavefordeling, overvågning og evaluering af personer i arbejdsmæssige
kontraktforhold, bør også klassificeres som højrisikosystemer, da de kan påvirke
menneskers fremtidige karrieremuligheder og livsgrundlag betydeligt. De relevante
arbejdsmæssige kontraktforhold bør omfatte ansatte og personer, der leverer
47
Europa-Parlamentets og Rådets forordning (EU) 2017/745 af 5. april 2017 om medicinsk udstyr, om
ændring af direktiv 2001/83/EF, forordning (EF) nr. 178/2002 og forordning (EF) nr. 1223/2009 og om
ophævelse af Rådets direktiv 90/385/EØF og 93/42/EØF (EUT L 117 af 5.5.2017, s. 1).
48
Europa-Parlamentets og Rådets forordning (EU) 2017/746 af 5. april 2017 om medicinsk udstyr til
in vitro-diagnostik og om ophævelse af direktiv 98/79/EF og Kommissionens afgørelse 2010/227/EU
(EUT L 117 af 5.5.2017, s. 176).
DA 28 DA
tjenesteydelser via platforme som omhandlet i Kommissionens arbejdsprogram for
2021. Sådanne personer bør i princippet ikke betragtes som brugere som defineret i
denne forordning. Gennem hele rekrutteringsprocessen og i forbindelse med
evaluering, forfremmelse eller fastholdelse af personer i arbejdsmæssige
kontraktforhold kan sådanne systemer opretholde historiske diskriminationsmønstre,
f.eks. mod kvinder, bestemte aldersgrupper, personer med handicap eller personer af
bestemt racemæssig eller etnisk oprindelse eller med en bestemt seksuel orientering.
AI-systemer, der anvendes til at overvåge disse personers præstationer og adfærd, kan
også påvirke deres ret til databeskyttelse og ret til privatlivets fred.
(37) Et andet område, hvor anvendelsen af AI-systemer kræver særlig opmærksomhed, er
adgangen til og benyttelsen af visse væsentlige private og offentlige tjenester og de
fordele, der er nødvendige for, at mennesker kan deltage fuldt ud i samfundet eller
forbedre deres levestandard. Navnlig bør AI-systemer, der anvendes til at evaluere
kreditvurderinger eller kreditværdigheden af fysiske personer, klassificeres som
højrisiko-AI-systemer, da de afgør menneskers adgang til finansielle ressourcer eller
væsentlige tjenester såsom bolig, elektricitet og telekommunikationstjenester. AI-
systemer, der anvendes til dette formål, kan føre til forskelsbehandling af personer
eller grupper og opretholde historiske diskriminationsmønstre, f.eks. på grundlag af
racemæssig eller etnisk oprindelse, handicap, alder eller seksuel orientering, eller være
med til at skabe nye former for diskriminerende virkninger. I betragtning af den meget
begrænsede indvirkning og de alternativer, der er tilgængelige på markedet, bør AI-
systemer, der anvendes i forbindelse med kreditvurderinger og vurdering af
kreditværdighed, undtages, når de tages i brug af mindre udbydere til egen brug.
Fysiske personer, der ansøger om eller modtager offentlige bistandsydelser og
tjenester fra offentlige myndigheder, er typisk afhængige af sådanne ydelser og
tjenester og befinder sig i en sårbar situation i forhold til de ansvarlige myndigheder.
Hvis der anvendes AI-systemer til at afgøre, om der skal gives afslag på sådanne
ydelser og tjenester, eller om de skal reduceres, ophæves eller tilbagekræves af
myndighederne, kan systemerne have en betydelig indvirkning på menneskers
livsgrundlag og krænke deres grundlæggende rettigheder såsom retten til social
beskyttelse, ikkeforskelsbehandling, menneskelig værdighed eller adgang til effektive
retsmidler. Sådanne systemer bør derfor klassificeres som højrisikosystemer. Ikke
desto mindre bør denne forordning ikke hindre udviklingen eller anvendelsen af
innovative tilgange i den offentlige forvaltning, som vil kunne drage fordel af en
bredere anvendelse af AI-systemer, der er i overensstemmelse med reglerne og er
sikre, forudsat at de ikke indebærer en høj risiko for juridiske og fysiske personer.
Endelig bør AI-systemer, der anvendes til at sende beredskabstjenester i nødsituationer
eller til at tildele prioriteter i forbindelse hermed, også klassificeres som
højrisikosystemer, da de træffer beslutninger i situationer, der er meget kritiske for
menneskers liv og sundhed og for deres ejendom.
(38) Retshåndhævende myndigheders handlinger, der omfatter visse anvendelser af AI-
systemer, er kendetegnet ved en betydelig ubalance i magtforholdet og kan føre til
overvågning, anholdelse eller frihedsberøvelse af fysiske personer samt have andre
negative indvirkninger på de grundlæggende rettigheder, der er sikret i chartret.
Navnlig kan AI-systemer udvælge personer på diskriminerende eller på anden måde
ukorrekt eller uretfærdig vis, hvis de ikke er trænet med data af høj kvalitet, ikke
opfylder passende krav med hensyn til nøjagtighed og robusthed eller ikke er korrekt
udformede og afprøvet, før de bringes i omsætning eller på anden måde tages i brug.
Desuden kan udøvelsen af vigtige grundlæggende processuelle rettigheder såsom
retten til adgang til effektive retsmidler, retten til en retfærdig rettergang og retten til et
DA 29 DA
forsvar samt uskyldsformodningen hindres, navnlig hvis sådanne AI-systemer ikke er
tilstrækkeligt gennemsigtige, forklarlige og dokumenterede. Derfor bør en række AI-
systemer, der er beregnet til anvendelse i retshåndhævelsesmæssig sammenhæng, hvor
det er særlig vigtigt med nøjagtighed, pålidelighed og gennemsigtighed for at undgå
negative virkninger, bevare offentlighedens tillid og sikre ansvarlighed og effektive
retsmidler, klassificeres som højrisikosystemer. I betragtning af de pågældende
aktiviteters karakter og de risici, der er forbundet med dem, bør disse højrisiko-AI-
systemer navnlig omfatte AI-systemer, der er beregnet til at blive anvendt af
retshåndhævende myndigheder til individuelle risikovurderinger, polygrafer og
lignende værktøjer, påvisning af fysiske personers følelsesmæssige tilstand, afsløring
af deepfake-indhold, vurdering af pålideligheden af bevismateriale i straffesager,
forudsigelse af forekomsten eller gentagelsen af en faktisk eller potentiel strafbar
handling ud fra profilering af fysiske personer, vurdering af fysiske personers eller
gruppers personlighedstræk og personlige egenskaber eller tidligere kriminelle adfærd,
profilering i forbindelse med afsløring, efterforskning eller retsforfølgelse af strafbare
handlinger samt kriminalanalyser vedrørende fysiske personer. AI-systemer, der
specifikt er beregnet til skatte- og toldmyndigheders administrative procedurer, bør
ikke betragtes som højrisiko-AI-systemer, der anvendes af retshåndhævende
myndigheder med henblik på forebyggelse, afsløring, efterforskning og retsforfølgning
af strafbare handlinger.
(39) AI-systemer, der anvendes inden for migrationsstyring, asylforvaltning og
grænsekontrol, berører personer, der ofte befinder sig i en særlig sårbar situation, og
som er afhængige af resultatet af de kompetente offentlige myndigheders handlinger. I
AI-systemer, der anvendes i disse sammenhænge, er nøjagtighed, gennemsigtighed og
systemets ikkediskriminerende karakter derfor særlig vigtige med hensyn til at sikre, at
de berørte personers grundlæggende rettigheder beskyttes, navnlig deres ret til fri
bevægelighed, beskyttelse mod forskelsbehandling, beskyttelse af privatlivets fred og
personoplysninger, international beskyttelse og god forvaltning. Derfor bør de AI-
systemer, der er beregnet til at blive anvendt af de kompetente offentlige myndigheder,
der er ansvarlige for opgaver inden for migrationsstyring, asylforvaltning og
grænsekontrol, som polygrafer og lignende værktøjer eller til at påvise en fysisk
persons følelsesmæssige tilstand, vurdere visse risici, som fysiske personer, der
indrejser til en medlemsstats område eller ansøger om visum eller asyl, udgør,
kontrollere ægtheden af fysiske personers relevante dokumenter, bistå de kompetente
offentlige myndigheder i behandlingen af ansøgninger om asyl, visum og
opholdstilladelse og hertil relaterede klager med henblik på at fastslå, om de fysiske
personer, der ansøger, er berettigede, klassificeres som højrisikosystemer. AI-
systemer, der anvendes inden for migrationsstyring, asylforvaltning og grænsekontrol,
og som er omfattet af denne forordning, bør opfylde de relevante proceduremæssige
krav i Europa-Parlamentets og Rådets direktiv 2013/32/EU49
, Europa-Parlamentets og
Rådets forordning (EF) nr. 810/200950
og anden relevant lovgivning.
(40) Visse AI-systemer, der er beregnet til anvendelse inden for retspleje og i demokratiske
processer, bør klassificeres som højrisikosystemer i betragtning af deres potentielt
49
Europa-Parlamentets og Rådets direktiv 2013/32/EU af 26. juni 2013 om fælles procedurer for tildeling
og fratagelse af international beskyttelse (EUT L 180 af 29.6.2013, s. 60).
50
Europa-Parlamentets og Rådets forordning (EF) nr. 810/2009 af 13. juli 2009 om en fællesskabskodeks
for visa (visumkodeks) (EUT L 243 af 15.9.2009, s. 1).
DA 30 DA
betydelige indvirkning på demokratiet, retsstatsprincippet, individets
frihedsrettigheder samt retten til adgang til effektive retsmidler og retten til en
retfærdig rettergang. Navnlig for at imødegå risikoen for forudindtagethed, fejl og
uigennemsigtighed bør de AI-systemer, der har til formål at bistå retlige myndigheder
med at undersøge og fortolke fakta og lovgivningen og anvende lovgivningen i
konkrete, faktuelle sager, klassificeres som højrisikosystemer. Denne kvalificering bør
dog ikke omfatte AI-systemer, der er beregnet til rent supplerende administrative
aktiviteter, som ikke har indflydelse på den egentlige retspleje i de enkelte sager, som
f.eks. anonymisering eller pseudonymisering af retsafgørelser, dokumenter eller data,
kommunikation mellem personale, administrative opgaver eller fordeling af
ressourcer.
(41) Klassificeringen af et AI-system som et højrisikosystem i henhold til denne forordning
bør ikke fortolkes således, at anvendelsen af systemet nødvendigvis er lovlig i henhold
til andre EU-retsakter eller national lovgivning, der er forenelig med EU-retten, f.eks.
lovgivning om beskyttelse af personoplysninger, brug af polygrafer og lignende
værktøjer eller andre systemer til at påvise fysiske personers følelsesmæssige tilstand.
Enhver sådan anvendelse bør fortsat udelukkende ske i overensstemmelse med de
gældende krav, der følger af chartret og de gældende afledte EU-retsforskrifter og
national ret. Denne forordning bør ikke forstås som et retsgrundlag for behandling af
personoplysninger, herunder særlige kategorier af personoplysninger, hvor det er
relevant.
(42) For at begrænse risiciene fra højrisiko-AI-systemer, der bringes i omsætning eller på
anden måde tages i brug på EU-markedet, for brugere og berørte personer bør der
gælde visse obligatoriske krav under hensyntagen til det tilsigtede formål med
anvendelsen af systemet og i overensstemmelse med det risikostyringssystem, som
udbyderen skal indføre.
(43) Der bør gælde krav for højrisiko-AI-systemer med hensyn til kvaliteten af de anvendte
datasæt, teknisk dokumentation og registrering, gennemsigtighed og formidling af
oplysninger til brugerne, menneskeligt tilsyn og robusthed, nøjagtighed og
cybersikkerhed. Disse krav er nødvendige for effektivt at mindske risiciene for
menneskers sundhed, sikkerhed og grundlæggende rettigheder, alt efter hvad der i
lyset af systemets tilsigtede formål er relevant, og hvis foranstaltninger, der er mindre
begrænsende for handelen, ikke er mulige, således at uberettigede handelsrestriktioner
undgås.
(44) Når det gælder om at sikre, at et højrisiko-AI-system yder efter hensigten og på sikker
vis og ikke bliver en kilde til forskelsbehandling som forbudt i henhold til EU-retten,
er en høj datakvalitet afgørende for mange AI-systemers ydeevne, navnlig hvis der
gøres brug af teknikker, der omfatter træning af modeller. Trænings-, validerings- og
prøvningsdatasæt af høj kvalitet kræver, at der indføres passende datastyrings- og
dataforvaltningspraksisser. Trænings-, validerings- og prøvningsdatasættene bør være
tilstrækkeligt relevante, repræsentative og fri for fejl og fuldstændige i forhold til
systemets tilsigtede formål. De bør også have de relevante statistiske egenskaber,
herunder med hensyn til de personer eller grupper af personer, på hvilke højrisiko-AI-
systemet skal anvendes. Navnlig bør der i trænings-, validerings- og prøvningsdatasæt
i det omfang, det er nødvendigt i lyset af deres tilsigtede formål, tages hensyn til de
egenskaber, karakteristika eller elementer, der er særlige for den specifikke
geografiske, adfærdsmæssige eller funktionelle ramme eller kontekst, inden for
hvilken AI-systemet skal anvendes. For at sikre andres ret til beskyttelse mod den
forskelsbehandling, der kan opstå som følge af skævheder i AI-systemer, bør udbydere
DA 31 DA
også kunne behandle særlige kategorier af personoplysninger for at sikre, at partiskhed
i forbindelse med højrisiko-AI-systemer overvåges, opdages og korrigeres som et
spørgsmål af væsentligt samfundshensyn.
(45) Når der udvikles højrisiko-AI-systemer, bør visse aktører, som for eksempel udbydere,
bemyndigede organer og andre relevante enheder såsom digitale
innovationsknudepunkter, prøvnings- og forsøgsfaciliteter og forskere, have adgang til
og kunne anvende datasæt af høj kvalitet inden for deres respektive aktivitetsområder,
som er relateret til denne forordning. Fælles europæiske dataområder, som
Kommissionen har oprettet, og fremme af datadeling mellem virksomheder og med
myndigheder i almenhedens interesse vil være afgørende for at sikre pålidelig,
ansvarlig og ikkediskriminerende adgang til data af høj kvalitet til træning, validering
og prøvning af AI-systemer. På sundhedsområdet vil det europæiske
sundhedsdataområde for eksempel fremme ikkediskriminerende adgang til
sundhedsdata og træning af algoritmer med kunstig intelligens i disse datasæt på en
måde, der beskytter privatlivets fred, er sikker, rettidig, gennemsigtig og pålidelig og
underlagt en passende institutionel styring. Relevante kompetente myndigheder,
herunder sektorspecifikke myndigheder, der giver eller understøtter adgang til data,
kan også understøtte tilvejebringelsen af data af høj kvalitet til træning, validering og
prøvning af AI-systemer.
(46) Med hensyn til overholdelsen af kravene i denne forordning er det vigtigt, at der
foreligger oplysninger om, hvordan højrisiko-AI-systemer er blevet udviklet, og
hvordan de fungerer i hele deres livscyklus. Det kræver, at der føres fortegnelser og
stilles en teknisk dokumentation til rådighed, som indeholder de oplysninger, der er
nødvendige for at vurdere AI-systemets overensstemmelse med de relevante krav.
Sådanne oplysninger bør omfatte systemets generelle egenskaber, kapacitet og
begrænsninger samt algoritmer, data, trænings-, prøvnings- og valideringsprocesser
foruden dokumentation for det relevante risikostyringssystem. Den tekniske
dokumentation skal holdes ajour.
(47) For at afhjælpe den uigennemsigtighed, der kan gøre visse AI-systemer uforståelige
eller for komplekse for fysiske personer, bør der kræves en vis grad af
gennemsigtighed for højrisiko-AI-systemer. Brugerne bør kunne fortolke systemets
output og anvende det korrekt. Højrisiko-AI-systemer bør derfor ledsages af relevant
dokumentation og en brugsanvisning og indeholde kortfattede og klare oplysninger,
blandt andet om mulige risici med hensyn til grundlæggende rettigheder og
forskelsbehandling, hvis det er relevant.
(48) Højrisiko-AI-systemer bør udformes og udvikles på en sådan måde, at fysiske
personer kan føre tilsyn med deres funktion. Udbyderen af systemet bør derfor
fastlægge passende foranstaltninger til menneskeligt tilsyn, inden systemet bringes i
omsætning eller tages i brug. Hvor det er relevant, bør sådanne foranstaltninger
navnlig sikre, at systemet er underlagt den menneskelige operatør og indbyggede
driftsmæssige begrænsninger, som ikke kan tilsidesættes af systemet selv, og at de
fysiske personer, som fører det menneskelige tilsyn, har de nødvendige kompetencer
og den nødvendige uddannelse og beføjelse til at varetage rollen.
(49) Højrisiko-AI-systemer bør fungere konsekvent i hele deres livscyklus og have et
passende niveau af nøjagtighed, robusthed og cybersikkerhed i overensstemmelse med
det generelt anerkendte aktuelle teknologiske niveau. Niveauet og parametrene med
hensyn til nøjagtighed bør formidles til brugerne.
DA 32 DA
(50) Den tekniske robusthed er et centralt krav for højrisiko-AI-systemer. De bør være
modstandsdygtige over for risici, der er forbundet med systemets begrænsninger
(f.eks. fejl, svigt, uoverensstemmelser og uventede situationer) og mod ondsindede
handlinger, der kan bringe AI-systemets sikkerhed i fare og resultere i skadelig eller på
anden vis uønsket adfærd. Manglende beskyttelse mod disse risici kan have
sikkerhedsmæssige konsekvenser eller en negativ indvirkning på de grundlæggende
rettigheder, f.eks. som følge af fejlagtige beslutninger eller forkerte eller partiske
output, der er genereret af AI-systemet.
(51) Cybersikkerhed spiller en afgørende rolle med hensyn til at sikre, at AI-systemer er
modstandsdygtige over for forsøg på at ændre deres anvendelse, adfærd, ydeevne eller
kompromittere deres sikkerhedsegenskaber fra ondsindede tredjeparter, der udnytter
systemets sårbarheder. Cyberangreb mod AI-systemer kan udnytte AI-specifikke
aktiver såsom træningsdatasæt (f.eks. dataforgiftning) eller trænede modeller (f.eks.
fjendtlige angreb) eller udnytte sårbarheder i AI-systemets digitale aktiver eller den
underliggende IKT-infrastruktur. For at sikre et cybersikkerhedsniveau, der er
passende i forhold til risiciene, bør udbydere af højrisiko-AI-systemer træffe passende
foranstaltninger, idet der også tages hensyn til den underliggende IKT-infrastruktur,
hvis det er relevant.
(52) Som led i Unionens harmoniseringslovgivning bør der fastsættes regler for omsætning,
ibrugtagning og anvendelse af højrisiko-AI-systemer i overensstemmelse med Europa-
Parlamentets og Rådets forordning (EF) nr. 765/2008 om kravene til akkreditering og
markedsovervågning af produkter51
, Europa-Parlamentets og Rådets afgørelse
nr. 768/2008/EF om fælles rammer for markedsføring af produkter52
og Europa-
Parlamentets og Rådets forordning (EU) 2019/1020 om markedsovervågning og
produktoverensstemmelse53
("den nye lovgivningsmæssige ramme for markedsføring
af produkter").
(53) En bestemt fysisk eller juridisk person, defineret som udbyderen, bør påtage sig
ansvaret for at omsætte eller ibrugtage et højrisiko-AI-system, uanset om denne
fysiske eller juridiske person er den person, der har udformet eller udviklet systemet.
(54) Udbyderen bør etablere et fornuftigt kvalitetsstyringssystem, sikre gennemførelsen af
den påkrævede overensstemmelsesvurderingsprocedure, udarbejde den relevante
dokumentation og indføre et robust system til overvågning efter omsætningen.
Offentlige myndigheder, der ibrugtager højrisiko-AI-systemer til eget brug, kan
vedtage og gennemføre reglerne for kvalitetsstyringssystemet som en del af det
kvalitetsstyringssystem, der er vedtaget på nationalt eller regionalt plan, alt efter hvad
der er relevant, under hensyntagen til de særlige forhold i sektoren og den pågældende
offentlige myndigheds kompetencer og organisation.
(55) Hvis et højrisiko-AI-system, som er en sikkerhedskomponent i et produkt, der er
omfattet af relevant lovgivning inden for den nye lovgivningsmæssige ramme, ikke
51
Europa-Parlamentets og Rådets forordning (EF) nr. 765/2008 af 9. juli 2008 om kravene til
akkreditering og markedsovervågning i forbindelse med markedsføring af produkter og om ophævelse
af Rådets forordning (EØF) nr. 339/93 (EUT L 218 af 13.8.2008, s. 30).
52
Europa-Parlamentets og Rådets afgørelse nr. 768/2008/EF af 9. juli 2008 om fælles rammer for
markedsføring af produkter og om ophævelse af Rådets afgørelse 93/465/EØF (EUT L 218 af
13.8.2008, s. 82).
53
Europa-Parlamentets og Rådets forordning (EU) 2019/1020 af 20. juni 2019 om markedsovervågning
og produktoverensstemmelse og om ændring af direktiv 2004/42/EF og forordning (EF) nr. 765/2008
og (EU) nr. 305/2011 (EUT L 169 af 25.6.2019, s. 1).
DA 33 DA
bringes i omsætning eller tages i brug uafhængigt af produktet, bør producenten af
slutproduktet som defineret i lovgivningen inden for den nye lovgivningsmæssige
ramme opfylde de forpligtelser, der påhviler udbyderen i henhold til denne forordning,
og navnlig sikre, at det AI-system, der er indlejret i slutproduktet, opfylder kravene i
denne forordning.
(56) For at muliggøre håndhævelsen af denne forordning og skabe lige vilkår for
operatørerne og under hensyntagen til de forskellige former for tilgængeliggørelse af
digitale produkter er det vigtigt at sikre, at en person, der er etableret i Unionen, under
alle omstændigheder kan give myndighederne alle de nødvendige oplysninger om et
AI-systems overensstemmelse med reglerne. Hvis der ikke kan udpeges en importør,
skal udbydere, der er etableret uden for Unionen, inden deres AI-systemer gøres
tilgængelige i Unionen, derfor ved skriftlig fuldmagt udpege en bemyndiget
repræsentant, der er etableret i Unionen.
(57) I overensstemmelse med principperne i den nye lovgivningsmæssige ramme bør der
fastsættes specifikke forpligtelser for de relevante økonomiske operatører såsom
importører og distributører for at sikre retssikkerhed og lette disse aktørers
overholdelse af lovgivningen.
(58) I betragtning af AI-systemers karakter og de risici for sikkerheden og de
grundlæggende rettigheder, der kan være forbundet med deres anvendelse, herunder
behovet for at sikre korrekt overvågning af et AI-systems ydeevne i virkelige rammer,
bør der fastsættes specifikke ansvarsområder for brugere. Brugere bør navnlig anvende
højrisiko-AI-systemer i overensstemmelse med brugsanvisningen, og der bør
fastsættes visse andre forpligtelser med hensyn til overvågning af AI-systemernes
funktion og, hvor det er relevant, med hensyn til registrering.
(59) Det bør fastsættes, at brugeren af AI-systemet skal være den fysiske eller juridiske
person, offentlige myndighed, det agentur eller et andet organ, under hvis myndighed
AI-systemet drives, undtagen hvis anvendelsen sker som led i en personlig
ikkeerhvervsmæssig aktivitet.
(60) I betragtning af kompleksiteten af værdikæden for kunstig intelligens bør relevante
tredjeparter, navnlig de, der er involveret i salg og levering af software,
softwareværktøjer og -komponenter, forhåndstrænede modeller og data, eller udbydere
af netværkstjenester, samarbejde med udbydere og brugere i det omfang, det er
relevant, for at gøre det muligt for dem at opfylde forpligtelserne i henhold til denne
forordning og med de kompetente myndigheder, der er fastlagt i henhold til denne
forordning.
(61) Standardisering bør spille en central rolle med hensyn til at levere tekniske løsninger
til udbyderne for at sikre overholdelsen af denne forordning. Overholdelse af
harmoniserede standarder som defineret i Europa-Parlamentets og Rådets forordning
(EU) nr. 1025/201254
bør være et middel for udbydere til at påvise overensstemmelse
med kravene i denne forordning. Kommissionen kan imidlertid vedtage fælles
tekniske specifikationer på områder, hvor der ikke findes harmoniserede standarder,
eller hvor de er utilstrækkelige.
54
Europa-Parlamentets og Rådets forordning (EU) nr. 1025/2012 af 25. oktober 2012 om europæisk
standardisering, om ændring af Rådets direktiv 89/686/EØF og 93/15/EØF og Europa-Parlamentets og
Rådets direktiv 94/9/EF, 94/25/EF, 95/16/EF, 97/23/EF, 98/34/EF, 2004/22/EF, 2007/23/EF,
2009/23/EF og 2009/105/EF og om ophævelse af Rådets beslutning 87/95/EØF og Europa-Parlamentets
og Rådets afgørelse nr. 1673/2006/EF (EUT L 316 af 14.11.2012, s. 12).
DA 34 DA
(62) For at sikre en høj grad af pålidelighed i højrisiko-AI-systemer bør disse systemer
underkastes en overensstemmelsesvurdering, inden de bringes i omsætning eller tages
i brug.
(63) For så vidt angår højrisiko-AI-systemer, der vedrører produkter, der er omfattet af
eksisterende EU-harmoniseringslovgivning som følge af tilgangen med den nye
lovgivningsmæssige ramme, bør disse AI-systemers overensstemmelse med kravene i
denne forordning vurderes som led i den overensstemmelsesvurdering, der allerede er
fastsat i nævnte lovgivning, således at byrden for operatørerne minimeres, og enhver
mulig overlapning undgås. Anvendeligheden af kravene i denne forordning bør derfor
ikke påvirke den specifikke logik, metode eller generelle struktur for
overensstemmelsesvurderingen i henhold til den relevante specifikke lovgivning inden
for den nye lovgivningsmæssige ramme. Denne tilgang afspejles fuldt ud i samspillet
mellem denne forordning og [maskinforordningen]. Selv om sikkerhedsrisici ved de
AI-systemer, der sørger for sikkerhedsfunktioner i maskiner, er omfattet af kravene i
denne forordning, vil visse specifikke krav i [maskinforordningen] sikre, at AI-
systemet integreres i den samlede maskine på sikker vis, således at sikkerheden for
maskinen som helhed ikke bringes i fare. I [maskinforordningen] anvendes samme
definition af et AI-system som i denne forordning.
(64) I betragtning af den mere omfattende erfaring, som professionelle, der udfører
certificering forud for omsætning, har inden for produktsikkerhed og de relevante
risicis forskellige karakter, bør anvendelsesområdet for af tredjepart foretagne
overensstemmelsesvurderinger af andre højrisiko-AI-systemer end dem, der vedrører
produkter, begrænses i det mindste i den indledende fase af anvendelsen af denne
forordning. Overensstemmelsesvurderinger af sådanne systemer bør derfor som
hovedregel foretages af udbyderen på dennes eget ansvar, med undtagelse af AI-
systemer, der er beregnet til at blive anvendt til biometrisk fjernidentifikation af
personer, for hvilke det bør være muligt at inddrage et bemyndiget organ i
overensstemmelsesvurderingen, i det omfang de ikke er forbudt.
(65) Med henblik på af tredjeparter foretagne overensstemmelsesvurderinger af AI-
systemer, der er beregnet til at blive anvendt til biometrisk fjernidentifikation af
personer, bør der udpeges bemyndigede organer i henhold til denne forordning af de
nationale kompetente myndigheder, forudsat at de opfylder en række krav, navnlig
med hensyn til uafhængighed, kompetencer og interessekonflikter.
(66) I overensstemmelse med det almindeligt anerkendte begreb væsentlig ændring for
produkter, der er reguleret af EU-harmoniseringslovgivningen, bør et AI-system
underkastes en ny overensstemmelsesvurdering, når der sker en ændring, som kan
have indflydelse på systemets overensstemmelse med denne forordning, eller når
systemets tilsigtede formål ændrer sig. Med hensyn til AI-systemer, der fortsætter med
at "lære" efter, at de er bragt i omsætning eller taget i brug (dvs. de automatisk
tilpasser, hvordan funktionerne udføres), er det desuden nødvendigt at fastsætte regler
for, at ændringer af algoritmen og dens ydeevne, som er fastlagt på forhånd af
udbyderen og vurderet på tidspunktet for overensstemmelsesvurderingen, ikke bør
udgøre en væsentlig ændring.
(67) Højrisiko-AI-systemer bør være forsynet med CE-mærkning for at vise, at de er i
overensstemmelse med denne forordning, således at de kan bevæge sig frit på det
indre marked. Medlemsstaterne bør ikke skabe uberettigede hindringer for
omsætningen eller ibrugtagningen af højrisiko-AI-systemer, der opfylder kravene i
denne forordning, og som er forsynet med CE-mærkning.
DA 35 DA
(68) Under visse omstændigheder kan hurtig adgang til innovative teknologier være
afgørende for menneskers sundhed og sikkerhed og for samfundet som helhed.
Medlemsstaterne bør derfor af ekstraordinære hensyn til den offentlige sikkerhed eller
beskyttelsen af fysiske personers liv og sundhed og beskyttelsen af industriel og
kommerciel ejendomsret kunne tillade omsætning eller ibrugtagning af AI-systemer,
der ikke har været genstand for en overensstemmelsesvurdering.
(69) For at lette Kommissionens og medlemsstaternes arbejde inden for kunstig intelligens
og øge gennemsigtigheden for offentligheden bør udbydere af andre højrisiko-AI-
systemer end dem, der vedrører produkter, der er omfattet af relevant eksisterende EU-
harmoniseringslovgivning, pålægges at registrere deres højrisiko-AI-system i en EU-
database, der skal oprettes og forvaltes af Kommissionen. Kommissionen bør være
dataansvarlig for denne database i overensstemmelse med Europa-Parlamentets og
Rådets forordning (EU) 2018/172555
. For at sikre at databasen fungerer efter
hensigten, når den tages i brug, bør proceduren for oprettelse af databasen omfatte, at
Kommissionen udarbejder funktionsspecifikationer, samt en uafhængig
revisionsrapport.
(70) Visse AI-systemer, der er beregnet til at interagere med fysiske personer eller generere
indhold, kan indebære særlige risici for imitation eller vildledning, uanset om de er
klassificeret som højrisikosystemer eller ej. Under visse omstændigheder bør
anvendelsen af disse systemer derfor være underlagt særlige
gennemsigtighedsforpligtelser, uden at dette berører kravene og forpligtelserne for
højrisiko-AI-systemer. Fysiske personer bør navnlig underrettes om, at de interagerer
med et AI-system, medmindre dette fremgår tydeligt af omstændighederne og
konteksten for anvendelsen. Fysiske personer bør desuden underrettes, når de udsættes
for et system til følelsesgenkendelse eller et system til biometrisk kategorisering.
Sådanne oplysninger og underretninger bør gives i formater, der er tilgængelige for
personer med handicap. Endvidere bør de brugere, der anvender et AI-system til at
generere eller manipulere billed-, lyd- eller videoindhold, der i væsentlig grad ligner
faktiske personer, steder eller begivenheder, og som fejlagtigt vil fremstå ægte, oplyse,
at indholdet er kunstigt skabt eller manipuleret, ved at mærke outputtet og oplyse om
dets kunstige oprindelse.
(71) Kunstig intelligens er en hurtigt voksende vifte af teknologier, der kræver nye former
for myndighedstilsyn og et sikkert område til forsøg, samtidig med at der sikres
ansvarlig innovation og integration af passende sikkerhedsforanstaltninger og
risikobegrænsende foranstaltninger. For at sikre en lovgivningsmæssig ramme, der er
innovationsvenlig, fremtidssikret og modstandsdygtig over for forstyrrelser, bør de
nationale kompetente myndigheder i en eller flere medlemsstater tilskyndes til at
oprette reguleringsmæssige sandkasser for kunstig intelligens for at lette udviklingen
og prøvningen af innovative AI-systemer under strengt myndighedstilsyn, før disse
systemer bringes i omsætning eller på anden måde tages i brug.
(72) Formålet med de reguleringsmæssige sandkasser bør være at fremme innovation inden
for kunstig intelligens ved at skabe et kontrolleret forsøgs- og prøvningsmiljø i
udviklingsfasen forud for omsætning med henblik på at sikre, at de innovative AI-
55
Europa-Parlamentets og Rådets forordning (EU) 2016/679 af 27. april 2016 om beskyttelse af fysiske
personer i forbindelse med behandling af personoplysninger og om fri udveksling af sådanne
oplysninger og om ophævelse af direktiv 95/46/EF (generel forordning om databeskyttelse) (EUT L 119
af 4.5.2016, s. 1).
DA 36 DA
systemer er i overensstemmelse med denne forordning og anden relevant EU-
lovgivning og national lovgivning, og øge retssikkerheden for innovatorer og de
kompetente myndigheders tilsyn og forståelse af de muligheder, nye risici og
virkninger, der er forbundet med anvendelsen af kunstig intelligens, samt fremskynde
adgangen til markeder, herunder ved at fjerne hindringer for små og mellemstore
virksomheder (SMV'er) og startup-virksomheder. For at sikre en ensartet
gennemførelse i hele Unionen samt stordriftsfordele bør der fastsættes fælles regler for
gennemførelsen af de reguleringsmæssige sandkasser og en ramme for samarbejde
mellem de relevante myndigheder, der er involveret i tilsynet med sandkasserne.
Denne forordning bør udgøre retsgrundlaget for anvendelsen af personoplysninger, der
er indsamlet til andre formål med henblik på udvikling af visse AI-systemer i
almenhedens interesse inden for rammerne af den reguleringsmæssige sandkasse for
kunstig intelligens, jf. artikel 6, stk. 4, i forordning (EU) 2016/679 og artikel 6 i
forordning (EU) 2018/1725 for så vidt andet ikke er fastsat i artikel 4, stk. 2, i direktiv
(EU) 2016/680. Deltagerne i sandkassen bør sørge for passende
sikkerhedsforanstaltninger og samarbejde med de kompetente myndigheder, herunder
ved at følge deres vejledning og handle hurtigt og i god tro for at afbøde eventuelle
store risici med hensyn til sikkerhed og de grundlæggende rettigheder, som måtte
opstå under udviklingen og forsøgene i sandkassen. Der bør tages hensyn til adfærden
hos deltagerne i sandkassen, når de kompetente myndigheder træffer afgørelse om
pålæggelse af en administrativ bøde, jf. artikel 83, stk. 2, i forordning (EU) 2016/679
og artikel 57 i direktiv (EU) 2016/680.
(73) For at fremme og beskytte innovationen er det vigtigt, at der tages særligt hensyn til
mindre udbyderes og brugere af AI-systemers interesser. Med henblik herpå bør
medlemsstaterne udarbejde initiativer, der er rettet mod disse operatører, som f.eks.
oplysningskampagner, information og kommunikation. Desuden skal der tages hensyn
til mindre udbyderes særlige interesser og behov, når bemyndigede organer fastsætter
gebyrer for overensstemmelsesvurderinger. Udgifter forbundet oversættelse af
påkrævet dokumentation og kommunikation med myndigheder kan udgøre en
betydelig omkostning for udbydere og andre operatører, navnlig mindre udbydere og
operatører. Medlemsstaterne bør muligvis sørge for, at et af de sprog, som de
bestemmer sig for og accepterer med hensyn til de relevante udbyderes dokumentation
og kommunikationen med operatører, er et sprog, der forstås bredt af det størst mulige
antal brugere på tværs af grænserne.
(74) For at minimere risiciene i gennemførelsen som følge af manglende viden og
ekspertise på markedet samt for at gøre det lettere for udbydere og bemyndigede
organer at overholde deres forpligtelser i henhold til denne forordning bør AI-on-
demand-platformen, de europæiske digitale innovationsknudepunkter og de prøvnings-
og forsøgsfaciliteter, som Kommissionen og medlemsstaterne har oprettet på nationalt
plan eller EU-plan, eventuelt bidrage til gennemførelsen af denne forordning. Inden
for rammerne af deres respektive opgave- og kompetenceområde kan de navnlig yde
teknisk og videnskabelig støtte til udbydere og bemyndigede organer.
(75) Kommissionen bør så vidt muligt lette adgangen til prøvnings- og forsøgsfaciliteter for
organer, grupper eller laboratorier, der er oprettet eller akkrediteret i henhold til
relevant EU-harmoniseringslovgivning, og som udfører opgaver i forbindelse med
overensstemmelsesvurderinger af produkter eller udstyr, der er omfattet af EU-
harmoniseringslovgivningen. Dette er navnlig tilfældet for ekspertpaneler,
ekspertlaboratorier og referencelaboratorier på området for medicinsk udstyr, jf.
forordning (EU) 2017/745 og forordning (EU) 2017/746.
DA 37 DA
(76) For at fremme en gnidningsløs, effektiv og harmoniseret gennemførelse af denne
forordning bør der nedsættes et europæisk udvalg for kunstig intelligens. Udvalget bør
være ansvarligt for en række rådgivningsopgaver såsom udtalelser, henstillinger,
rådgivning eller vejledning om spørgsmål vedrørende gennemførelsen af denne
forordning, herunder med hensyn til tekniske specifikationer eller eksisterende
standarder, der er relateret til de krav, der er fastsat i denne forordning, samt rådgive
og bistå Kommissionen i forbindelse med specifikke spørgsmål vedrørende kunstig
intelligens.
(77) Medlemsstaterne spiller en central rolle i anvendelsen og håndhævelsen af denne
forordning. I den forbindelse bør hver medlemsstat udpege en eller flere nationale
kompetente myndigheder til at føre tilsyn med anvendelsen og gennemførelsen af
denne forordning. For at øge organisationseffektiviteten for medlemsstaternes
vedkommende og for at oprette et officielt kontaktpunkt for offentligheden og andre
modparter på nationalt plan og EU-plan bør der i hver medlemsstat udpeges en
national myndighed som national tilsynsmyndighed.
(78) Alle udbydere bør have et system til overvågning efter omsætning, således at det
sikres, at udbydere af højrisiko-AI-systemer tager erfaringerne med anvendelse af
højrisiko-AI-systemer i betragtning, når de vil forbedre deres systemer og design- og
udviklingsprocessen, og at de kan træffe eventuelle korrigerende foranstaltninger
rettidigt. Dette system er også afgørende for at sikre, at eventuelle risici som følge af
AI-systemer, der fortsætter med at "lære" efter at være bragt i omsætning eller taget i
brug, kan imødegås mere effektivt og rettidigt. I den forbindelse bør udbyderne også
forpligtes til at have et system til indberetning til de relevante myndigheder af
alvorlige hændelser eller overtrædelser af national lovgivning eller EU-lovgivning, der
beskytter de grundlæggende rettigheder som følge af anvendelsen af deres AI-
systemer.
(79) For at sikre en hensigtsmæssig og effektiv håndhævelse af de krav og forpligtelser, der
er fastsat i denne forordning, som udgør EU-harmoniseringslovgivning, bør det system
til markedsovervågning og produktoverensstemmelse, der er indført ved forordning
(EU) 2019/1020, finde anvendelse i sin helhed. Nationale offentlige myndigheder eller
organer, der fører tilsyn med anvendelsen af EU-lovgivningen om beskyttelse af
grundlæggende rettigheder, herunder ligestillingsorganer, bør i det omfang, det er
nødvendigt for deres mandat, også have adgang til al den dokumentation, der er
udarbejdet i henhold til denne forordning.
(80) EU-lovgivningen om finansielle tjenesteydelser omfatter regler og krav vedrørende
intern forvaltning og risikostyring, som finder anvendelse på regulerede finansielle
institutioner i forbindelse med leveringen af sådanne tjenester, også når de gør brug af
AI-systemer. For at sikre en sammenhængende anvendelse og håndhævelse af
forpligtelserne i henhold til denne forordning og de relevante regler og krav i EU-
lovgivningen om finansielle tjenesteydelser bør de myndigheder, der er ansvarlige for
tilsyn med og håndhævelse af lovgivningen om finansielle tjenesteydelser, herunder
Den Europæiske Centralbank i det omfang, det er relevant, udpeges som kompetente
myndigheder med henblik på at føre tilsyn med gennemførelsen af denne forordning,
herunder også markedsovervågningsaktiviteter, for så vidt angår AI-systemer, der
leveres eller anvendes af finansielle institutioner, som er regulerede, og som der føres
tilsyn med. For yderligere at styrke sammenhængen mellem denne forordning og de
regler, der gælder for kreditinstitutter, der er reguleret ved Europa-Parlamentets og
DA 38 DA
Rådets direktiv 2013/36/EU56
, bør overensstemmelsesvurderingsproceduren og nogle
af udbydernes proceduremæssige forpligtelser i forbindelse med risikostyring,
overvågning efter omsætning og dokumentation indarbejdes i de eksisterende
forpligtelser og procedurer i henhold i direktiv 2013/36/EU. For at undgå
overlapninger bør der også overvejes begrænsede undtagelser for så vidt angår
udbydernes kvalitetsstyringssystem og den overvågningsforpligtelse, der pålægges
brugere af højrisiko-AI-systemer, i det omfang disse gælder for kreditinstitutter, der er
reguleret ved direktiv 2013/36/EU.
(81) Udviklingen af andre AI-systemer end højrisiko-AI-systemer i overensstemmelse med
kravene i denne forordning kan føre til en større udbredelse af pålidelig kunstig
intelligens i Unionen. Udbydere af AI-systemer, der ikke er højrisikosystemer, bør
tilskyndes til at udarbejde adfærdskodekser med det formål at fremme frivillig
anvendelse af de obligatoriske krav, der gælder for højrisiko-AI-systemer. Udbydere
bør også tilskyndes til på frivillig basis at anvende yderligere krav vedrørende f.eks.
miljømæssig bæredygtighed, tilgængelighed for personer med handicap, interessenters
deltagelse i udformningen og udviklingen af AI-systemer og mangfoldigheden i
udviklingsteamene. For at fremme mindskelsen af tekniske hindringer for
grænseoverskridende udveksling af data til udvikling af kunstig intelligens kan
Kommissionen udvikle initiativer, blandt andet på sektorniveau, vedrørende f.eks.
dataadgangsinfrastruktur og semantisk og teknisk interoperabilitet for forskellige typer
data.
(82) Det er vigtigt, at AI-systemer vedrørende produkter, der ikke er højrisikoprodukter i
henhold til denne forordning og derfor ikke skal opfylde kravene heri, ikke desto
mindre er sikre, når de bringes i omsætning eller tages i brug. Med henblik på at
bidrage til dette mål vil Europa-Parlamentets og Rådets direktiv 2001/95/EF57
finde
anvendelse som et sikkerhedsnet.
(83) For at sikre et tillidsfuldt og konstruktivt samarbejde mellem de kompetente
myndigheder på EU-plan og nationalt plan bør alle de parter, der er involveret i
anvendelsen af denne forordning, respektere fortroligheden af oplysninger og data, der
er indhentet under udførelsen af deres opgaver.
(84) Medlemsstaterne bør træffe alle nødvendige foranstaltninger til at sikre, at
bestemmelserne i denne forordning gennemføres, herunder ved at fastsætte sanktioner
for overtrædelse heraf, som er effektive, står i rimeligt forhold til overtrædelsen og har
afskrækkende virkning. Med hensyn til visse specifikke overtrædelser bør
medlemsstaterne tage hensyn til de margener og kriterier, der er fastsat i denne
forordning. Den Europæiske Tilsynsførende for Databeskyttelse bør have beføjelse til
at pålægge de af Unionens institutioner, agenturer og organer, der er omfattet af denne
forordnings anvendelsesområde, bøder.
(85) For at den lovgivningsmæssige ramme om nødvendigt kan tilpasses, bør
Kommissionen delegeres beføjelse til at vedtage retsakter, jf. artikel 290 i TEUF, med
henblik på at ændre de i bilag I omhandlede teknikker og tilgange til at definere AI-
56
Europa-Parlamentets og Rådets direktiv 2013/36/EU af 26. juni 2013 om adgang til at udøve
virksomhed som kreditinstitut og om tilsyn med kreditinstitutter og investeringsselskaber, om ændring
af direktiv 2002/87/EF og om ophævelse af direktiv 2006/48/EF og 2006/49/EF (EUT L 176 af
27.6.2013, s. 338).
57
Europa-Parlamentets og Rådets direktiv 2001/95/EF af 3. december 2001 om produktsikkerhed i
almindelighed (EFT L 11 af 15.1.2002, s. 4).
DA 39 DA
systemer, den i bilag II anførte EU-harmoniseringslovgivning, de i bilag III anførte
højrisiko-AI-systemer, de i bilag IV anførte bestemmelser vedrørende teknisk
dokumentation, indholdet af EU-overensstemmelseserklæringen i bilag V,
bestemmelserne vedrørende overensstemmelsesvurderingsprocedurer i bilag VI og VII
og bestemmelserne om fastsættelse af de højrisiko-AI-systemer, på hvilke
overensstemmelsesvurderingsproceduren på grundlag af en vurdering af
kvalitetsstyringssystemet og en vurdering af den tekniske dokumentation skal finde
anvendelse. Det er navnlig vigtigt, at Kommissionen gennemfører relevante høringer
under sit forberedende arbejde, herunder på ekspertniveau, og at disse høringer
gennemføres i overensstemmelse med principperne i den interinstitutionelle aftale af
13. april 2016 om bedre lovgivning58
. For at sikre lige deltagelse i forberedelsen af
delegerede retsakter modtager Europa-Parlamentet og Rådet navnlig alle dokumenter
på samme tid som medlemsstaternes eksperter, og deres eksperter har systematisk
adgang til møder i de af Kommissionens ekspertgrupper, der beskæftiger sig med
forberedelse af delegerede retsakter.
(86) For at sikre ensartede betingelser for gennemførelsen af denne forordning bør
Kommissionen tillægges gennemførelsesbeføjelser. Disse beføjelser bør udøves i
overensstemmelse med Europa-Parlamentets og Rådets forordning (EU) nr.
182/201159
.
(87) Målet for denne forordning kan ikke i tilstrækkelig grad opfyldes af medlemsstaterne,
men kan på grund af handlingens omfang og virkninger bedre nås på EU-plan;
Unionen kan derfor vedtage foranstaltninger i overensstemmelse med
nærhedsprincippet, jf. artikel 5 i TEU. I overensstemmelse med
proportionalitetsprincippet, jf. nævnte artikel, går denne forordning ikke videre, end
hvad der er nødvendigt for at nå dette mål.
(88) Denne forordning bør anvendes fra den [Publikationskontoret — indsæt datoen i
artikel 85]. Infrastrukturen i forbindelse med forvaltnings- og
overensstemmelsesvurderingssystemet bør dog være operationel inden denne dato, og
bestemmelserne om bemyndigede organer og forvaltningsstruktur bør derfor finde
anvendelse fra den [Publikationskontoret — indsæt dato: tre måneder efter denne
forordnings ikrafttræden]. Desuden bør medlemsstaterne fastsætte og meddele
Kommissionen bestemmelser om sanktioner, herunder administrative bøder, og sikre,
at de er gennemført korrekt og effektivt på datoen for denne forordnings anvendelse.
Bestemmelserne om sanktioner bør derfor finde anvendelse fra den
[Publikationskontoret — indsæt dato: tolv måneder efter denne forordnings
ikrafttræden].
(89) Den Europæiske Tilsynsførende for Databeskyttelse og Det Europæiske
Databeskyttelsesråd er blevet hørt i overensstemmelse med artikel 42, stk. 2, i
forordning (EU) 2018/1725 og afgav en udtalelse den [...].
58
EUT L 123 af 12.5.2016, s. 1.
59
Europa-Parlamentets og Rådets forordning (EU) nr. 182/2011 af 16. februar 2011 om de generelle
regler og principper for, hvordan medlemsstaterne skal kontrollere Kommissionens udøvelse af
gennemførelsesbeføjelser (EUT L 55 af 28.2.2011, s. 13).
DA 40 DA
VEDTAGET DENNE FORORDNING:
AFSNIT I
ALMINDELIGE BESTEMMELSER
Artikel 1
Genstand
Ved denne forordning fastsættes:
(a) harmoniserede regler for omsætning, ibrugtagning og anvendelse af systemer
med kunstig intelligens ("AI-systemer") i Unionen
(a) forbud mod visse former for praksis med hensyn til kunstig intelligens
(b) specifikke krav til højrisiko-AI-systemer og forpligtelser for operatører af
sådanne systemer
(c) harmoniserede gennemsigtighedsregler for AI-systemer, der er beregnet til at
interagere med fysiske personer, systemer til følelsesgenkendelse og systemer
til biometriske kategorisering, samt AI-systemer, der anvendes til at generere
eller manipulere billed-, lyd- eller videoindhold
(d) regler om markedsovervågning og -tilsyn.
Artikel 2
Anvendelsesområde
1. Denne forordning finder anvendelse på:
(a) udbydere, der omsætter eller ibrugtager AI-systemer i Unionen, uanset om
samme udbydere er etablerede i Unionen eller i et tredjeland
(b) brugere af AI-systemer i Unionen
(c) udbydere og brugere af AI-systemer, der befinder sig i et tredjeland, hvis det
output, der produceres af systemet, anvendes i Unionen.
2. For så vidt angår højrisiko-AI-systemer, der er sikkerhedskomponenter i produkter
eller systemer, eller som selv er produkter eller systemer, der er omfattet af
anvendelsesområdet for følgende retsakter, finder kun artikel 84 i denne forordning
anvendelse:
(a) forordning (EF) nr. 300/2008
(b) forordning (EU) nr. 167/2013
(c) forordning (EU) nr. 168/2013
(d) direktiv 2014/90/EU
(e) direktiv (EU) 2016/797
(f) forordning (EU) 2018/858
(g) forordning (EU) 2018/1139
(h) forordning (EU) 2019/2144.
DA 41 DA
3. Denne forordning finder ikke anvendelse på AI-systemer, der er udviklet eller
udelukkende anvendes til militære formål.
4. Denne forordning finder ikke anvendelse på offentlige myndigheder i tredjelande
eller internationale organisationer, der er omfattet af denne forordnings
anvendelsesområde, jf. stk. 1, hvis disse myndigheder eller organisationer anvender
AI-systemer inden for rammerne af internationale aftaler om retshåndhævelse og
retligt samarbejde med Unionen eller med en eller flere medlemsstater.
5. Denne forordning berører ikke anvendelsen af bestemmelserne om formidleransvar
for tjenesteydere i kapitel II, afdeling IV, i Europa-Parlamentets og Rådets direktiv
2000/31/EF60
[skal erstattes af de tilsvarende bestemmelser i retsakten om digitale
tjenester].
Artikel 3
Definitioner
I denne forordning forstås ved:
(1) "system med kunstig intelligens" (AI-system): software, der er udviklet ved hjælp af
en eller flere af de i bilag I anførte teknikker og tilgange, og som med henblik på et
givet sæt mål, der er fastsat af mennesker, kan generere output såsom indhold,
forudsigelser, anbefalinger eller beslutninger, der påvirker de miljøer, de interagerer
med
(2) "udbyder": en fysisk eller juridisk person, en offentlig myndighed, et agentur eller et
andet organ, der udvikler eller får udviklet et AI-system med henblik på at bringe det
i omsætning eller ibrugtage det under eget navn eller varemærke, enten mod betaling
eller gratis
(3) "mindre udbyder": en udbyder, der er en mikrovirksomhed eller en mindre
virksomhed som defineret i Kommissionens henstilling 2003/361/EF61
(4) "bruger": enhver fysisk eller juridisk person, offentlig myndighed eller ethvert
agentur eller andet organ, der anvender et AI-system under sin myndighed,
medmindre AI-systemet anvendes som led i en personlig ikkeerhvervsmæssig
aktivitet
(5) "bemyndiget repræsentant": enhver fysisk eller juridisk person, der er etableret i
Unionen, og som har modtaget en skriftlig fuldmagt fra en udbyder af et AI-system
til på dennes vegne at opfylde og udføre de forpligtelser og procedurer, der er fastsat
i denne forordning
(6) "importør": enhver fysisk eller juridisk person, der er etableret i Unionen, og som
omsætter eller ibrugtager et AI-system, der bærer en uden for Unionen etableret
fysisk eller juridisk persons navn eller varemærke
(7) "distributør": enhver fysisk eller juridisk person i forsyningskæden ud over
udbyderen eller importøren, som gør et AI-system tilgængeligt på EU-markedet uden
at have indflydelse på dets egenskaber
60
Europa-Parlamentets og Rådets direktiv 2000/31/EF af 8. juni 2000 om visse retlige aspekter af
informationssamfundstjenester, navnlig elektronisk handel, i det indre marked ("Direktivet om
elektronisk handel") (EFT L 178 af 17.7.2000, s. 1).
61
Kommissionens henstilling 2003/361/EF af 6. maj 2003 om definitionen af mikrovirksomheder, små og
mellemstore virksomheder (EUT L 124 af 20.5.2003, s. 36).
DA 42 DA
(8) "operatør": udbyderen, brugeren, den bemyndigede repræsentant, importøren og
distributøren
(9) "bringe i omsætning": den første tilgængeliggørelse af et AI-system på EU-markedet
(10) "tilgængeliggørelse på markedet": enhver levering af et AI-system med henblik på
distribution eller anvendelse på EU-markedet som led i erhvervsvirksomhed mod
eller uden vederlag
(11) "ibrugtagning": levering af et AI-system med henblik på anvendelse for første gang
enten direkte til brugeren eller til egen brug på EU-markedet i overensstemmelse
med systemets tilsigtede formål
(12) "tilsigtet formål": den anvendelse, som et AI-system af udbyderen er beregnet til,
herunder den specifikke sammenhæng og de specifikke betingelser for anvendelse
som angivet i de oplysninger, udbyderen har givet i brugsanvisningen, reklame- eller
salgsmaterialet eller reklame- og salgserklæringerne samt i den tekniske
dokumentation
(13) "fejlanvendelse, der med rimelighed kan forudses": anvendelse af et AI-system på en
måde, der ikke er i overensstemmelse med systemets tilsigtede formål, men som kan
skyldes menneskelig adfærd eller interaktion med andre systemer, som med
rimelighed kan forudses
(14) "sikkerhedskomponent i et produkt eller et system": en komponent i et produkt eller
et system, som har en sikkerhedsfunktion for det pågældende produkt eller system
eller i tilfælde af svigt eller funktionsfejl, som bringer menneskers sundhed og
sikkerhed eller ejendom i fare, i produktet eller systemet
(15) "brugsanvisning": oplysninger fra udbyderen med henblik på at informere brugeren
om navnlig et AI-systems tilsigtede formål og korrekte anvendelse, herunder de
specifikke geografiske, adfærdsmæssige eller funktionelle rammer, inden for hvilke
højrisiko-AI-systemet skal anvendes
(16) "tilbagekaldelse af et AI-system": enhver foranstaltning, der har til formål at opnå, at
et AI-system, der allerede er gjort tilgængeligt for brugerne, returneres til udbyderen
(17) "tilbagetrækning af et AI-system": enhver foranstaltning, der har til formål at
forhindre, at et AI-system distribueres, udstilles eller udbydes
(18) "et AI-systems ydeevne": et AI-systems evne til at opfylde det tilsigtede formål
(19) "bemyndigende myndighed": den nationale myndighed, der er ansvarlig for at
indføre og gennemføre de nødvendige procedurer for vurdering, udpegelse og
bemyndigelse af overensstemmelsesvurderingsorganer og for overvågning heraf
(20) "overensstemmelsesvurdering": en proces til verificering af, om de i afsnit III,
kapitel 2, i denne forordning fastsatte krav vedrørende et AI-system er opfyldt
(21) "overensstemmelsesvurderingsorgan": et organ, der som tredjepart udfører
overensstemmelsesvurderingsopgaver, herunder prøvning, certificering og inspektion
(22) "bemyndiget organ": et overensstemmelsesvurderingsorgan, der er udpeget i
overensstemmelse med denne forordning og anden relevant EU-
harmoniseringslovgivning
(23) "væsentlig ændring": en ændring af et AI-system efter dets omsætning eller
ibrugtagning, som har indvirkning på AI-systemets overensstemmelse med de i
DA 43 DA
afsnit III, kapitel 2, i denne forordning fastsatte krav, eller som medfører en ændring
af det tilsigtede formål, med hensyn til hvilket AI-systemet er vurderet
(24) "CE-overensstemmelsesmærkning" (CE-mærkning): en mærkning, hvormed en
udbyder angiver, at et AI-system er i overensstemmelse med de i afsnit III, kapitel 2,
i denne forordning fastsatte krav og anden EU-lovgivning om harmonisering af
betingelser for omsætning af produkter ("EU-harmoniseringslovgivning") og om
anbringelse af denne mærkning
(25) "overvågning efter omsætningen": alle aktiviteter, som udbydere af AI-systemer
udfører for proaktivt at indhente og gennemgå erfaringer med anvendelse af de AI-
systemer, de bringer i omsætning eller tager i brug, med henblik på at afdække
eventuelle behov for straks at træffe nødvendige, korrigerende eller forebyggende
foranstaltninger
(26) "markedsovervågningsmyndighed": den nationale myndighed, der udfører aktiviteter
og træffer foranstaltninger i henhold til forordning (EU) 2019/1020
(27) "harmoniseret standard": en europæisk standard som defineret i artikel 2, nr. 1),
litra c), i forordning (EU) nr. 1025/2012
(28) "fælles specifikationer": et dokument, der ikke er en standard, og som indeholder
tekniske løsninger, der giver mulighed for at opfylde visse krav og forpligtelser, der
er fastsat i denne forordning
(29) "træningsdata": data, der anvendes til træning af et AI-system ved hjælp af tilpasning
af systemets lærbare parametre, herunder vægte i et neuralt netværk
(30) "valideringsdata": data, der anvendes til at foretage en evaluering af det trænede AI-
system og til at justere blandt andet systemets ikkelærbare parametre og dets
læringsproces for at forhindre overtilpasning, idet valideringsdatasættet kan være et
separat datasæt eller en del af træningsdatasættet med enten en fast eller en variabel
opdeling
(31) "prøvningsdata": data, der anvendes til en uafhængig evaluering af det trænede og
validerede AI-system for at bekræfte systemets forventede ydeevne, inden det
bringes i omsætning eller tages i brug
(32) "inputdata": data, der leveres til eller hentes direkte af et AI-system, og på grundlag
af hvilke systemet leverer et output
(33) "biometriske data": personoplysninger, der som følge af specifik teknisk behandling
vedrørende en fysisk persons fysiske, fysiologiske eller adfærdsmæssige
karakteristika muliggør eller bekræfter en entydig identifikation af vedkommende,
som f.eks. ansigtsbilleder eller fingeraftryksoplysninger
(34) "system til følelsesgenkendelse": et AI-system, der har til formål at genkende eller
udlede fysiske personers følelser eller hensigter på grundlag af deres biometriske
data
(35) "system til biometrisk kategorisering": et AI-system, der har til formål at tildele
fysiske personer bestemte kategorier såsom køn, alder, hårfarve, øjenfarve,
tatoveringer, etnisk oprindelse, seksuel orientering eller politisk overbevisning på
grundlag af deres biometriske data
(36) "system til biometrisk fjernidentifikation": et AI-system, der har til formål at
identificere fysiske personer på afstand ved at sammenligne en persons biometriske
DA 44 DA
data med de biometriske data i en referencedatabase, uden at brugeren af AI-systemet
har forudgående viden om, hvorvidt personen vil være til stede og kan identificeres
(37) "system til biometrisk fjernidentifikation i realtid": et system til biometrisk
fjernidentifikation, hvor optagelse af biometriske data, sammenligning og
identifikation finder sted uden væsentlig forsinkelse. Dette omfatter ikke blot
øjeblikkelig identifikation, men også begrænsede, korte forsinkelser for at undgå
omgåelse
(38) "system til efterfølgende biometrisk fjernidentifikation": et system til biometrisk
fjernidentifikation, som ikke er system til biometrisk fjernidentifikation i realtid
(39) "offentlige steder": ethvert fysisk sted, der er tilgængeligt for offentligheden, uanset
om visse betingelser for adgang finder anvendelse
(40) "retshåndhævende myndigheder":
(a) enhver offentlig myndighed, der er kompetent med hensyn til at forebygge,
efterforske, afsløre eller retsforfølge strafbare handlinger eller fuldbyrde
strafferetlige sanktioner, herunder beskytte mod og forebygge trusler mod den
offentlige sikkerhed, eller
(b) ethvert andet organ eller enhver anden enhed, som i henhold til
medlemsstaternes nationale lovgivning udøver offentlig myndighed og
offentlige beføjelser med henblik på at forebygge, efterforske, afsløre eller
retsforfølge strafbare handlinger eller fuldbyrde strafferetlige sanktioner,
herunder beskytte mod og forebygge trusler mod den offentlige sikkerhed
(41) "retshåndhævelse": aktiviteter, som retshåndhævende myndigheder udfører med
hensyn til at forebygge, efterforske, afsløre eller retsforfølge strafbare handlinger
eller fuldbyrde strafferetlige sanktioner, herunder beskytte mod og forebygge trusler
mod den offentlige sikkerhed
(42) "national tilsynsmyndighed": den myndighed, som en medlemsstat giver ansvaret for
at gennemføre og anvende denne forordning, koordinere de aktiviteter, der er betroet
den pågældende medlemsstat, fungere som eneste kontaktpunkt for Kommissionen
og repræsentere medlemsstaten i Det Europæiske Udvalg for Kunstig Intelligens
(43) "national kompetent myndighed": den nationale tilsynsmyndighed, den
bemyndigende myndighed og markedsovervågningsmyndigheden
(44) "alvorlig hændelse": enhver hændelse, som direkte eller indirekte fører, kunne have
ført eller kan føre til et af følgende udfald:
(a) et menneskes død eller alvorlig skade på et menneskes helbred eller ejendom
eller på miljøet
(b) en alvorlig og uoprettelig forstyrrelse i forvaltningen og driften af kritisk
infrastruktur.
Artikel 4
Ændring af bilag I
Kommissionen tillægges beføjelse til at vedtage delegerede retsakter, jf. artikel 73, med
henblik på at ændre listen over teknikker og tilgange i bilag I for at føre listen ajour med den
markedsmæssige og tekniske udvikling på grundlag af egenskaber, der svarer til de oplistede
teknikker og tilgange.
DA 45 DA
AFSNIT II
FORBUDT PRAKSIS MED HENSYN TIL KUNSTIG INTELLIGENS
Artikel 5
1. Følgende former for praksis med hensyn til kunstig intelligens er forbudt:
(a) omsætning, ibrugtagning eller anvendelse af et AI-system, der anvender
subliminale teknikker, der rækker ud over den menneskelige bevidsthed, med
henblik på i væsentlig grad at fordreje en persons adfærd på en måde, der
påfører eller sandsynligvis vil påføre den pågældende person eller en anden
person fysisk eller psykisk skade
(b) omsætning, ibrugtagning eller anvendelse af et AI-system, der udnytter enhver
af en specifik gruppe af personers sårbarheder på grundlag af alder eller fysisk
eller psykisk handicap med henblik på i væsentlig grad at fordreje en til
gruppen hørende persons adfærd på en måde, der påfører eller sandsynligvis vil
påføre den pågældende person eller en anden person fysisk eller psykisk skade
(c) omsætning, ibrugtagning eller anvendelse af AI-systemer fra offentlige
myndigheders side eller på deres vegne med henblik på evaluering eller
klassificering af fysiske personers troværdighed over en given periode på
grundlag af deres sociale adfærd eller kendte eller forudsagte personlige
egenskaber eller personlighedstræk, således at den sociale bedømmelse fører til
et eller begge følgende udfald:
i) skadelig eller ugunstig behandling af visse fysiske personer eller hele
grupper heraf i sociale sammenhænge, som ikke har noget at gøre med de
sammenhænge, i hvilke dataene oprindeligt blev genereret eller indsamlet
ii) skadelig eller ugunstig behandling af visse fysiske personer eller hele
grupper heraf, som er uberettiget eller uforholdsmæssig i forhold til deres
sociale adfærd eller alvorligheden heraf
(d) anvendelse af systemer til biometrisk fjernidentifikation i realtid på offentlige
steder med henblik på retshåndhævelse, medmindre og i det omfang en sådan
anvendelse er strengt nødvendig for et af følgende formål:
i) målrettet eftersøgning af specifikke potentielle ofre for kriminalitet,
herunder forsvundne børn
ii) forebyggelse af en specifik, væsentlig og overhængende trussel mod
fysiske personers liv eller fysiske sikkerhed eller om et terrorangreb
iii) afsløring, lokalisering, identifikation eller retsforfølgning af en
gerningsmand, der har begået, eller af en person, der mistænkes for at
have begået, en strafbar handling, der er omhandlet i artikel 2, stk. 2, i
Rådets rammeafgørelse 2002/584/JHA62
, og som i den pågældende
medlemsstat kan straffes med frihedsstraf eller en anden
62
Rådets rammeafgørelse 2002/584/RIA af 13. juni 2002 om den europæiske arrestordre og om
procedurerne for overgivelse mellem medlemsstaterne (EFT L 190 af 18.7.2002, s. 1).
DA 46 DA
frihedsberøvende foranstaltning af en maksimal varighed på mindst tre år
som fastsat i denne medlemsstats lovgivning.
2. Ved anvendelse af systemer til biometrisk fjernidentifikation i realtid på offentlige
steder med henblik på retshåndhævelse til et af de i stk. 1, litra d), omhandlede
formål, tages der hensyn til følgende elementer:
(a) karakteren af den situation, der giver anledning til den mulige anvendelse,
navnlig alvorligheden, sandsynligheden og omfanget af den skade, der
forvoldes, hvis systemet ikke anvendes
(b) konsekvenserne for alle de berørte personers rettigheder og friheder, navnlig
alvorligheden, sandsynligheden og omfanget af disse konsekvenser, hvis
systemet anvendes.
Ved anvendelse af systemer til biometrisk fjernidentifikation i realtid på offentlige
steder med henblik på retshåndhævelse til et af de i stk. 1, litra d), omhandlede
formål overholdes desuden nødvendige og forholdsmæssige
sikkerhedsforanstaltninger og betingelser vedrørende anvendelsen, navnlig for så vidt
angår tidsmæssige, geografiske og personlige begrænsninger.
3. Hvad angår stk. 1, litra d), og stk. 2 er hver enkelt anvendelse af et system til
biometrisk fjernidentifikation i realtid på offentlige steder med henblik på
retshåndhævelse betinget af en forudgående tilladelse, der er udstedt af en judiciel
myndighed eller en uafhængig administrativ myndighed i den medlemsstat, hvor
anvendelsen skal finde sted, på grundlag af en begrundet anmodning og i
overensstemmelse med de detaljerede regler i national ret, jf. stk. 4. I behørigt
begrundede hastetilfælde kan anvendelsen af systemet dog påbegyndes uden
tilladelse, og der kan anmodes om tilladelse under eller efter anvendelsen.
Den kompetente judicielle eller administrative myndighed udsteder kun en tilladelse,
hvis den på grundlag af objektive beviser eller klare indikationer, den får forelagt,
finder det godtgjort, at anvendelsen af det pågældende system til biometrisk
fjernidentifikation i realtid er nødvendig og rimelig for at opfylde et af de i stk. 1,
litra d), anførte formål som påpeget i anmodningen. Når den kompetente judicielle
eller administrative myndighed træffer afgørelse om anmodningen, tager den hensyn
til de i stk. 2 omhandlede elementer.
4. En medlemsstat kan beslutte at give mulighed for helt eller delvist at tillade
anvendelse af systemer til biometrisk fjernidentifikation i realtid på offentlige steder
med henblik på retshåndhævelse inden for de begrænsninger og på de betingelser,
der er nævnt i stk. 1, litra d), og stk. 2 og 3. Den pågældende medlemsstat fastsætter i
sin nationale lovgivning de nødvendige detaljerede regler for anmodning, udstedelse
og benyttelse af samt tilsyn i forbindelse med de i stk. 3 omhandlede tilladelser.
Disse regler præciserer også, til hvilke af de i stk. 1, litra d), anførte formål, herunder
for hvilke af de i nr. iii) nævnte strafbare handlinger, de kompetente myndigheder
kan få tilladelse til at anvende disse systemer med henblik på retshåndhævelse.
DA 47 DA
AFSNIT III
HØJRISIKO-AI-SYSTEMER
KAPITEL 1
KLASSIFICERING AF AI-SYSTEMER SOM HØJRISIKOSYSTEMER
Artikel 6
Klassificeringsregler for højrisiko-AI-systemer
1. Uanset om et AI-system bringes i omsætning eller tages i brug uafhængigt af de i
litra a) og b) omhandlede produkter, betragtes AI-systemet som et højrisikosystem,
hvis begge følgende betingelser er opfyldt:
(a) AI-systemet er beregnet til at blive anvendt som en sikkerhedskomponent i et
produkt eller er i sig selv et produkt, der er omfattet af den EU-
harmoniseringslovgivning, der er anført i bilag II
(b) det produkt, hvis sikkerhedskomponent er AI-systemet, eller AI-systemet selv
som et produkt skal underkastes en overensstemmelsesvurdering foretaget af
tredjepart med henblik på omsætning eller ibrugtagning af produktet i henhold
til den EU-harmoniseringslovgivning, der er anført i bilag II.
2. Ud over de højrisiko-AI-systemer, der er omhandlet i stk. 1, betragtes de AI-
systemer, der er omhandlet i bilag III, også som højrisikosystemer.
Artikel 7
Ændring af bilag III
1. Kommissionen tillægges beføjelse til at vedtage delegerede retsakter, jf. artikel 73,
med henblik på at ajourføre listen i bilag III ved at tilføje højrisiko-AI-systemer, hvis
begge følgende betingelser er opfyldt:
(a) AI-systemerne er beregnet til at blive anvendt på et af de områder, der er anført
i punkt 1-8 i bilag III
(b) AI-systemerne udgør en risiko for skade på menneskers sundhed og sikkerhed
eller en risiko for negativ indvirkning på de grundlæggende rettigheder, som
med hensyn til alvorlighed og sandsynlighed svarer til eller er større end
risikoen for skade eller negativ indvirkning ved de højrisiko-AI-systemer, der
allerede er nævnt i bilag III.
2. Ved vurdering, jf. stk. 1, af, om et AI-system udgør en risiko for skade på
menneskers sundhed og sikkerhed eller en risiko for negativ indvirkning på de
grundlæggende rettigheder, som svarer til eller er større end risikoen for skade ved
de højrisiko-AI-systemer, der allerede er nævnt i bilag III, tager Kommissionen
hensyn til følgende kriterier:
(a) det tilsigtede formål med AI-systemet
(b) i hvilket omfang AI-systemet er blevet anvendt eller sandsynligvis vil blive
anvendt
DA 48 DA
(c) i hvilket omfang anvendelsen af AI-systemet allerede har forvoldt skade på
menneskers sundhed og sikkerhed, har haft negativ indvirkning på de
grundlæggende rettigheder eller har givet anledning til betydelig bekymring
med hensyn til forekomsten af en sådan skade eller negativ indvirkning, hvilket
er afspejlet i rapporter eller dokumenterede påstande, der er indgivet til de
nationale kompetente myndigheder
(d) det potentielle omfang af en sådan skade eller negativ indvirkning, navnlig med
hensyn til alvorlighed og mulighed for påvirkning af flere personer
(e) i hvilket omfang potentielt skadede eller negativt påvirkede personer afhænger
af det resultat, AI-systemet giver, navnlig hvis det af praktiske eller juridiske
grunde ikke med rimelighed er muligt at fravælge resultatet
(f) i hvilket omfang potentielt skadede eller negativt påvirkede personer befinder
sig i en sårbar situation i forhold til brugeren af AI-systemet, navnlig som følge
af en ubalance med hensyn til magt, viden, økonomiske eller sociale
omstændigheder eller alder
(g) i hvilket omfang det resultat, AI-systemet giver, let kan ændres, idet resultater,
der har indvirkning på menneskers sundhed eller sikkerhed, ikke anses for let
at kunne ændres
(h) i hvilket omfang den eksisterende EU-lovgivning indeholder bestemmelser om:
i) effektive retsmidler med hensyn til de risici, der er forbundet med AI-
systemer, med undtagelse af erstatningskrav
ii) effektive foranstaltninger til forebyggelse eller i væsentlig grad
minimering af disse risici.
KAPITEL 2
KRAV TIL HØJRISIKO-AI-SYSTEMER
Artikel 8
Overholdelse af krav
1. Højrisiko-AI-systemer opfylder de krav, der er fastsat i dette kapitel.
2. I sikringen af, at disse krav overholdes, tages højrisiko-AI-systemernes tilsigtede
formål og det risikostyringssystem, der er omhandlet i artikel 9, i betragtning.
Artikel 9
Risikosstyringssystem
1. Hvad angår højrisiko-AI-systemer oprettes og gennemføres der et
risikostyringssystem, som dokumenteres og vedligeholdes.
2. Risikostyringssystemet består af en kontinuerlig iterativ proces, der løber i hele
højrisiko-AI-systemets livscyklus, og som kræver regelmæssig systematisk
opdatering. Det omfatter følgende trin:
(a) kortlægning og analyse af kendte og forudsigelige risici forbundet med hvert
højrisiko-AI-system
DA 49 DA
(b) vurdering og evaluering af de risici, der kan opstå, når højrisiko-AI-systemet
anvendes i overensstemmelse med dets tilsigtede formål og ved fejlanvendelse,
der med rimelighed kan forudses
(c) evaluering af andre risici, der kan opstå, på grundlag af analyse af data
indsamlet fra systemet til overvågning efter omsætningen, jf. artikel 61
(d) passende risikostyringsforanstaltninger i overensstemmelse med
bestemmelserne i de følgende stykker.
3. De i stk. 2, litra d), omhandlede risikostyringsforanstaltninger tager behørigt hensyn
til virkningerne af og eventuelle interaktioner som følge af den kombinerede
anvendelse af kravene i kapitel 2. De tager hensyn til det generelt anerkendte aktuelle
teknologiske niveau, herunder som afspejlet i relevante harmoniserede standarder
eller fælles specifikationer.
4. De i stk. 2, litra d), omhandlede risikostyringsforanstaltninger er af en sådan art, at
eventuelle resterende risici, der er forbundet med hver fare, samt den samlede
resterende risiko ved højrisiko-AI-systemerne vurderes at være acceptabel, forudsat
at højrisiko-AI-systemet anvendes i overensstemmelse med dets tilsigtede formål
eller ved fejlanvendelse, der med rimelighed kan forudses. Disse resterende risici
meddeles brugeren.
I fastlæggelsen af de mest hensigtsmæssige risikostyringsforanstaltninger sikres
følgende:
(a) fjernelse eller i videst mulig omfang begrænsning af risici ved hjælp af
passende udformning og udvikling
(b) om nødvendigt gennemførelse af passende foranstaltninger til afbødning og
kontrol for så vidt angår risici, der ikke kan fjernes
(c) tilvejebringelse af tilstrækkelige oplysninger, jf. artikel 13, navnlig for så vidt
angår de risici, der er omhandlet i stk. 2, litra b), og, hvis det er relevant,
uddannelse af brugerne.
Ved fjernelse eller begrænsning af risici, der er forbundet med anvendelsen af et
højrisiko-AI-system, tages der behørigt hensyn til den tekniske viden, erfaring og
uddannelse, som kan forventes af brugeren, og det miljø, i hvilket systemet er
beregnet til at blive anvendt.
5. Højrisiko-AI-systemer prøves med henblik på at fastslå de mest hensigtsmæssige
risikostyringsforanstaltninger. Prøvningen sikrer, at højrisiko-AI-systemer fungerer
konsekvent i overensstemmelse med deres tilsigtede formål og opfylder de krav, der
er fastsat i dette kapitel.
6. Prøvningsprocedurerne er egnede til at opfylde AI-systemets tilsigtede formål og
behøver ikke gå videre, end hvad der er nødvendigt for at opfylde dette formål.
7. Prøvning af højrisiko-AI-systemer foretages på et hvilket som helst tidspunkt under
hele udviklingsprocessen, alt efter hvad der er relevant, og under alle
omstændigheder inden omsætning eller ibrugtagning. Prøvningen foretages på
grundlag af på forhånd definerede parametre og sandsynlighedsbaserede tærskler, der
står i et passende forhold til det tilsigtede formål med højrisiko-AI-systemet.
8. I gennemførelsen af det risikostyringssystem, der er beskrevet i stk. 1-7, tages der
særligt hensyn til, om der er sandsynlighed for, at højrisiko-AI-systemet tilgås af
eller har indvirkning på børn.
DA 50 DA
9. For kreditinstitutter, der er reguleret ved direktiv 2013/36/EU, er de aspekter, der er
beskrevet i stk. 1-8, en del af de risikostyringsprocedurer, som institutterne har
fastlagt i henhold til artikel 74 i nævnte direktiv.
Artikel 10
Data og datastyring
1. De højrisiko-AI-systemer, der gør brug af teknikker, som omfatter træning af
modeller med data, udvikles på grundlag af trænings-, validerings- og
prøvningsdatasæt, der opfylder de kvalitetskriterier, der er omhandlet i stk. 2-5.
2. Trænings-, validerings- og prøvningsdatasæt er underlagt passende datastyrings- og
dataforvaltningspraksisser. Disse praksisser vedrører navnlig:
(a) de relevante valg med hensyn til udformning
(b) dataindsamling
(c) relevant dataforberedelsesbehandling såsom annotation, mærkning, rensning,
berigning og aggregering
(d) formuleringen af relevante antagelser, navnlig med hensyn til de oplysninger,
som dataene skal måle og repræsentere
(e) en forudgående vurdering af tilgængeligheden, mængden og egnetheden af de
datasæt, der er nødvendige
(f) undersøgelse med hensyn til mulig forudindtagethed
(g) kortlægning af eventuelle datamangler eller datautilstrækkeligheder, og
hvordan de kan afhjælpes.
3. Trænings-, validerings- og prøvningsdatasæt er relevante, repræsentative, fejlfri og
fuldstændige. De har de tilstrækkelige statistiske egenskaber, herunder, hvis det er
relevant, med hensyn til de personer eller grupper af personer, på hvilke højrisiko-
AI-systemet skal anvendes. Disse egenskaber kan opfyldes for de enkelte datasæt
eller for en kombination heraf.
4. I trænings-, validerings- og prøvningsdatasæt tages der i det omfang, det er
nødvendigt i lyset af deres tilsigtede formål, hensyn til de egenskaber eller elementer,
der er særlige for den specifikke geografiske, adfærdsmæssige eller funktionelle
ramme, inden for hvilken højrisiko-AI-systemet skal anvendes.
5. I det omfang, det er strengt nødvendigt for at sikre, at forudindtagethed i forbindelse
med højrisiko-AI-systemer overvåges, opdages og korrigeres, kan udbydere af
sådanne systemer behandle særlige kategorier af personoplysninger, der er
omhandlet i artikel 9, stk. 1, i forordning (EU) 2016/679, artikel 10 i direktiv (EU)
2016/680 og artikel 10, stk. 1, i forordning (EU) 2018/1725, med forbehold for
passende sikkerhedsforanstaltninger med hensyn til fysiske personers grundlæggende
rettigheder og friheder, herunder tekniske begrænsninger for videreanvendelse samt
benyttelse af de mest avancerede sikkerhedsforanstaltninger og foranstaltninger til
beskyttelse af privatlivet fred, som f.eks. pseudonymisering eller, i tilfælde hvor
anonymisering i væsentlig grad kan påvirke formålet, kryptering.
6. Passende datastyrings- og dataforvaltningspraksisser finder anvendelse på
udviklingen af andre højrisiko-AI-systemer end dem, der gør brug af teknikker, der
omfatter træning af modeller, således at højrisiko-AI-systemerne er i
overensstemmelse med stk. 2.
DA 51 DA
Artikel 11
Teknisk dokumentation
1. Den tekniske dokumentation for et højrisiko-AI-system udarbejdes, inden systemet
bringes i omsætning eller tages i brug, og holdes ajour.
Den tekniske dokumentation udarbejdes på en sådan måde, at den påviser, at
højrisiko-AI-systemet overholder de krav, der er fastsat i dette kapitel, og således at
alle de oplysninger, der er nødvendige for at vurdere AI-systemets overholdelse af
disse krav, gives til de nationale kompetente myndigheder og bemyndigede organer.
Dokumentationen skal som minimum indeholde de i bilag IV fastsatte elementer.
2. Hvis et højrisiko-AI-system, der er tilknyttet et produkt, der er omfattet af de i
bilag II, afsnit A, anførte retsakter, bringes i omsætning eller tages i brug, udarbejdes
der en samlet teknisk dokumentation, der indeholder alle de oplysninger, der er
anført i bilag IV, samt de oplysninger, der kræves i henhold til disse retsakter.
3. Kommissionen tillægges beføjelse til at vedtage delegerede retsakter, jf. artikel 73,
med henblik på at ændre bilag IV, hvis det på baggrund af den tekniske udvikling er
nødvendigt for, at den tekniske dokumentation giver alle de oplysninger, der er
nødvendige for at vurdere, om systemet opfylder de krav, der er fastsat i dette
kapitel.
Artikel 12
Registrering
1. Højrisiko-AI-systemer udformes og udvikles på en sådan måde, at hændelser
("logfiler") registreres automatisk, når højrisiko-AI-systemet er i drift. Denne logning
er i overensstemmelse med anerkendte standarder eller fælles specifikationer.
2. Logningen sikrer en i forhold til AI-systemets tilsigtede formål passende grad af
sporbarhed af systemets funktion gennem hele dets livscyklus.
3. Logningen gør det navnlig muligt at overvåge driften af højrisiko-AI-systemer med
hensyn til forekomsten af situationer, der kan medføre, at et AI-system udgør en
risiko, jf. artikel 65, stk. 1, eller som kan føre til en væsentlig ændring, samt lette
overvågningen efter omsætningen, jf. artikel 61.
4. For så vidt angår de højrisiko-AI-systemer, der er omhandlet i bilag III, punkt 1,
litra a), omfatter logningen som minimum:
(a) registrering af tidsperioden for hver anvendelse af systemet (startdato og -
klokkeslæt samt slutdato og -klokkeslæt for hver anvendelse)
(b) den referencedatabase, med hvilken systemet har sammenholdt inputdata
(c) de inputdata, som i søgningen har givet et resultat
(d) identifikation af de fysiske personer, der er involveret i verificeringen af
resultater, jf. artikel 14, stk. 5.
Artikel 13
Gennemsigtighed og formidling af oplysninger til brugere
1. Højrisiko-AI-systemer udformes og udvikles på en sådan måde, at deres drift er
tilstrækkelig gennemsigtig til, at brugerne kan fortolke systemets output og anvende
det korrekt. Der sikres en passende type og grad af gennemsigtighed med henblik på
DA 52 DA
opfyldelse af de relevante bruger- og udbyderforpligtelser, der er fastsat i dette
afsnits kapitel 3.
2. Højrisiko-AI-systemer ledsages af brugsanvisninger i et passende digitalt format eller
på anden vis, og disse indeholder kortfattede, fuldstændige, korrekte og klare
oplysninger, som er relevante, tilgængelige og forståelige for brugerne.
3. De i stk. 2 omhandlede oplysninger omfatter:
(a) identitet på og kontaktoplysninger for udbyderen og dennes eventuelle
bemyndigede repræsentant
(b) højrisiko-AI-systemets egenskaber, kapacitet og begrænsninger for dets
ydeevne, herunder:
i) systemets tilsigtede formål
ii) det niveau af nøjagtighed, robusthed og cybersikkerhed, jf. artikel 15, i
forhold til hvilket højrisiko-AI-systemet er testet og valideret, og som
kan forventes, samt alle kendte og forudsigelige omstændigheder, der kan
have indvirkning på det forventede niveau af nøjagtighed, robusthed og
cybersikkerhed
iii) alle kendte eller forudsigelige omstændigheder, som i forbindelse med
anvendelse af højrisiko-AI-systemet i overensstemmelse med dets
tilsigtede formål eller ved fejlanvendelse, der med rimelighed kan
forudses, kan medføre risici for menneskers sundhed og sikkerhed eller
grundlæggende rettigheder
iv) systemets ydeevne for så vidt angår de personer eller grupper af personer,
på hvilke systemet er beregnet til at blive anvendt
v) hvis det er relevant, specifikationer for inputdata eller andre relevante
oplysninger med hensyn til de anvendte trænings-, validerings- og
prøvningsdatasæt under hensyntagen til AI-systemets tilsigtede formål
(c) eventuelle ændringer af højrisiko-AI-systemet og dets ydeevne, som udbyderen
på forhånd har fastsat på tidspunktet for den indledende
overensstemmelsesvurdering
(d) foranstaltninger til menneskeligt tilsyn, jf. artikel 14, herunder de tekniske
foranstaltninger, der er indført for at lette brugernes fortolkning af AI-
systemets output
(e) højrisiko-AI-systemets forventede levetid og eventuelle nødvendige
vedligeholdelses- og plejeforanstaltninger for at sikre, at AI-systemet fungerer
korrekt, herunder med hensyn til softwareopdateringer.
Artikel 14
Menneskeligt tilsyn
1. Højrisiko-AI-systemer udformes og udvikles på en sådan måde, herunder med
passende menneske-maskine-grænsefladeværktøjer, at fysiske personer kan føre
effektivt tilsyn med dem i den periode, hvor AI-systemet er i brug.
2. Menneskeligt tilsyn har til formål at forebygge eller minimere de risici for
menneskers sundhed, sikkerhed eller grundlæggende rettigheder, der kan opstå, når
et højrisiko-AI-system anvendes i overensstemmelse med dets tilsigtede formål eller
DA 53 DA
ved fejlanvendelse, der med rimelighed kan forudses, navnlig hvis sådanne risici
fortsat består uanset anvendelsen af andre krav, der er fastsat i dette kapitel.
3. Menneskeligt tilsyn sikres ved hjælp af en eller alle af følgende foranstaltninger:
(a) menneskeligt tilsyn er fastlagt og, hvis det er teknisk muligt, indbygget i
højrisiko-AI-systemet fra udbyderens side, inden systemet bringes i omsætning
eller tages i brug
(b) menneskeligt tilsyn er fastlagt fra udbyderens side, inden højrisiko-AI-systemet
bringes i omsætning eller tages i brug, og er egnet til at blive gennemført af
brugeren.
4. De i stk. 3 omhandlede foranstaltninger gør det muligt for de personer, der foretager
menneskeligt tilsyn, alt efter omstændighederne at:
(a) forstå højrisiko-AI-systemets kapacitet og begrænsninger fuldt ud og være i
stand til at overvåge dets drift på behørig vis, således at tegn på
uregelmæssigheder, funktionsforstyrrelser og uventet ydeevne kan opdages og
afhjælpes så hurtigt som muligt
(b) være opmærksomme på den mulige tendens til automatisk eller i overdreven
grad af forlade sig på output fra højrisiko-AI-systemet
("automatiseringspartiskhed"), navnlig for så vidt angår højrisiko-AI-systemer,
der anvendes til at give oplysninger eller anbefalinger til afgørelser, der skal
træffes af fysiske personer
(c) kunne fortolke højrisiko-AI-systemets output korrekt under hensyntagen til
navnlig systemets egenskaber og de tilgængelige fortolkningsværktøjer og -
metoder
(d) kunne beslutte ikke at anvende højrisiko-AI-systemet eller på anden måde se
bort fra, tilsidesætte eller omgøre output fra højrisiko-AI-systemet i enhver
given situation
(e) kunne gribe ind i højrisiko-AI-systemets drift eller afbryde systemet ved hjælp
af en "stopknap" eller en lignende procedure.
5. For så vidt angår de højrisiko-AI-systemer, der er omhandlet i bilag III, punkt 1,
litra a), sikrer de foranstaltninger, der er omhandlet i stk. 3, desuden, at brugeren ikke
træffer nogen foranstaltninger eller beslutninger på grundlag af en identifikation, der
følger af systemet, medmindre den er blevet verificeret og bekræftet af mindst to
fysiske personer.
Artikel 15
Nøjagtighed, robusthed og cybersikkerhed
1. Højrisiko-AI-systemer udformes og udvikles på en sådan måde, at de i lyset af deres
tilsigtede formål har et passende niveau af nøjagtighed, robusthed og cybersikkerhed
og i disse henseender fungerer konsekvent i hele deres livscyklus.
2. Højrisiko-AI-systemers niveau og relevante parametrene med hensyn til nøjagtighed
angives i den ledsagende brugsanvisning.
3. Højrisiko-AI-systemer er modstandsdygtige over for fejl, svigt og
uoverensstemmelser, der kan forekomme i systemet eller i det miljø, som systemet
fungerer i, navnlig på grund af systemets interaktion med fysiske personer eller andre
systemer.
DA 54 DA
4. Højrisiko-AI-systemers robusthed kan opnås ved hjælp af tekniske
redundansløsninger, som kan omfatte backupplaner eller fejlsikre planer.
5. De højrisiko-AI-systemer, der fortsætter med at lære efter at være bragt i omsætning
eller taget i brug, udvikles på en sådan måde, at det sikres, at eventuelle partiske
output som følge af output, der anvendes som input i fremtidig drift
("feedbacksløjfer"), behørigt imødegås ved hjælp af passende afbødende
foranstaltninger.
6. Højrisiko-AI-systemer er modstandsdygtige over for uautoriserede tredjeparters
forsøg på at ændre deres anvendelse eller ydeevne ved at udnytte systemets
sårbarheder.
De tekniske løsninger, der har til formål at sikre cybersikkerhed i forbindelse med
højrisiko-AI-systemer, står i et passende forhold til de relevante omstændigheder og
risiciene.
De tekniske løsninger til afhjælpning af AI-specifikke sårbarheder omfatter, alt efter
hvad der er relevant, foranstaltninger til forebyggelse af og kontrol for angreb, der
forsøger at manipulere træningsdatasættet ("dataforgiftning"), input, der har til
formål at få modellen til at begå fejl ("fjendtlige eksempler"), eller modelfejl.
KAPITEL 3
FORPLIGTELSER FOR UDBYDERE OG BRUGERE AF HØJRISIKO-AI-
SYSTEMER OG ANDRE PARTER
Artikel 16
Forpligtelser for udbydere af højrisiko-AI-systemer
Udbydere af højrisiko-AI-systemer skal:
(a) sørge for, at deres højrisiko-AI-systemer opfylder de krav, der er fastsat i dette
afsnits kapitel 2
(b) indføre et kvalitetsstyringssystem, der er i overensstemmelse med artikel 17
(c) udarbejde den tekniske dokumentation for højrisiko-AI-systemet
(d) opbevare de logfiler, der automatisk genereres af deres højrisiko-AI-systemer, når
logfilerne er under deres kontrol
(e) sørge for, at højrisiko-AI-systemet underkastes den relevante
overensstemmelsesvurderingsprocedure, inden systemet bringes i omsætning eller
tages i brug
(f) opfylde registreringsforpligtelsen, jf. artikel 51
(g) træffe de nødvendige korrigerende foranstaltninger, hvis højrisiko-AI-systemet ikke
er i overensstemmelse med de krav, der er fastsat i dette afsnits kapitel 2
(h) underrette de nationale kompetente myndigheder i de medlemsstater, hvori de har
tilgængeliggjort eller ibrugtaget AI-systemet, og, hvis det er relevant, det
bemyndigede organ om manglende overensstemmelser og om de korrigerende
foranstaltninger, der er truffet
(i) anbringe CE-mærkningen på deres højrisiko-AI-system for at angive
overensstemmelse med denne forordning, jf. artikel 49
DA 55 DA
(j) efter anmodning fra en national kompetent myndighed påvise, at højrisiko-AI-
systemet opfylder de krav, der er fastsat i dette afsnits kapitel 2.
Artikel 17
Kvalitetsstyringssystem
1. Udbydere af højrisiko-AI-systemer indfører et kvalitetsstyringssystem, der sikrer
overensstemmelse med denne forordning. Systemet dokumenteres på en systematisk
og velordnet måde i form af skriftlige politikker, procedurer og anvisninger og skal
som minimum omfatte følgende aspekter:
(a) en strategi for overholdelse af lovgivningen, herunder overholdelse af
overensstemmelsesvurderingsprocedurer og procedurer for forvaltning af
ændringer af højrisiko-AI-systemet
(b) teknikker, procedurer og systematiske foranstaltninger, der anvendes til
udformning samt kontrol og verifikation af udformningen af højrisiko-AI-
systemet
(c) teknikker, procedurer og systematiske foranstaltninger, der anvendes til
udvikling, kvalitetskontrol og kvalitetssikring af højrisiko-AI-systemet
(d) undersøgelses-, prøvnings- og valideringsprocedurer, der gennemføres før,
under og efter udviklingen af højrisiko-AI-systemet, samt den hyppighed,
hvormed de gennemføres
(e) tekniske specifikationer, herunder standarder, der anvendes, og, hvis de
relevante harmoniserede standarder ikke anvendes fuldt ud, de midler, der
anvendes for at sikre, at højrisiko-AI-systemet opfylder de krav, der er fastsat i
dette afsnits kapitel 2
(f) systemer til og procedurer for dataforvaltning, herunder dataindsamling,
dataanalyse, datamærkning, datalagring, datafiltrering, dataudvinding,
dataaggregering, dataopbevaring og enhver anden handling vedrørende data,
som udføres før og med henblik på omsætning eller ibrugtagning af højrisiko-
AI-systemer
(g) det risikoforvaltningssystem, der er omhandlet i artikel 9
(h) oprettelse, implementering og vedligeholdelse af et system til overvågning
efter omsætningen, jf. artikel 61
(i) procedurer for indberetning af alvorlige hændelser og funktionsfejl, jf.
artikel 62
(j) håndtering af kommunikation med nationale kompetente myndigheder,
kompetente myndigheder, herunder sektorspecifikke myndigheder, der giver
eller understøtter adgang til data, bemyndigede organer, andre operatører,
kunder eller andre interesserede parter
(k) systemer til og procedurer for registrering af al relevant dokumentation og alle
relevante oplysninger
(l) ressourceforvaltning, herunder foranstaltninger vedrørende
forsyningssikkerhed
(m) en ansvarlighedsramme, der fastlægger ledelsens og det øvrige personales
ansvar med hensyn til alle de aspekter, der er anført i dette stykke.
DA 56 DA
2. Gennemførelsen af de aspekter, der er omhandlet i stk. 1, står i et rimeligt forhold til
størrelsen af udbyderens organisation.
3. For de udbydere, der er kreditinstitutter, der er omfattet af direktiv 2013/36/EU,
anses forpligtelsen til at indføre et kvalitetsstyringssystem for at være opfyldt ved
overholdelse af reglerne om ordninger, procedurer og mekanismer for intern ledelse,
jf. artikel 74 i nævnte direktiv. I den forbindelse tages der hensyn til alle de
harmoniserede standarder, der er nævnt i artikel 40 i denne forordning.
Artikel 18
Forpligtelse til at udarbejde teknisk dokumentation
1. Udbydere af højrisiko-AI-systemer udarbejder den tekniske dokumentation, der er
omhandlet i artikel 11, i overensstemmelse med bilag IV.
2. De udbydere, der er kreditinstitutter, der er omfattet af direktiv 2013/36/EU,
vedligeholder den tekniske dokumentation som en del af dokumentationen
vedrørende ordningerne, processerne og mekanismerne for intern ledelse, jf. artikel
74 i nævnte direktiv.
Artikel 19
Overensstemmelsesvurdering
1. Udbydere af højrisiko-AI-systemer sørger for, at deres systemer underkastes den
relevante overensstemmelsesvurderingsprocedure, jf. artikel 43, inden systemerne
bringes i omsætning eller tages i brug. Hvis AI-systemets overensstemmelse med de
krav, der er fastsat i dette afsnits kapitel 2, er blevet påvist efter denne
overensstemmelsesvurdering, udarbejder udbyderen en EU-
overensstemmelseserklæring, jf. artikel 48, og anbringer CE-
overensstemmelsesmærkningen, jf. artikel 49.
2. For så vidt angår de højrisiko-AI-systemer, der er omhandlet i bilag III, punkt 5,
litra b), og som bringes i omsætning eller tages i brug af udbydere, der er
kreditinstitutter, der er omfattet af direktiv 2013/36/EU, foretages
overensstemmelsesvurderingen som led i den procedure, der er omhandlet i nævnte
direktivs artikel 97-101.
Artikel 20
Automatisk genererede logfiler
1. Udbydere af højrisiko-AI-systemer opbevarer de logfiler, der genereres automatisk af
deres højrisiko-AI-systemer, i det omfang sådanne logfiler er under deres kontrol i
kraft af en kontraktmæssig aftale med brugeren eller på anden vis i medfør af loven.
Logfilerne opbevares i en periode, der er passende set i lyset af højrisiko-AI-
systemets tilsigtede formål og de gældende retlige forpligtelser i henhold til EU-
retten eller national ret.
2. Udbydere, som er kreditinstitutter, der er omfattet af direktiv 2013/36/EU, opbevarer
de logfiler, der genereres automatisk af deres højrisiko-AI-systemer, som en del af
dokumentationen, jf. artikel 74 i nævnte direktiv.
DA 57 DA
Artikel 21
Korrigerende foranstaltninger
De udbydere af højrisiko-AI-systemer, der finder eller har grund til at tro, at et højrisiko-AI-
system, som de har bragt i omsætning eller taget i brug, ikke er i overensstemmelse med
denne forordning, træffer straks de nødvendige korrigerende foranstaltninger til at bringe det
pågældende system i overensstemmelse hermed eller om nødvendigt tilbagetrække eller
tilbagekalde det. De underretter distributørerne af det pågældende højrisiko-AI-system og,
hvis det er relevant, den bemyndigede repræsentant samt importører herom.
Artikel 22
Oplysningspligt
Hvis et højrisiko-AI-system udgør en risiko, jf. artikel 65, stk. 1, og denne risiko er kendt af
udbyderen af systemet, underretter udbyderen straks de nationale kompetente myndigheder i
de medlemsstater, hvori udbyderen har tilgængeliggjort systemet, og, hvis det er relevant, det
bemyndigede organ, der har udstedt et certifikat for højrisiko-AI-systemet, navnlig om den
manglende overensstemmelse og om eventuelle korrigerende foranstaltninger, der er truffet.
Artikel 23
Samarbejde med kompetente myndigheder
Efter anmodning fra en national kompetent myndighed giver udbydere af højrisiko-AI-
systemer denne myndighed al den dokumentation og alle de oplysninger, der er nødvendige
for at påvise, at højrisiko-AI-systemet er i overensstemmelse med de krav, der er fastsat i
dette afsnits kapitel 2, på et officielt EU-sprog, der er fastsat af den pågældende medlemsstat.
Efter begrundet anmodning fra en national kompetent myndighed giver udbydere også denne
myndighed adgang til de logfiler, der genereres automatisk af højrisiko-AI-systemet, i det
omfang sådanne logfiler er under deres kontrol i kraft af en kontraktmæssig aftale med
brugeren eller på anden vis i medfør af loven.
Artikel 24
Forpligtelser for producenter
Hvis et højrisiko-AI-system, som er tilknyttet produkter, som de retsakter, der er opført i bilag
II, afsnit A, finder anvendelse på, bringes i omsætning eller tages i brug sammen med det
pågældende produkt, der er fremstillet i overensstemmelse med disse retsakter og under
producentens navn, påtager producenten af produktet sig ansvaret for, at AI-systemet
overholder denne forordning, og har, for så vidt angår AI-systemet, de samme forpligtelser,
som denne forordning pålægger udbyderen.
Artikel 25
Bemyndigede repræsentanter
1. Hvis der ikke kan udpeges en importør, skal udbydere, der er etableret uden for
Unionen, inden deres systemer gøres tilgængelige på EU-markedet, ved skriftlig
fuldmagt udpege en bemyndiget repræsentant, der er etableret i Unionen.
2. Den bemyndigede repræsentant udfører de opgaver, der er fastsat i den fuldmagt, de
har modtaget fra udbyderen. Fuldmagten skal sætte den bemyndigede repræsentant i
stand til at udføre følgende opgaver:
DA 58 DA
(a) at sørge for at opbevare en kopi af overensstemmelseserklæringen og den
tekniske dokumentation, og at disse står til rådighed for de nationale
kompetente myndigheder og de nationale myndigheder, der er omhandlet i
artikel 63, stk. 7
(b) efter begrundet anmodning at give de nationale kompetente myndigheder alle
de oplysninger og al den dokumentation, der kræves for at påvise, at et
højrisiko-AI-system er i overensstemmelse med kravene i dette afsnits kapitel
2, herunder adgang til de logfiler, der genereres automatisk af højrisiko-AI-
systemet, i det omfang sådanne logfiler er under udbyderens kontrol i henhold
til en kontraktlig ordning med brugeren eller på anden måde i henhold til
lovgivningen
(c) efter begrundet anmodning at samarbejde med de kompetente nationale
myndigheder om enhver foranstaltning, som sidstnævnte træffer i forbindelse
med højrisiko-AI-systemet.
Artikel 26
Forpligtelser for importører
1. Importører af højrisiko-AI-systemer skal, før de bringer sådanne systemer i
omsætning, sikre, at:
(a) udbyderen af dette AI-system har gennemført en passende
overensstemmelsesvurderingsprocedure
(b) udbyderen har udarbejdet den tekniske dokumentation i overensstemmelse med
bilag IV
(c) systemet er forsynet med den krævede overensstemmelsesmærkning og er
ledsaget af den krævede dokumentation og brugsanvisning.
2. Hvis en importør finder eller har en begrundet formodning om, at et højrisiko-AI-
system ikke er i overensstemmelse med denne forordning, må vedkommende ikke
bringe dette system i omsætning, før det pågældende AI-system er blevet bragt i
overensstemmelse. Hvis højrisiko-AI-systemet udgør en risiko i henhold til
artikel 65, stk. 1, skal importøren underrette udbyderen af AI-systemet og
markedsovervågningsmyndighederne herom.
3. Importørens navn, registrerede firmanavn eller registrerede varemærke og
kontaktadresse skal angives i højrisiko-AI-systemet, eller hvis dette ikke er muligt,
på emballagen eller i den dokumentation, der ledsager produktet, alt efter hvad der er
relevant.
4. Importører skal, hvor det er relevant, sikre, at opbevarings- og transportbetingelserne
for højrisiko-AI-systemer, som de har ansvaret for, ikke bringer dets overholdelse af
de væsentlige krav i dette afsnits kapitel 2 i fare.
5. Importører skal efter begrundet anmodning og på et sprog, som den pågældende
myndighed let kan forstå, give de nationale kompetente myndigheder alle de
oplysninger og al den dokumentation, der kræves for at påvise, at et højrisiko-AI-
system er i overensstemmelse med kravene i dette afsnits kapitel 2, herunder adgang
til de logfiler, der genereres automatisk af højrisiko-AI-systemet, i det omfang
sådanne logfiler er under udbyderens kontrol i henhold til en kontraktlig ordning med
brugeren eller på anden måde i henhold til lovgivningen. De skal også samarbejde
DA 59 DA
med disse myndigheder om enhver foranstaltning, som den nationale kompetente
myndighed træffer i forbindelse med dette system.
Artikel 27
Forpligtelser for distributører
1. Distributørerne skal, før de gør et højrisiko-AI-system tilgængeligt på markedet,
kontrollere, at højrisiko-AI-systemet er forsynet med den krævede CE-
overensstemmelsesmærkning, at det ledsages af den krævede dokumentation og
brugsanvisning, og at udbyderen og importøren af systemet, alt efter hvad der er
relevant, har opfyldt de forpligtelser, der er fastsat i denne forordning.
2. Hvis en distributør finder eller har en begrundet formodning om, at et højrisiko-AI-
system ikke er i overensstemmelse med kravene i dette afsnits kapitel 2, må
vedkommende ikke gøre dette system tilgængeligt på markedet, før det pågældende
system er blevet bragt i overensstemmelse med de nævnte krav. Hvis systemet
ydermere udgør en risiko i henhold til artikel 65, stk. 1, skal distributøren underrette
udbyderen eller importøren af systemet, alt efter hvad der er relevant, herom.
3. Distributører skal, hvor det er relevant, sikre, at opbevarings- og
transportbetingelserne for højrisiko-AI-systemer, som de har ansvaret for, ikke
bringer systemets overholdelse af de væsentlige krav i dette afsnits kapitel 2 i fare.
4. Hvis en distributør finder eller har en begrundet formodning om, at et højrisiko-AI-
system, som vedkommende har gjort tilgængeligt på markedet, ikke er i
overensstemmelse med kravene i dette afsnits kapitel 2, skal vedkommende træffe de
nødvendige korrigerende foranstaltninger for at bringe systemet i overensstemmelse
med disse krav, trække det tilbage eller kalde det tilbage eller sikre, at udbyderen,
importøren eller enhver relevant operatør, alt efter hvad der er relevant, træffer disse
korrigerende foranstaltninger. Hvis produktet udgør en risiko i henhold til artikel 65,
stk. 1, skal distributøren straks orientere de nationale kompetente myndigheder i de
medlemsstater, hvor distributøren har gjort produktet tilgængeligt, herom og give
nærmere oplysninger om særlig den manglende overholdelse af lovgivningen og de
trufne korrigerende foranstaltninger.
5. Distributører af højrisiko-AI-systemer skal efter begrundet anmodning fra en national
kompetent myndighed give denne myndighed alle de oplysninger og al den
dokumentation, der kræves for at påvise, at et højrisiko-AI-system er i
overensstemmelse med kravene i dette afsnits kapitel 2. Distributørerne skal også
samarbejde med den pågældende nationale kompetente myndighed om enhver
foranstaltning, der træffes af denne myndighed.
Artikel 28
Forpligtelser for distributører, importører, brugere eller enhver anden tredjepart
1. Enhver distributør, importør, bruger eller anden tredjepart anses med henblik på
denne forordning for at være en udbyder og er underlagt forpligtelserne for udbydere,
jf. artikel 16, i følgende tilfælde:
(a) hvis de under eget navn eller varemærke bringer et højrisiko-AI-system i
omsætning eller tager det i brug
(b) hvis de ændrer det tilsigtede formål med et højrisiko-AI-system, der allerede er
bragt i omsætning eller taget i brug
DA 60 DA
(c) hvis de foretager en væsentlig ændring af højrisiko-AI-systemet.
2. Hvis de omstændigheder, der er omhandlet i stk. 1, litra b) eller c), indtræffer, anses
den udbyder, der oprindeligt bragte AI-systemet i højrisikogruppen i omsætning eller
tog det i brug, ikke længere for at være en udbyder i denne forordnings forstand.
Artikel 29
Forpligtelser for brugere af højrisiko-AI-systemer
1. Brugere af højrisiko-AI-systemer skal anvende disse systemer i overensstemmelse
med den brugsanvisning, der ledsager systemerne, jf. stk. 2 og 5.
2. Forpligtelserne i stk. 1 berører ikke andre brugerforpligtelser i henhold til EU-retten
eller national ret eller brugerens mulighed for selv at tilrettelægge sine egne
ressourcer og aktiviteter med henblik på at gennemføre de af udbyderen angivne
foranstaltninger til menneskeligt tilsyn.
3. Uden at dette berører stk. 1, og i det omfang brugeren udøver kontrol over
inputdataene, skal denne bruger sikre, at inputdataene er relevante med hensyn til
højrisiko-AI-systemets tilsigtede formål.
4. Brugerne skal overvåge driften af højrisiko-AI-systemet på grundlag af
brugsanvisningen. Hvis en bruger har begrundet formodning om, at anvendelsen i
overensstemmelse med brugsanvisningen kan medføre, at AI-systemet udgør en
risiko som omhandlet i artikel 65, stk. 1, skal vedkommende underrette udbyderen
eller distributøren og ophøre med at anvende systemet. Brugeren skal også underrette
udbyderen eller distributøren, hvis vedkommende konstaterer alvorlige hændelser
eller funktionsfejl, jf. artikel 62, og afbryde anvendelsen af AI-systemet. Hvis
brugeren ikke er i stand til at kontakte udbyderen, finder artikel 62 tilsvarende
anvendelse.
5. For brugere, som er kreditinstitutter, der er omfattet af direktiv 2013/36/EU, anses
overvågningsforpligtelsen i første afsnit for at være opfyldt ved overholdelse af
reglerne om ordninger, procedurer og mekanismer for intern ledelse i henhold til
artikel 74 i nævnte direktiv.
6. Brugere af højrisiko-AI-systemer skal opbevare de logfiler, der genereres automatisk
af det pågældende højrisiko-AI-system, i det omfang sådanne logfiler er under deres
kontrol. Logfilerne opbevares i en periode, der er passende i lyset af højrisiko-AI-
systemets tilsigtede formål og gældende retlige forpligtelser i henhold til EU-retten
eller national ret.
Brugere, som er kreditinstitutter, der er omfattet af direktiv 2013/36/EU, skal
opbevare logfilerne som en del af dokumentationen af ordningerne, processerne og
mekanismerne for intern ledelse, jf. artikel 74 i nævnte direktiv.
7. Brugere af højrisiko-AI-systemer skal anvende de oplysninger, der angives i henhold
til artikel 13, til at opfylde deres forpligtelse til at foretage en konsekvensanalyse
vedrørende databeskyttelse i henhold til artikel 35 i forordning (EU) 2016/679 eller
artikel 27 i direktiv (EU) 2016/680, hvor det er relevant.
DA 61 DA
KAPITEL 4
BEMYNDIGENDE MYNDIGHEDER OG BEMYNDIGEDE ORGANER
Artikel 30
Bemyndigende myndigheder
1. Hver medlemsstat skal udpege eller oprette en bemyndigende myndighed med ansvar
for at indføre og gennemføre de nødvendige procedurer for vurdering, udpegelse og
bemyndigelse af overensstemmelsesvurderingsorganer og for overvågning heraf.
2. Medlemsstaterne kan udpege et nationalt akkrediteringsorgan, jf. forordning (EF)
nr. 765/2008, som bemyndigende myndighed.
3. Bemyndigende myndigheder skal oprettes, organiseres og drives på en sådan måde,
at der ikke opstår interessekonflikter med overensstemmelsesvurderingsorganerne,
og at der sikres objektivitet og uvildighed i deres aktiviteter.
4. Bemyndigende myndigheder skal være organiseret på en sådan måde, at beslutninger
om bemyndigelse af overensstemmelsesvurderingsorganer træffes af kompetente
personer, der ikke er identiske med dem, der foretog vurderingen af disse organer.
5. En bemyndigende myndighed må ikke udføre aktiviteter, som udføres af
overensstemmelsesvurderingsorganer, eller yde nogen rådgivningsservice på
kommercielt eller konkurrencemæssigt grundlag.
6. Bemyndigende myndigheder skal sikre, at de oplysninger, de indhenter, behandles
fortroligt.
7. Bemyndigende myndigheder skal have et tilstrækkelig stort kompetent personale til,
at de kan udføre deres opgaver behørigt.
8. De bemyndigende myndigheder skal sikre, at overensstemmelsesvurderingerne
udføres på en forholdsmæssig måde for at undgå unødvendige byrder for udbyderne,
og at bemyndigede organer udfører deres aktiviteter under behørig hensyntagen til en
virksomheds størrelse, til den sektor, som den opererer i, til dens struktur og til det
pågældende AI-systems kompleksitet.
Artikel 31
Ansøgning om bemyndigelse af et overensstemmelsesvurderingsorgan
1. Overensstemmelsesvurderingsorganer skal indgive en ansøgning om bemyndigelse
til den bemyndigende myndighed i den medlemsstat, hvor de er etableret.
2. Ansøgningen om bemyndigelse skal ledsages af en beskrivelse af de
overensstemmelsesvurderingsaktiviteter, det eller de
overensstemmelsesvurderingsmoduler og de AI-teknologier, som
overensstemmelsesvurderingsorganet hævder at være kompetent til, samt af et
eventuelt akkrediteringscertifikat udstedt af et nationalt akkrediteringsorgan, hvori
det attesteres, at overensstemmelsesvurderingsorganet opfylder kravene i artikel 33.
Alle gyldige dokumenter vedrørende eksisterende udpegelser af det ansøgende
bemyndigede organ i henhold til anden EU-harmoniseringslovgivning skal tilføjes.
3. Hvis det pågældende overensstemmelsesvurderingsorgan ikke kan forelægge et
akkrediteringscertificat, skal det forelægge den bemyndigende myndighed den
dokumentation, der er nødvendig for at kontrollere, anerkende og regelmæssigt
DA 62 DA
overvåge, at det opfylder kravene i artikel 33. For bemyndigede organer, der er
udpeget i henhold til anden EU-harmoniseringslovgivning, kan alle dokumenter og
attester, der er knyttet til disse udpegelser, alt efter hvad der er relevant, anvendes til
at understøtte deres udpegelsesprocedure i henhold til denne forordning.
Artikel 32
Bemyndigelsesprocedure
1. De bemyndigende myndigheder må kun bemyndige
overensstemmelsesvurderingsorganer, som opfylder kravene i artikel 33.
2. De bemyndigende myndigheder underretter Kommissionen og de øvrige
medlemsstater ved hjælp af det elektroniske notifikationsværktøj, der er udviklet og
forvaltes af Kommissionen.
3. Notifikationen skal indeholde fyldestgørende oplysninger om
overensstemmelsesvurderingsaktiviteterne, det eller de pågældende
overensstemmelsesvurderingsmoduler og de pågældende AI-teknologier.
4. Det pågældende overensstemmelsesvurderingsorgan må kun udøve aktiviteter som
bemyndiget organ, hvis Kommissionen og de øvrige medlemsstater ikke har gjort
indsigelse inden for to uger efter en bemyndigelse.
5. De bemyndigende myndigheder skal underrette Kommissionen og de øvrige
medlemsstater om enhver relevant efterfølgende ændring af bemyndigelsen.
Artikel 33
Bemyndigede organer
1. De bemyndigede organer skal verificere, at højrisiko-AI-systemer er i
overensstemmelse med de overensstemmelsesvurderingsprocedurer, der er
omhandlet i artikel 43.
2. De bemyndigede organer skal opfylde de organisatoriske krav samt de
kvalitetsstyrings-, ressource- og procedurekrav, der er nødvendige for at kunne
udføre disse opgaver.
3. De bemyndigede organers organisationsstruktur, ansvarsfordeling, rapporteringsveje
og drift skal være af en sådan art, at de sikrer, at der er tillid til de bemyndigede
organers arbejde og til resultaterne af de bemyndigede organers
overensstemmelsesvurderingsaktiviteter.
4. De bemyndigede organer skal være uafhængige af udbyderen af det højrisiko-AI-
system, i forbindelse med hvilket de udfører overensstemmelsesvurderingsaktiviteter.
Bemyndigede organer skal også være uafhængige af alle andre operatører, der har en
økonomisk interesse i det vurderede højrisiko-AI-system, og af enhver konkurrent til
udbyderen.
5. De bemyndigede organer skal være organiseret og arbejde på en sådan måde, at der i
deres aktiviteter sikres uafhængighed, objektivitet og uvildighed. De bemyndigede
organer skal dokumentere og gennemføre en struktur og procedurer til sikring af
uvildighed og til fremme og anvendelse af principperne om uvildighed i hele deres
organisation, hos alt deres personale og i alle deres vurderingsaktiviteter.
6. De bemyndigede organer skal have indført dokumenterede procedurer, der sikrer, at
personale, udvalg, dattervirksomheder, underentreprenører og eventuelle tilknyttede
DA 63 DA
organer eller personalet i eksterne organer behandler de oplysninger, som de kommer
i besiddelse af under udførelsen af overensstemmelsesvurderingsaktiviteterne,
fortroligt, medmindre videregivelse af oplysningerne er fastsat ved lov. De
bemyndigede organers personale har tavshedspligt med hensyn til alle oplysninger,
det kommer i besiddelse af ved udførelsen af dets opgaver i henhold til denne
forordning, undtagen over for de bemyndigende myndigheder i den medlemsstat,
hvor aktiviteterne udføres.
7. De bemyndigede organer skal have indført procedurer, der sætter dem i stand til at
udføre deres aktiviteter under behørig hensyntagen til en virksomheds størrelse, til
den sektor, som den opererer inden for, til dens struktur og til, hvor kompleks det
pågældende AI-system er.
8. De bemyndigede organer skal tegne en passende ansvarsforsikring for deres
overensstemmelsesvurderingsaktiviteter, medmindre den pågældende medlemsstat er
ansvarlig i henhold til national ret, eller medlemsstaten er direkte ansvarlig for
overensstemmelsesvurderingen.
9. De bemyndigede organer skal være i stand til at udføre alle de opgaver, som de
pålægges ved denne forordning, med den størst mulig faglige integritet og den
nødvendige kompetence på det specifikke område, uanset om disse opgaver udføres
af bemyndigede organer selv eller på deres vegne og på deres ansvar.
10. De bemyndigede organer skal have tilstrækkelige interne kompetencer til effektivt at
kunne evaluere de opgaver, der udføres af eksterne parter på deres vegne. Derfor skal
det bemyndigede organ til enhver tid og for hver
overensstemmelsesvurderingsprocedure og hver type højrisiko-AI-system, som det er
udpeget til, have permanent adgang til tilstrækkeligt administrativt, teknisk og
videnskabeligt personale med erfaring og viden vedrørende de relevante AI-
teknologier, data, databehandling og kravene i dette afsnits kapitel 2.
11. De bemyndigede organer skal deltage i det koordinerende arbejde, jf. artikel 38. De
skal også deltage direkte eller være repræsenteret i de europæiske
standardiseringsorganisationer eller sikre, at de har et ajourført kendskab til de
relevante standarder.
12. De bemyndigede organer skal stille al relevant dokumentation til rådighed og efter
anmodning forelægge denne, herunder udbyderens dokumentation, for den
bemyndigende myndighed, der er omhandlet i artikel 30, så den kan udføre sine
vurderings-, udpegelses-, bemyndigelses-, tilsyns- og overvågningsaktiviteter og
fremme vurderingen som anført i dette kapitel.
Artikel 34
Dattervirksomheder og underentreprise i tilknytning til bemyndigede organer
1. Hvis et bemyndiget organ giver bestemte opgaver i forbindelse med
overensstemmelsesvurderingen i underentreprise eller anvender en dattervirksomhed,
skal det sikre, at underentreprenøren eller dattervirksomheden opfylder kravene i
artikel 33, og underrette den bemyndigende myndighed herom.
2. De bemyndigede organer har det fulde ansvar for de opgaver, der udføres af
underentreprenører eller dattervirksomheder, uanset hvor disse er etableret.
3. Aktiviteter må kun gives i underentreprise eller udføres af en dattervirksomhed, hvis
udbyderen har givet sit samtykke hertil.
DA 64 DA
4. De bemyndigede organer skal kunne stille de relevante dokumenter vedrørende
vurderingen af underentreprenørens eller dattervirksomhedens kvalifikationer og det
arbejde, som de har udført i henhold til denne forordning, til rådighed for den
bemyndigende myndighed.
Artikel 35
Identifikationsnumre for og lister over bemyndigede organer, der er udpeget i henhold til
denne forordning
1. Kommissionen tildeler hvert bemyndiget organ et identifikationsnummer. Hvert
bemyndiget organ tildeles kun ét nummer, også selv om organet er bemyndiget i
henhold til flere EU-retsakter.
2. Kommissionen offentliggør listen over organer, der er bemyndiget i henhold til
denne forordning, herunder de identifikationsnumre, som de er blevet tildelt, og de
aktiviteter, for hvilke de er bemyndiget. Kommissionen sikrer, at listen ajourføres.
Artikel 36
Ændringer af bemyndigelser
1. Hvis en bemyndigende myndighed har mistanke om eller er blevet orienteret om, at
et bemyndiget organ ikke længere opfylder kravene i artikel 33, eller at det ikke
opfylder sine forpligtelser, skal den myndighed hurtigst muligt undersøge sagen med
den størst mulige omhu. I den forbindelse skal den underrette det berørte
bemyndigede organ om sine indvendinger og giver det mulighed for at tilkendegive
sine synspunkter. Hvis en bemyndigende myndighed konkluderer, at det undersøgte
bemyndigede organ ikke længere opfylder kravene i artikel 33, eller at det ikke
opfylder sine forpligtelser, skal den begrænse, suspendere eller inddrage
bemyndigelsen, alt efter hvad der er mest hensigtsmæssigt, og afhængigt af hvor
alvorlig den manglende opfyldelse af kravene eller forpligtelserne er. Den skal
derudover straks underrette Kommissionen og de øvrige medlemsstater herom.
2. Hvis en bemyndigelse begrænses, suspenderes eller inddrages, eller hvis det
bemyndigede organ har indstillet sine aktiviteter, skal den bemyndigende myndighed
træffe de nødvendige foranstaltninger for at sikre, at dette bemyndigede organs sager
enten overtages af et andet bemyndiget organ eller står til rådighed for de ansvarlige
bemyndigende myndigheder efter disses anmodning.
Artikel 37
Anfægtelse af bemyndigede organers kompetence
1. Kommissionen undersøger om nødvendigt alle tilfælde, hvor der er grund til at
betvivle, at et bemyndiget organ opfylder kravene i artikel 33.
2. Den bemyndigende myndighed skal efter anmodning forelægge Kommissionen alle
relevante oplysninger vedrørende bemyndigelsen af det pågældende bemyndigede
organ.
3. Kommissionen sikrer, at alle fortrolige oplysninger, som den indhenter som led i sine
undersøgelser i henhold til denne artikel, behandles fortroligt.
4. Hvis Kommissionen konstaterer, at et bemyndiget organ ikke eller ikke længere
opfylder kravene i artikel 33, vedtager den en begrundet afgørelse, der pålægger den
bemyndigende medlemsstat at træffe de nødvendige korrigerende foranstaltninger,
DA 65 DA
herunder om nødvendigt inddragelse af bemyndigelsen. Denne
gennemførelsesretsakt vedtages efter undersøgelsesproceduren, jf. artikel 74, stk. 2.
Artikel 38
Koordinering af bemyndigede organer
1. Kommissionen sikrer, at der på de områder, der er omfattet af denne forordning,
etableres passende koordinering og samarbejde mellem de bemyndigede organer, der
er aktive inden for overensstemmelsesvurderingsprocedurer for AI-systemer i
henhold til denne forordning, og at det i form af en sektorspecifik gruppe af
bemyndigede organer fungerer korrekt.
2. Medlemsstaterne skal sørge for, at de organer, de har bemyndiget, deltager i arbejdet
i denne gruppe enten direkte eller gennem udpegede repræsentanter.
Artikel 39
Tredjelandes overensstemmelsesvurderingsorganer
Overensstemmelsesvurderingsorganer, der er oprettet i henhold til lovgivningen i et
tredjeland, med hvilket Unionen har indgået en aftale, kan godkendes til at udføre
bemyndigede organers aktiviteter i henhold til denne forordning.
KAPITEL 5
STANDARDER, OVERENSSTEMMELSESVURDERING, CERTIFIKATER,
REGISTRERING
Artikel 40
Harmoniserede standarder
Højrisiko-AI-systemer, som er i overensstemmelse med harmoniserede standarder eller dele
heraf, hvis referencer er offentliggjort i Den Europæiske Unions Tidende, formodes at være i
overensstemmelse med de krav, der er fastsat i dette afsnits kapitel 2, for så vidt de nævnte
standarder omfatter disse krav.
Artikel 41
Fælles specifikationer
1. I tilfælde, hvor der ikke findes harmoniserede standarder som omhandlet i artikel 40,
eller hvis Kommissionen finder, at de relevante harmoniserede standarder er
utilstrækkelige, eller at der er behov for at tage hensyn til specifikke betænkeligheder
vedrørende sikkerhed eller grundlæggende rettigheder, kan Kommissionen ved hjælp
af gennemførelsesretsakter vedtage fælles specifikationer for de krav, der er fastsat i
dette afsnits kapitel 2. Disse gennemførelsesretsakter vedtages efter
undersøgelsesproceduren, jf. artikel 74, stk. 2.
2. Kommissionen indsamler i forbindelse med udarbejdelsen af de fælles
specifikationer, der er omhandlet i stk. 1, synspunkter fra relevante organer eller
ekspertgrupper, der er nedsat i henhold til relevant sektorspecifik EU-ret.
3. Højrisiko-AI-systemer, som er i overensstemmelse med de fælles specifikationer, der
er omhandlet i stk. 1, formodes at være i overensstemmelse med de krav, der er
DA 66 DA
fastsat i dette afsnits kapitel 2, for så vidt de nævnte fælles specifikationer omfatter
disse krav.
4. I tilfælde, hvor udbydere ikke overholder de fælles specifikationer, der er omhandlet
i stk. 1, skal de behørigt begrunde, at de har indført tekniske løsninger, der mindst
svarer hertil.
Artikel 42
Formodning om overensstemmelse med visse krav
1. Under hensyntagen til deres tilsigtede formål formodes højrisiko-AI-systemer, der er
blevet trænet og testet med data vedrørende de specifikke geografiske,
adfærdsmæssige og funktionelle rammer, som systemet skal anvendes inden for, at
opfylde kravet i artikel 10, stk. 4.
2. Højrisiko-AI-systemer, der er certificeret, eller for hvilke der er udstedt en
overensstemmelseserklæring i henhold til en cybersikkerhedsordning i henhold til
Europa-Parlamentets og Rådets forordning (EU) 2019/88163
, og hvis referencer er
offentliggjort i Den Europæiske Unions Tidende, formodes at være i
overensstemmelse med cybersikkerhedskravene i nærværende forordnings artikel 15,
såfremt cybersikkerhedsattesten eller overensstemmelseserklæringen eller dele heraf
dækker disse krav.
Artikel 43
Overensstemmelsesvurdering
1. Hvad angår højrisiko-AI-systemer, der er anført i bilag III, punkt 1, skal udbyderen,
såfremt denne ved påvisningen af, at et højrisiko-AI-system opfylder kravene i dette
afsnits kapitel 2, har anvendt harmoniserede standarder som omhandlet i artikel 40
eller, hvor det er relevant, fælles specifikationer som omhandlet i artikel 41, anvende
en af følgende procedurer:
(a) overensstemmelsesvurderingsproceduren på grundlag af intern kontrol som
omhandlet i bilag VI
(b) overensstemmelsesvurderingsproceduren på grundlag af vurdering af
kvalitetsstyringssystemet og vurdering af den tekniske dokumentation med
inddragelse af et bemyndiget organ, jf. bilag VII.
Hvis udbyderen ved påvisning af et højrisiko-AI-systems overensstemmelse med
kravene i dette afsnits kapitel 2 ikke har anvendt eller kun delvist har anvendt
harmoniserede standarder som omhandlet i artikel 40, eller hvis sådanne
harmoniserede standarder ikke findes, og der ikke foreligger fælles specifikationer
som omhandlet i artikel 41, skal udbyderen følge den
overensstemmelsesvurderingsprocedure, der er anført i bilag VII.
Med henblik på den overensstemmelsesvurderingsprocedure, der er omhandlet i
bilag VII, kan udbyderen vælge hvilket som helst af de bemyndigede organer. Hvis
systemet er beregnet til at blive taget i brug af retshåndhævende myndigheder,
63
Europa-Parlamentets og Rådets forordning (EU) 2019/881 af 17. april 2019 om ENISA (Den
Europæiske Unions Agentur for Cybersikkerhed), om cybersikkerhedscertificering af informations- og
kommunikationsteknologi og om ophævelse af forordning (EU) nr. 526/2013 (forordningen om
cybersikkerhed) (EUT L 151 af 7.6.2019, s. 1).
DA 67 DA
indvandringsmyndigheder, asylmyndigheder eller EU's institutioner, organer eller
agenturer, fungerer den markedsovervågningsmyndighed, der er omhandlet i
artikel 63, stk. 5 eller 6, alt efter hvad der er relevant, imidlertid som bemyndiget
organ.
2. Hvad angår de højrisiko-AI-systemer, der er omhandlet i bilag III, punkt 2-8, skal
udbyderne følge overensstemmelsesvurderingsproceduren på grundlag af intern
kontrol som omhandlet i bilag VI, som ikke foreskriver inddragelse af et bemyndiget
organ. Hvad angår de højrisiko-AI-systemer, der er omhandlet i bilag III, punkt 5,
litra b), og som bringes i omsætning eller tages i brug af kreditinstitutter, der er
omfattet af direktiv 2013/36/EU, foretages overensstemmelsesvurderingen som led i
den procedure, der er omhandlet i nævnte direktivs artikel 97-101.
3. For højrisiko-AI-systemer, som de retsakter, der er opført i bilag II, afsnit A, finder
anvendelse på, skal udbyderen følge den relevante overensstemmelsesvurdering som
krævet i henhold til disse retsakter. Kravene i nærværende afsnits kapitel 2 finder
anvendelse på disse højrisiko-AI-systemer og skal indgå i den nævnte vurdering.
Punkt 4.3, 4.4 og 4.5 samt femte afsnit i punkt 4.6 i bilag VII finder også anvendelse.
Med henblik på denne vurdering har bemyndigede organer, der er blevet bemyndiget
i henhold til disse retsakter, ret til at kontrollere, at højrisiko-AI-systemerne opfylder
kravene i nærværende afsnits kapitel 2, forudsat at disse bemyndigede organers
overholdelse af kravene i artikel 33, stk. 4, 9 og 10, er blevet vurderet i forbindelse
med bemyndigelsesproceduren i henhold til disse retsakter.
Hvis de retsakter, der er opført i bilag II, afsnit A, giver producenten af produktet
mulighed for at fravælge en af tredjepart udført overensstemmelsesvurdering,
forudsat at producenten har anvendt alle de harmoniserede standarder, der omfatter
alle de relevante krav, kan producenten kun gøre brug af denne mulighed, hvis
vedkommende også har anvendt harmoniserede standarder eller, hvor det er relevant,
fælles specifikationer som omhandlet i artikel 41, der omfatter kravene i dette afsnits
kapitel 2.
4. Højrisiko-AI-systemer skal underkastes en ny
overensstemmelsesvurderingsprocedure, hvis de ændres væsentligt, uanset om det
ændrede system skal videredistribueres eller fortsat anvendes af den nuværende
bruger.
For højrisiko-AI-systemer, der bliver ved med at lære efter at være bragt i omsætning
eller taget i brug, udgør ændringer af højrisiko-AI-systemet og dets ydeevne, som
udbyderen på forhånd har fastlagt på tidspunktet for den indledende
overensstemmelsesvurdering, og som er en del af oplysningerne i den tekniske
dokumentation, jf. bilag IV, punkt 2, litra f), ikke en væsentlig ændring.
5. Kommissionen tillægges beføjelser til at vedtage delegerede retsakter i
overensstemmelse med artikel 73 for at ajourføre bilag VI og bilag VII med henblik
på at indføre elementer i overensstemmelsesvurderingsprocedurerne, der viser sig at
blive nødvendige i lyset af den tekniske udvikling.
6. Kommissionen tillægges beføjelser til at vedtage delegerede retsakter for at ændre
stk. 1 og 2 med henblik på at underkaste de i bilag III, punkt 2-8, omhandlede
højrisiko-AI-systemer overensstemmelsesvurderingsproceduren i bilag VII eller dele
heraf. Kommissionen vedtager sådanne delegerede retsakter under hensyntagen til
effektiviteten af overensstemmelsesvurderingsproceduren på grundlag af intern
kontrol, jf. bilag VI, med hensyn til at forebygge eller minimere de risici for
DA 68 DA
sundhed, sikkerhed og beskyttelsen af de grundlæggende rettigheder, som sådanne
systemer medfører, samt hvorvidt de bemyndigede organer har adgang til
tilstrækkelig kapacitet og ressourcer.
Artikel 44
Certifikater
1. Certifikater, der udstedes af bemyndigede organer i overensstemmelse med bilag
VII, skal udfærdiges på et officielt EU-sprog fastsat af den medlemsstat, hvor det
bemyndigede organ er etableret, eller på et officielt EU-sprog, som det bemyndigede
organ kan acceptere.
2. Certifikaterne skal være gyldige i den periode, der er angivet deri, dog højst i fem år.
På udbyderens anmodning kan et certifikats gyldighedsperiode forlænges med
yderligere perioder på hver højst fem år på grundlag af en fornyet vurdering i
overensstemmelse med de gældende overensstemmelsesvurderingsprocedurer.
3. Hvis et bemyndiget organ fastslår, at et AI-system ikke længere opfylder kravene i
dette afsnits kapitel 2, skal organet suspendere eller inddrage det udstedte certifikat
eller begrænser det under iagttagelse af proportionalitetsprincippet, medmindre
udbyderen af systemet gennem passende korrigerende handlinger og inden for en
passende frist fastsat af det bemyndigede organ sikrer, at kravene opfyldes. Det
bemyndigede organ skal begrunde sin beslutning.
Artikel 45
Appel af afgørelser truffet af bemyndigede organer
Medlemsstaterne skal sikre, at det bemyndigede organs afgørelser kan appelleres af parter, der
har en legitim interesse i den pågældende afgørelse.
Artikel 46
Oplysningskrav for bemyndigede organer
1. De bemyndigede organer skal oplyse den bemyndigende myndighed om følgende:
(a) alle EU-vurderingscertifikater for teknisk dokumentation, eventuelle tillæg til
disse certifikater og godkendelser af kvalitetsstyringssystemer, der er udstedt i
overensstemmelse med kravene i bilag VII
(b) alle afslag på, begrænsninger af, suspensioner af eller inddragelser af EU-
vurderingscertifikater for teknisk dokumentation eller godkendelser af
kvalitetsstyringssystemer udstedt i overensstemmelse med kravene i bilag VII
(c) alle forhold, der har indflydelse på omfanget af eller betingelserne for
bemyndigelsen
(d) alle anmodninger om oplysninger om overensstemmelsesvurderingsaktiviteter,
som de har modtaget fra markedsovervågningsmyndighederne
(e) efter anmodning, overensstemmelsesvurderingsaktiviteter, der er udført inden
for det område, hvor de er bemyndiget, og enhver anden aktivitet, der er udført,
herunder grænseoverskridende aktiviteter og underentreprise.
2. Hvert bemyndiget organ skal underrette de øvrige bemyndigede organer om:
DA 69 DA
(a) afviste, suspenderede eller tilbagekaldte godkendelser af
kvalitetsstyringssystemer samt, efter anmodning, udstedte godkendelser af
kvalitetsstyringssystemer
(b) EU-vurderingscertifikater for teknisk dokumentation eller tillæg hertil, som det
har afvist, inddraget, suspenderet eller på anden måde begrænset, og, efter
anmodning, de certifikater og/eller tillæg hertil, som det har udstedt.
3. Hvert bemyndiget organ skal give de øvrige bemyndigede organer, som udfører
lignende overensstemmelsesvurderingsaktiviteter vedrørende de samme AI-
teknologier, relevante oplysninger om spørgsmål vedrørende negative og, efter
anmodning, positive overensstemmelsesvurderingsresultater.
Artikel 47
Undtagelse fra overensstemmelsesvurderingsprocedure
1. Uanset artikel 43 kan enhver markedsovervågningsmyndighed tillade, at specifikke
højrisiko-AI-systemer bringes i omsætning eller tages i brug på den pågældende
medlemsstats område af ekstraordinære hensyn til den offentlige sikkerhed eller
beskyttelse af menneskers liv og sundhed, miljøbeskyttelse eller beskyttelse af
centrale industrielle og infrastrukturmæssige aktiver. Tilladelsen skal gælde for en
begrænset periode, mens de nødvendige overensstemmelsesvurderingsprocedurer
gennemføres, og skal ophøre, når disse procedurer er afsluttet. Gennemførelsen af
disse procedurer skal ske uden unødig forsinkelse.
2. Den i stk. 1 omhandlede tilladelse må kun udstedes, hvis
markedsovervågningsmyndigheden konkluderer, at højrisiko-AI-systemet opfylder
kravene i dette afsnits kapitel 2. Markedsovervågningsmyndigheden skal underrette
Kommissionen og de øvrige medlemsstater om enhver tilladelse, der udstedes i
henhold til stk. 1.
3. Hvis der ikke inden for 15 kalenderdage efter modtagelsen af de i stk. 2 omhandlede
oplysninger er blevet gjort indsigelse af en medlemsstat eller Kommissionen mod en
tilladelse, der i henhold til stk. 1 er udstedt af en medlemsstats
markedsovervågningsmyndighed, anses denne tilladelse for at være berettiget.
4. Hvis en medlemsstat inden for 15 kalenderdage efter modtagelsen af den i stk. 2
omhandlede underretning gør indsigelse mod en tilladelse, der er udstedt af en
markedsovervågningsmyndighed i en anden medlemsstat, eller hvis Kommissionen
finder, at tilladelsen er i strid med EU-retten, eller at medlemsstaternes konklusion
vedrørende systemets opfyldelse af kravene, jf. stk. 2, er ubegrundet, drøfter
Kommissionen straks spørgsmålet med den relevante medlemsstat, og i denne
forbindelse høres den eller de berørte operatører, som gives mulighed for at
fremsætte deres synspunkter. På denne baggrund træffer Kommissionen afgørelse
om, hvorvidt tilladelsen er berettiget eller ej. Kommissionen retter sin afgørelse til
den pågældende medlemsstat og den eller de relevante operatører.
5. Hvis tilladelsen anses for at være uberettiget, skal den inddrages af
markedsovervågningsmyndigheden i den pågældende medlemsstat.
6. Uanset stk. 1-5 finder artikel 59 i forordning (EU) 2017/745 og artikel 54 i
forordning (EU) 2017/746 også anvendelse på højrisiko-AI-systemer, der er beregnet
til at blive anvendt som sikkerhedskomponenter i udstyr, eller som i selv er udstyr,
der er omfattet af forordning (EU) 2017/745 og forordning (EU) 2017/746, for så
DA 70 DA
vidt angår undtagelse fra overensstemmelsesvurderingen af opfyldelsen af kravene i
dette afsnits kapitel 2.
Artikel 48
EU-overensstemmelseserklæring
1. Udbyderen skal udarbejde en skriftlig EU-overensstemmelseserklæring for hvert AI-
system og opbevare den, så den i ti år efter, at AI-systemet er blevet bragt i
omsætning eller taget i brug, står til rådighed for de nationale kompetente
myndigheder. Det skal af EU-overensstemmelseserklæringen fremgå, hvilket AI-
system den vedrører. Et eksemplar af EU-overensstemmelseserklæringen skal efter
anmodning fremsendes til de relevante nationale kompetente myndigheder.
2. Det skal af EU-overensstemmelseserklæringen fremgå, at det pågældende højrisiko-
AI-system opfylder kravene i dette afsnits kapitel 2. EU-
overensstemmelseserklæringen skal indeholde de oplysninger, der er anført i bilag V,
og skal oversættes til det eller de officielle EU-sprog, der kræves af den eller de
medlemsstater, hvor højrisiko-AI-systemet gøres tilgængeligt.
3. For højrisiko-AI-systemer, der er omfattet af anden EU-harmoniseringslovgivning, i
henhold til hvilken der også kræves en EU-overensstemmelseserklæring, udarbejdes
der en enkelt EU-overensstemmelseserklæring for al EU-lovgivning, der finder
anvendelse på højrisiko-AI-systemet. Erklæringen skal indeholde alle oplysninger,
der er påkrævet for at identificere, hvilken EU-harmoniseringslovgivning
erklæringen vedrører.
4. Ved at udarbejde EU-overensstemmelseserklæringen står udbyderen inde for, at
kravene i dette afsnits kapitel 2 opfyldes. Udbyderen skal sørge for at holde EU-
overensstemmelseserklæringen ajour, hvis det er relevant.
5. Kommissionen tillægges beføjelse til at vedtage delegerede retsakter i
overensstemmelse med artikel 73 for at ajourføre indholdet af EU-
overensstemmelseserklæringen, jf. bilag V, med henblik på at indføre elementer, der
viser sig at blive nødvendige på baggrund af den tekniske udvikling.
Artikel 49
CE-overensstemmelsesmærkning
1. CE-mærkningen skal i tilknytning til højrisiko-AI-systemer anbringes synligt,
letlæseligt og således, at den ikke kan slettes. Hvis højrisiko-AI-systemet er af en
sådan art, at dette ikke er muligt eller berettiget, anbringes mærkningen på
emballagen eller i den medfølgende dokumentation, alt efter hvad der relevant.
2. CE-mærkningen, jf. nærværende artikels stk. 1, er underkastet de generelle
principper i artikel 30 i forordning (EF) nr. 765/2008.
3. Hvor det er relevant, skal CE-mærkningen følges af identifikationsnummeret for det
bemyndigede organ, der er ansvarligt for overensstemmelsesvurderingsprocedurerne
i artikel 43. Identifikationsnummeret skal også fremgå af salgsfremmende materiale,
som nævner, at højrisiko-AI-systemet opfylder kravene til CE-mærkning.
DA 71 DA
Artikel 50
Opbevaring af dokumentation
Udbyderen skal i ti år efter, at AI-systemet er blevet bragt i omsætning eller taget i brug,
kunne forelægge de nationale kompetente myndigheder:
(a) den i artikel 11 omhandlede tekniske dokumentation
(b) dokumentation vedrørende det i artikel 17 omhandlede kvalitetsstyringssystem
(c) dokumentation vedrørende ændringer, der er godkendt af bemyndigede organer, hvor
dette er relevant
(d) afgørelser og andre dokumenter udstedt af de bemyndigede organer, hvor dette er
relevant
(e) den i artikel 48 omhandlede EU-overensstemmelseserklæring.
Artikel 51
Registrering
Inden et højrisiko-AI-system som omhandlet i artikel 6, stk. 2, bringes i omsætning eller tages
i brug, skal udbyderen eller, hvor det er relevant, den bemyndigede repræsentant registrere
systemet i den EU-database, der er omhandlet i artikel 60.
AFSNIT IV
GENNEMSIGTIGHEDSFORPLIGTELSER FOR VISSE AI-SYSTEMER
Artikel 52
Gennemsigtighedsforpligtelser for visse AI-systemer
1. Udbydere skal sikre, at AI-systemer, der er beregnet til at interagere med fysiske
personer, udformes og udvikles på en sådan måde, at fysiske personer oplyses om, at
de interagerer med et AI-system, medmindre dette er indlysende ud fra
omstændighederne og anvendelsessammenhængen. Denne forpligtelse finder ikke
anvendelse på AI-systemer, der ved lov er godkendt til at afsløre, forebygge,
efterforske og retsforfølge strafbare handlinger, medmindre disse systemer er
tilgængelige for offentligheden med henblik på at anmelde strafbare handlinger.
2. Brugere af et system til følelsesgenkendelse eller et system til biometrisk
kategorisering skal oplyse de fysiske personer, der er eksponeret for systemet, om
anvendelsen af systemet. Denne forpligtelse finder ikke anvendelse på AI-systemer,
der anvendes til biometrisk kategorisering, og som i henhold til lovgivningen er
godkendt til at afsløre, forebygge og efterforske strafbare handlinger.
3. Brugere af et AI-system, der genererer eller manipulerer billed-, lyd- eller
videoindhold, der i væsentlig grad ligner faktiske personer, genstande, steder eller
andre enheder eller begivenheder, og som fejlagtigt vil fremstå ægte eller
sandfærdigt ("deepfake"), skal oplyse, at indholdet er blevet genereret kunstigt eller
manipuleret.
Første afsnit finder dog ikke anvendelse, hvis anvendelsen er tilladt ved lov med
henblik på at afsløre, forebygge, efterforske og retsforfølge strafbare handlinger, eller
hvis anvendelsen er nødvendig for udøvelsen af ytringsfriheden og retten til frihed
for kunst og videnskab, der er sikret ved Den Europæiske Unions charter om
DA 72 DA
grundlæggende rettigheder, og giver passende garantier for tredjemands rettigheder
og friheder.
4. Stk. 1, 2 og 3 berører ikke kravene og forpligtelserne i denne forordnings afsnit III.
AFSNIT V
FORANSTALTNINGER TIL STØTTE FOR INNOVATION
Artikel 53
Reguleringsmæssige sandkasser for kunstig intelligens
1. Reguleringsmæssige sandkasser for kunstig intelligens, der er oprettet af en eller
flere medlemsstaters kompetente myndigheder eller Den Europæiske Tilsynsførende
for Databeskyttelse, skal tilvejebringe et kontrolleret miljø, der letter udviklingen,
prøvningen og valideringen af innovative AI-systemer i et begrænset tidsrum, inden
de bringes i omsætning eller tages i brug i henhold til en specifik plan. Dette skal ske
under de kompetente myndigheders direkte tilsyn og vejledning med henblik på at
sikre overholdelse af kravene i denne forordning og, hvor det er relevant, anden EU-
lovgivning og national lovgivning, som der føres tilsyn med i sandkassen.
2. I det omfang de innovative AI-systemer omfatter behandling af personoplysninger
eller på anden måde henhører under tilsynsområdet for andre nationale myndigheder
eller kompetente myndigheder, der giver eller understøtter adgang til data, skal
medlemsstaterne sikre, at de nationale databeskyttelsesmyndigheder og disse andre
nationale myndigheder er tilknyttet driften af den reguleringsmæssige sandkasse for
kunstig intelligens.
3. De reguleringsmæssige sandkasser for kunstig intelligens berører ikke de kompetente
myndigheders tilsynsbeføjelser eller korrigerende beføjelser. Enhver væsentlig risiko
for sundheden, sikkerheden eller de grundlæggende rettigheder, der konstateres
under udviklingen og afprøvningen af sådanne systemer, skal afbødes straks, og hvis
dette ikke er muligt, skal udviklings- og prøvningsprocessen suspenderes, indtil en
sådan afbødning finder sted.
4. Deltagerne i den reguleringsmæssige sandkasse for kunstig intelligens forbliver
ansvarlige i henhold til EU's og medlemsstaternes gældende ansvarslovgivning for
enhver skade, der påføres tredjeparter som følge af forsøg i sandkassen.
5. De af medlemsstaternes kompetente myndigheder, der har etableret
reguleringsmæssige sandkasser for kunstig intelligens, skal koordinere deres
aktiviteter og samarbejde inden for rammerne af Det Europæiske Udvalg for Kunstig
Intelligens. De skal forelægge årlige rapporter for udvalget og Kommissionen om
resultaterne af gennemførelsen af disse ordninger, herunder god praksis, indhøstede
erfaringer og anbefalinger vedrørende deres udformning og, hvor det er relevant,
vedrørende anvendelsen af denne forordning og anden EU-lovgivning, der overvåges
inden for sandkassen.
6. De nærmere bestemmelser og betingelserne for driften af de reguleringsmæssige
sandkasser for kunstig intelligens, herunder udvælgelseskriterierne og proceduren for
ansøgning, udvælgelse, deltagelse og udtræden af sandkassen, samt deltagernes
rettigheder og forpligtelser fastsættes i gennemførelsesretsakter. Disse
gennemførelsesretsakter vedtages efter undersøgelsesproceduren, jf. artikel 74, stk. 2.
DA 73 DA
Artikel 54
Viderebehandling af personoplysninger med henblik på udvikling af visse AI-systemer i
offentlighedens interesse i den reguleringsmæssige sandkasse for kunstig intelligens
1. I den reguleringsmæssige sandkasse for kunstig intelligens behandles
personoplysninger, der er lovligt indsamlet til andre formål, med henblik på
udvikling og prøvning af visse innovative AI-systemer i sandkassen på følgende
betingelser:
(a) de innovative AI-systemer skal udvikles med henblik på at beskytte væsentlige
samfundsinteresser på et eller flere af følgende områder:
i) forebyggelse, efterforskning, afsløring eller retsforfølgning af strafbare
handlinger eller fuldbyrdelse af strafferetlige sanktioner, herunder
beskyttelse mod og forebyggelse af trusler mod den offentlige sikkerhed,
under de kompetente myndigheders kontrol og ansvar. Behandlingen skal
være baseret på den pågældende medlemsstats lovgivning eller EU-retten
ii) den offentlige sikkerhed og folkesundheden, herunder
sygdomsforebyggelse, -bekæmpelse og -behandling
iii) et højt niveau af miljøbeskyttelse og forbedring af miljøkvaliteten
(b) de behandlede oplysninger skal være nødvendige for at opfylde et eller flere af
de krav, der er omhandlet i afsnit III, kapitel 2, såfremt disse krav ikke praktisk
kan opfyldes ved behandling af anonymiserede eller syntetiske oplysninger
eller andre oplysninger end personoplysninger
(c) der skal foreligge effektive overvågningsmekanismer til at konstatere, om der
kan opstå store risici for de registreredes grundlæggende rettigheder i
forbindelse med forsøgene i sandkassen, samt beredskabsmekanismer til straks
at afbøde disse risici og om nødvendigt standse behandlingen
(d) alle personoplysninger, der skal behandles i forbindelse med sandkassen, skal
befinde sig i et funktionelt adskilt, isoleret og beskyttet databehandlingsmiljø
under deltagernes kontrol, og kun autoriserede personer har adgang til disse
data
(e) de behandlede personoplysninger må ikke videregives, overføres eller på anden
måde tilgås af andre parter
(f) enhver behandling af personoplysninger i forbindelse med sandkassen må ikke
føre til foranstaltninger eller beslutninger, der berører de registrerede
(g) alle personoplysninger, der skal behandles i forbindelse med sandkassen, skal
slettes, når deltagelsen i sandboksen afsluttes, eller når opbevaringsperioden
for personoplysningerne udløber
(h) logfilerne over behandlingen af personoplysninger i forbindelse med
sandkassen opbevares under deltagelsen i sandkassen og 1 år efter dens ophør
udelukkende med henblik på og kun så længe, det er nødvendigt for at opfylde
ansvarligheds- og dokumentationsforpligtelserne i henhold til denne artikel
eller anden gældende EU-lovgivning eller national lovgivning
(i) der skal som en del af den tekniske dokumentation i bilag IV opbevares en
fuldstændig og detaljeret beskrivelse af processen og begrundelsen for
træningen, prøvningen og valideringen af AI-systemet sammen med
prøvningsresultaterne
DA 74 DA
(j) der skal på de kompetente myndigheders websted offentliggøres et kort resumé
af det AI-projekt, der er udviklet i sandkassen, dets mål og dets forventede
resultater.
2. Stk. 1 berører ikke Unionens eller medlemsstaternes lovgivning, der udelukker
behandling til andre formål end dem, der udtrykkeligt er nævnt i den pågældende
lovgivning.
Artikel 55
Foranstaltninger for mindre udbydere og brugere
1. Medlemsstaterne skal træffe følgende foranstaltninger:
(a) give mindre udbydere og nystartede virksomheder prioriteret adgang til de
reguleringsmæssige sandkasser for kunstig intelligens, i det omfang de
opfylder betingelserne for deltagelse deri
(b) organisere specifikke oplysningsaktiviteter, der er tilpasset mindre udbyderes
og brugeres behov, om anvendelsen af denne forordning
(c) etablere en særlig kommunikationskanal med mindre udbydere og brugere og
andre innovatorer, hvor det er relevant, for at yde vejledning og besvare
spørgsmål om gennemførelsen af denne forordning.
2. Der skal tages hensyn til de mindre udbyderes særlige interesser og behov ved
fastsættelsen af gebyrerne for overensstemmelsesvurdering i henhold til artikel 43,
idet gebyrerne nedsættes i forhold til deres størrelse og markedsstørrelse.
AFSNIT VI
FORVALTNING
KAPITEL 1
DET EUROPÆISKE UDVALG FOR KUNSTIG INTELLIGENS
Artikel 56
Oprettelse af Det Europæiske Udvalg for Kunstig Intelligens
1. Der oprettes et "Europæisk Udvalg for Kunstig Intelligens" ("udvalget").
2. Udvalget yder rådgivning og bistand til Kommissionen med henblik på at:
(a) bidrage til et effektivt samarbejde mellem de nationale tilsynsmyndigheder og
Kommissionen om anliggender, der er omfattet af denne forordning
(b) koordinere og bidrage til Kommissionens, de nationale tilsynsmyndigheders og
andre kompetente myndigheders vejledning og analyser vedrørende nye
spørgsmål i hele det indre marked med hensyn til anliggender, der er omfattet
af denne forordning
(c) bistå de nationale tilsynsmyndigheder og Kommissionen med at sikre en
ensartet anvendelse af denne forordning.
DA 75 DA
Artikel 57
Udvalgets struktur
1. Udvalget består af de nationale tilsynsmyndigheder, der repræsenteres af lederen
eller en tilsvarende embedsmand på højt plan i den pågældende myndighed, og Den
Europæiske Tilsynsførende for Databeskyttelse. Andre nationale myndigheder kan
indbydes til møderne, hvis de drøftede spørgsmål er relevante for dem.
2. Udvalget vedtager sin forretningsorden med simpelt flertal blandt medlemmerne med
Kommissionens samtykke. Forretningsordenen skal også indeholde de operationelle
aspekter i forbindelse med udførelsen af udvalgets opgaver som anført i artikel 58.
Udvalget kan efter behov nedsætte undergrupper med henblik på at behandle
specifikke spørgsmål.
3. Udvalgets formandskab varetages af Kommissionen. Kommissionen indkalder til
møderne og udarbejder dagsordenen i overensstemmelse med udvalgets opgaver i
henhold til denne forordning og dens forretningsorden. Kommissionen yder
administrativ og analytisk støtte til Udvalgets aktiviteter i henhold til denne
forordning.
4. Udvalget kan indbyde eksterne eksperter og observatører til at deltage i møderne og
kan udveksle synspunkter med interesserede tredjeparter for at oplyse om sine
aktiviteter i et passende omfang. Med henblik herpå kan Kommissionen lette
udvekslingen mellem udvalget og andre af Unionens organer, kontorer, agenturer og
rådgivende grupper.
Artikel 58
Udvalgets opgaver
Når Udvalget yder rådgivning og bistand til Kommissionen i forbindelse med artikel 56,
stk. 2, skal det navnlig:
(a) indsamle og udveksle ekspertise og bedste praksis blandt medlemsstaterne
(b) bidrage til en ensartet administrativ praksis i medlemsstaterne, herunder til driften af
reguleringsmæssige sandkasser, jf. artikel 53
(c) afgive udtalelser, henstillinger eller skriftlige bidrag om spørgsmål vedrørende
gennemførelsen af denne forordning, navnlig
i) om tekniske specifikationer eller eksisterende standarder vedrørende de i
afsnit III, kapitel 2, fastsatte krav
ii) om anvendelsen af harmoniserede standarder eller fælles specifikationer som
omhandlet i artikel 40 og 41
iii) om udarbejdelse af vejledende dokumenter, herunder retningslinjerne for
fastsættelse af administrative bøder, jf. artikel 71.
DA 76 DA
KAPITEL 2
NATIONALE KOMPETENTE MYNDIGHEDER
Artikel 59
Udpegelse af nationale kompetente myndigheder
1. Hver medlemsstat skal oprette eller udpege nationale kompetente myndigheder med
henblik på at sikre denne forordnings anvendelse og gennemførelse. De nationale
kompetente myndigheder skal være organiseret på en sådan måde, at der i deres
arbejde og opgaver sikres objektivitet og uvildighed.
2. Hver medlemsstat skal udpege en national tilsynsmyndighed blandt de nationale
kompetente myndigheder. Den nationale tilsynsmyndighed skal fungere som
bemyndigende myndighed og markedsovervågningsmyndighed, medmindre en
medlemsstat har organisatoriske og administrative grunde til at udpege mere end én
myndighed.
3. Medlemsstaterne skal underrette Kommissionen om deres udpegelse(r) og, hvor det
er relevant, om begrundelsen for at udpege mere end én myndighed.
4. Medlemsstaterne skal sikre, at de nationale kompetente myndigheder modtager
tilstrækkelige finansielle og menneskelige ressourcer til at udføre deres opgaver i
henhold til denne forordning. De nationale kompetente myndigheder skal navnlig
råde over et tilstrækkeligt antal medarbejdere på fast basis, hvis kompetencer og
ekspertise skal omfatte en indgående forståelse af AI-teknologier, data og
databehandling, grundlæggende rettigheder og sundheds- og sikkerhedsrisici samt
viden om gældende standarder og retlige krav.
5. Medlemsstaterne skal hvert år aflægge rapport til Kommissionen om status for de
nationale kompetente myndigheders finansielle og menneskelige ressourcer med en
vurdering af deres tilstrækkelighed. Kommissionen videresender disse oplysninger til
udvalget med henblik på drøftelse og eventuelle henstillinger.
6. Kommissionen letter udvekslingen af erfaringer mellem de nationale kompetente
myndigheder.
7. De nationale kompetente myndigheder kan yde vejledning og rådgivning om
gennemførelsen af denne forordning, herunder til mindre udbydere. Når de nationale
kompetente myndigheder agter at yde vejledning og rådgivning i forbindelse med et
AI-system på områder, der er omfattet af anden EU-lovgivning, skal de kompetente
nationale myndigheder høres i henhold til denne EU-lovgivning, hvis det er relevant.
Medlemsstaterne kan også oprette et centralt kontaktpunkt til kommunikation med
operatører.
8. I tilfælde hvor Unionens institutioner, agenturer og organer er omfattet af denne
forordning, fungerer Den Europæiske Tilsynsførende for Databeskyttelse som den
kompetente myndighed for tilsynet med dem.
DA 77 DA
AFSNIT VII
EU-DATABASE FOR SELVSTÆNDIGE HØJRISIKO-AI-SYSTEMER
Artikel 60
EU-database for selvstændige højrisiko-AI-systemer
1. Kommissionen opretter og vedligeholder i samarbejde med medlemsstaterne en EU-
database med de i stk. 2 omhandlede oplysninger vedrørende højrisiko-AI-systemer,
jf. artikel 6, stk. 2, som er registreret i overensstemmelse med artikel 51.
2. Udbyderne skal registrere de oplysninger, der er anført i bilag VIII, i EU-databasen.
Kommissionen yder dem teknisk og administrativ støtte.
3. Oplysningerne i EU-databasen skal være offentligt tilgængelige.
4. EU-databasen må kun indeholde personoplysninger i det omfang, det er nødvendigt
for at indsamle og behandle oplysninger i overensstemmelse med denne forordning.
Disse oplysninger omfatter navne og kontaktoplysninger på de fysiske personer, der
er ansvarlige for registrering af systemet og har retlig beføjelse til at repræsentere
udbyderen.
5. Kommissionen er dataansvarlig for EU-databasen. Den sikrer også, at udbyderne
modtager tilstrækkelig teknisk og administrativ støtte.
AFSNIT VIII
OVERVÅGNING EFTER OMSÆTNINGEN, UDVEKSLING AF
OPLYSNINGER OG MARKEDSOVERVÅGNING
KAPITEL 1
OVERVÅGNING EFTER OMSÆTNINGEN
Artikel 61
Udbydernes overvågning efter omsætningen og planer for overvågning efter omsætningen af
højrisiko-AI-systemer
1. Udbyderne skal oprette og dokumentere et system til overvågning efter omsætningen
på en måde, der står i et rimeligt forhold til AI-teknologiernes art og risiciene ved
højrisiko-AI-systemet.
2. Systemet til overvågning efter omsætningen skal aktivt og systematisk indsamle,
dokumentere og analysere relevante data, som brugerne afgiver, eller som indsamles
gennem andre kilder, om højrisiko-AI-systemers ydeevne i hele deres levetid og give
udbyderen mulighed for at evaluere AI-systemernes fortsatte overholdelse de i afsnit
III, kapitel 2, fastsatte krav.
3. Systemet til overvågning efter omsætningen skal baseres på en plan for overvågning
efter omsætningen. Planen for overvågning efter omsætningen skal være en del af
den tekniske dokumentation, jf. bilag IV. Kommissionen vedtager en
gennemførelsesretsakt om detaljerede bestemmelser om en model for planen for
overvågning efter omsætningen og listen over elementer, der skal indgå i planen.
DA 78 DA
4. For højrisiko-AI-systemer, der er omfattet af de retsakter, der er omhandlet i bilag II,
hvor der allerede er etableret et system og en plan for overvågning efter omsætningen
i henhold til denne lovgivning, skal de elementer, der er beskrevet i stk. 1, 2 og 3,
integreres i systemet og planen, hvor det er relevant.
Første afsnit finder også anvendelse på de i bilag III, punkt 5, litra b), omhandlede
højrisiko-AI-systemer, der bringes i omsætning eller tages i brug af kreditinstitutter,
der er reguleret ved direktiv 2013/36/EU.
KAPITEL 2
UDVEKSLING AF OPLYSNINGER OM HÆNDELSER OG FUNKTIONSFEJL
Artikel 62
Indberetning af alvorlige hændelser og funktionsfejl
1. Udbydere af højrisiko-AI-systemer, der bringes i omsætning på EU-markedet, skal
indberette enhver alvorlig hændelse eller funktionsfejl i forbindelse med disse
systemer, som udgør en misligholdelse af forpligtelser i henhold til den del af EU-
retten, der har til formål at beskytte de grundlæggende rettigheder, til
markedsovervågningsmyndighederne i de medlemsstater, hvor hændelsen eller
misligholdelsen fandt sted.
En sådan indberetning skal foretages umiddelbart efter, at udbyderen har fastslået en
årsagssammenhæng mellem AI-systemet og hændelsen eller funktionsfejlen eller
rimelig sandsynlighed for en sådan sammenhæng, og under alle omstændigheder
senest 15 dage efter, at udbyderne har fået kendskab til den alvorlige hændelse eller
funktionsfejlen.
2. Når markedsovervågningsmyndigheden modtager en indberetning vedrørende
misligholdelse af forpligtelser i henhold til den del af EU-retten, der har til formål at
beskytte de grundlæggende rettigheder, skal den underrette de nationale offentlige
myndigheder eller organer, der er omhandlet i artikel 64, stk. 3. Kommissionen
udarbejder særlig vejledning for at lette overholdelsen af forpligtelserne i stk. 1.
Denne vejledning udstedes senest 12 måneder efter denne forordnings ikrafttræden.
3. I forbindelse med de i bilag III, punkt 5, litra b), omhandlede højrisiko-AI-systemer,
der bringes i omsætning eller tages i brug af kreditinstitutter, der er reguleret ved
direktiv 2013/36/EU, og for højrisiko-AI-systemer, der er beregnet til at blive
anvendt som sikkerhedskomponenter i udstyr, eller som i selv er udstyr, der er
omfattet af forordning (EU) 2017/745 og forordning (EU) 2017/746, begrænses
indberetningen af alvorlige hændelser eller funktionsfejl til dem, der udgør en
misligholdelse af forpligtelser i henhold til den del af EU-retten, der har til formål at
beskytte de grundlæggende rettigheder.
DA 79 DA
KAPITEL 3
HÅNDHÆVELSE
Artikel 63
Markedsovervågning og kontrol af AI-systemer på EU-markedet
1. Forordning (EU) 2019/1020 finder anvendelse på AI-systemer, der er omfattet af
nærværende forordning. Med henblik på effektiv håndhævelse af nærværende
forordning gælder dog følgende:
(a) enhver henvisning til en erhvervsdrivende i henhold til forordning (EU)
2019/1020 skal forstås således, at den omfatter alle operatører, der er omfattet
af afsnit III, kapitel 3, i nærværende forordning
(b) enhver henvisning til et produkt i henhold til forordning (EU) 2019/1020 skal
forstås således, at den omfatter alle AI-systemer, der henhører under
nærværende forordnings anvendelsesområde.
2. Den nationale tilsynsmyndighed skal regelmæssigt aflægge rapport til
Kommissionen om resultaterne af relevante markedsovervågningsaktiviteter. Den
nationale tilsynsmyndighed skal straks indberette alle oplysninger, der er fremskaffet
i forbindelse med markedsovervågningsaktiviteter, og som kan være af potentiel
interesse for anvendelsen af EU-lovgivningen om konkurrenceregler, til
Kommissionen og de relevante nationale konkurrencemyndigheder.
3. For så vidt angår højrisiko-AI-systemer, som er knyttet til produkter, der er omfattet
af de i bilag II, afsnit A, opførte retsakter, er markedsovervågningsmyndigheden med
henblik på denne forordning den myndighed, der i henhold til disse retsakter er
ansvarlig for markedsovervågningsaktiviteter.
4. For så vidt angår AI-systemer, der bringes i omsætning, tages i brug eller anvendes
af finansielle institutioner, der er omfattet af EU-lovgivningen om finansielle
tjenesteydelser, er markedsovervågningsmyndigheden med henblik på denne
forordning den relevante myndighed, der i henhold til denne lovgivning er ansvarlig
for det finansielle tilsyn med disse institutioner.
5. For så vidt angår AI-systemer, der er anført i punkt 1, litra a), i det omfang
systemerne anvendes til retshåndhævelsesformål, jf. punkt 6 og 7 i bilag III, skal
medlemsstaterne med henblik på denne forordning udpege som
markedsovervågningsmyndigheder enten de kompetente datatilsynsmyndigheder i
henhold til direktiv (EU) 2016/680 eller forordning 2016/679 eller de nationale
kompetente myndigheder, der fører tilsyn med de retshåndhævelses-, indvandrings-
eller asylmyndigheder, der ibrugtager eller anvender disse systemer.
6. I tilfælde hvor Unionens institutioner, agenturer og organer er omfattet af denne
forordning, fungerer Den Europæiske Tilsynsførende for Databeskyttelse som deres
markedsovervågningsmyndighed.
7. Medlemsstaterne skal fremme koordineringen mellem
markedsovervågningsmyndigheder, der er udpeget i henhold til denne forordning, og
andre relevante nationale myndigheder eller organer, der fører tilsyn med
anvendelsen af den EU-harmoniseringslovgivning, der er opført i bilag II, eller anden
EU-lovgivning, der kan være relevant for de i bilag III omhandlede højrisiko-AI-
systemer.
DA 80 DA
Artikel 64
Adgang til oplysninger og dokumentation
1. I forbindelse med deres arbejde skal markedsovervågningsmyndighederne have fuld
adgang til de trænings-, validerings- og prøvningsdatasæt, der anvendes af
udbyderen, herunder via programmeringsgrænseflader for applikationer ("API'er")
eller andre passende tekniske midler og værktøjer, der muliggør fjernadgang.
2. Hvis det er nødvendigt for at vurdere, om højrisiko-AI-systemet er i
overensstemmelse med kravene i afsnit III, kapitel 2, skal
markedsovervågningsmyndighederne efter begrundet anmodning gives adgang til
kildekoden for AI-systemet.
3. Nationale offentlige myndigheder eller organer, der fører tilsyn med eller håndhæver
opfyldelsen af forpligtelser i henhold til EU-retten om beskyttelse af de
grundlæggende rettigheder i forbindelse med anvendelsen af højrisiko-AI-systemer,
jf. bilag III, har beføjelse til at anmode om og få adgang til al dokumentation, der er
udarbejdet eller opretholdt i henhold til denne forordning, hvis adgang til denne
dokumentation er nødvendig for udøvelsen af de beføjelser, der er omfattet af deres
mandat, inden for rammerne af deres jurisdiktion. Den relevante offentlige
myndighed eller det relevante offentlige organ skal underrette
markedsovervågningsmyndigheden i den pågældende medlemsstat om enhver sådan
anmodning.
4. Senest 3 måneder efter denne forordnings ikrafttræden skal hver medlemsstat
identificere de offentlige myndigheder eller organer, der er omhandlet i stk. 3, og
offentliggøre en liste på den nationale tilsynsmyndigheds websted. Medlemsstaterne
skal sende listen til Kommissionen og alle de øvrige medlemsstater og holde listen
ajour.
5. Hvis den i stk. 3 omhandlede dokumentation er utilstrækkelig til at fastslå, om der er
sket en misligholdelse af forpligtelser i henhold til den del af EU-retten, der har til
formål at beskytte de grundlæggende rettigheder, kan den offentlige myndighed eller
det offentlige organ, der er omhandlet i stk. 3, fremsætte en begrundet anmodning til
markedsovervågningsmyndigheden om at tilrettelægge prøvning af højrisiko-AI-
systemet ved hjælp af tekniske midler. Markedsovervågningsmyndigheden skal
tilrettelægge prøvningen med tæt inddragelse af den anmodende offentlige
myndighed eller det anmodende offentlige organ inden for rimelig tid efter
anmodningen.
6. Alle oplysninger og al dokumentation, som de i stk. 3 omhandlede nationale
offentlige myndigheder eller organer modtager i henhold til bestemmelserne i denne
artikel, skal behandles i overensstemmelse med tavshedspligten, jf. artikel 70.
Artikel 65
Procedure i tilfælde af AI-systemer, der udgør en risiko på nationalt plan
1. AI-systemer, der udgør en risiko, skal forstås som et produkt, der udgør en risiko,
som defineret i artikel 3, nr. 19), i forordning (EU) 2019/1020, for så vidt angår risici
for menneskers sundhed eller sikkerhed eller for beskyttelsen af personers
grundlæggende rettigheder.
2. Hvis en medlemsstats markedsovervågningsmyndighed har tilstrækkelig grund til at
antage, at et AI-system udgør en risiko som omhandlet i stk. 1, skal den foretage en
evaluering af det pågældende AI-system for så vidt angår dets opfyldelse af alle de
DA 81 DA
krav og forpligtelser, der er fastsat i denne forordning. Hvis der foreligger risici for
beskyttelsen af de grundlæggende rettigheder, skal
markedsovervågningsmyndigheden også underrette de relevante nationale offentlige
myndigheder eller organer, der er omhandlet i artikel 64, stk. 3. De relevante
operatører skal om nødvendigt samarbejde med
markedsovervågningsmyndighederne og de andre nationale offentlige myndigheder
eller organer, der er omhandlet i artikel 64, stk. 3.
Hvis markedsovervågningsmyndigheden i forbindelse med evalueringen konstaterer,
at AI-systemet ikke opfylder kravene og forpligtelserne i denne forordning, skal de
straks anmode den pågældende operatør om at træffe alle fornødne foranstaltninger
for at sørge for, at AI-systemet opfylder kravene og forpligtelserne, trække AI-
systemet tilbage fra markedet eller tilbagekalde det inden for en rimelig tidsfrist, som
de fastsætter i forhold til risikoens art.
Markedsovervågningsmyndigheden skal underrette det relevante bemyndigede organ
herom. Artikel 18 i forordning (EU) 2019/1020 finder anvendelse på de i andet afsnit
omhandlede foranstaltninger.
3. Hvis markedsovervågningsmyndigheden konstaterer, at den manglende opfyldelse af
kravene ikke er begrænset til medlemsstatens område, skal den underrette
Kommissionen og de øvrige medlemsstater om resultaterne af evalueringen og om de
tiltag, den har pålagt operatøren at iværksætte.
4. Operatøren skal sikre, at der træffes alle fornødne korrigerende foranstaltninger over
for alle de pågældende AI-systemer, som denne har gjort tilgængelige på markedet i
hele Unionen.
5. Hvis AI-systemets operatør ikke træffer de fornødne foranstaltninger inden for den
frist, der er omhandlet i stk. 2, skal markedsovervågningsmyndigheden træffe de
nødvendige foreløbige foranstaltninger for at forbyde eller begrænse AI-systemets
tilgængelighed på deres nationale markeder eller for at trække produktet tilbage fra
markedet eller kalde det tilbage. Den myndighed skal straks underrette
Kommissionen og de øvrige medlemsstater om sådanne foranstaltninger.
6. De i stk. 5 omhandlede oplysninger skal indeholde alle tilgængelige oplysninger,
særlig de nødvendige data til identifikation af det AI-system, der ikke opfylder
kravene, AI-systemets oprindelse, arten af den påståede manglende opfyldelse af
kravene og af den pågældende risiko, arten og varigheden af de trufne nationale
foranstaltninger samt de synspunkter, som den pågældende operatør har fremsat.
Markedsovervågningsmyndighederne skal navnlig oplyse, om den manglende
overensstemmelse med kravene skyldes et eller flere af følgende:
(a) AI-systemets manglende opfyldelse af kravene i afsnit III, kapitel 2
(b) mangler ved de harmoniserede standarder eller fælles specifikationer, der er
omhandlet i artikel 40 og 41, og som danner grundlag for
overensstemmelsesformodningen.
7. Markedsovervågningsmyndighederne i de andre medlemsstater end
markedsovervågningsmyndigheden i den medlemsstat, der har indledt proceduren,
skal straks underrette Kommissionen og de øvrige medlemsstater om de trufne
foranstaltninger og om yderligere oplysninger, som de måtte råde over, om det
pågældende AI-systems manglende opfyldelse af kravene og om deres indsigelser,
hvis de ikke er indforstået med den meddelte nationale foranstaltning.
DA 82 DA
8. Hvis der ikke inden for tre måneder efter modtagelsen af de i stk. 5 omhandlede
oplysninger er blevet gjort indsigelse af en medlemsstat eller Kommissionen mod en
foreløbig foranstaltning truffet af en medlemsstat, anses denne foranstaltning for at
være berettiget. Dette berører ikke den pågældende operatørs procedurerettigheder i
henhold til artikel 18 i forordning (EU) 2019/1020.
9. Markedsovervågningsmyndighederne i samtlige medlemsstater skal sikre, at der
straks træffes de fornødne restriktive foranstaltninger med hensyn til det pågældende
produkt, f.eks. tilbagetrækning af produktet fra deres marked.
Artikel 66
Beskyttelsesprocedure på EU-plan
1. Hvis en medlemsstat inden for tre måneder efter modtagelsen af den i artikel 65, stk.
5, omhandlede underretning har gjort indsigelse mod en foranstaltning truffet af en
anden medlemsstat, eller hvis Kommissionen finder, at foranstaltningen er i strid
med EU-retten, drøfter Kommissionen straks spørgsmålet med den relevante
medlemsstat og den eller de relevante operatører og evaluerer den nationale
foranstaltning. På grundlag af resultaterne af denne evaluering træffer Kommissionen
senest 9 måneder efter den i artikel 65, stk. 5, omhandlede underretning afgørelse
om, hvorvidt den nationale foranstaltning er berettiget eller ej, og meddeler den
pågældende medlemsstat denne afgørelse.
2. Hvis den nationale foranstaltning anses for at være berettiget, skal samtlige
medlemsstater træffe de nødvendige foranstaltninger for at sikre, at det AI-system,
der ikke opfylder kravene, trækkes tilbage fra deres marked, og underrette
Kommissionen herom. Hvis den nationale foranstaltning anses for ikke at være
berettiget, skal den pågældende medlemsstat trække foranstaltningen tilbage.
3. Hvis den nationale foranstaltning anses for at være berettiget, og hvis AI-systemets
manglende opfyldelse af kravene tilskrives mangler ved de harmoniserede standarder
eller fælles specifikationer som omhandlet i denne forordnings artikel 40 og 41,
anvender Kommissionen proceduren i artikel 11 i forordning (EU) nr. 1025/2012.
Artikel 67
AI-systemer, som opfylder kravene, men som udgør en risiko
1. Hvis en medlemsstats markedsovervågningsmyndighed efter at have foretaget en
vurdering i henhold til artikel 65 finder, at et AI-system, selv om det opfylder
kravene i denne forordning, udgør en risiko for menneskers sundhed eller sikkerhed,
for misligholdelse af forpligtelser i henhold til den del af EU-retten, der har til formål
at beskytte de grundlæggende rettigheder, eller for andre samfundsinteresser, skal
den pålægge den pågældende operatør at træffe alle nødvendige foranstaltninger for
at sikre, at det pågældende AI-system, når det bringes i omsætning eller tages i brug,
ikke længere udgør en risiko, eller for at trække AI-systemet tilbage fra markedet
eller kalde det tilbage inden for en rimelig tidsfrist, som den fastsætter i forhold til
risikoens art.
2. Udbyderen eller andre relevante operatører skal sikre, at der træffes korrigerende
foranstaltninger med hensyn til alle de pågældende AI-systemer, som de har gjort
tilgængelige på markedet i hele Unionen, inden for den tidsfrist, der er fastsat af
medlemsstatens markedsovervågningsmyndighed, jf. stk. 1.
DA 83 DA
3. Medlemsstaten skal straks underrette Kommissionen og de øvrige medlemsstater
herom. Denne underretning skal indeholde alle tilgængelige oplysninger, især de
nødvendige data til identifikation af de pågældende AI-systemer, AI-systemets
oprindelse og forsyningskæde, arten af den pågældende risiko og arten og varigheden
af de trufne nationale foranstaltninger.
4. Kommissionen drøfter straks spørgsmålet med medlemsstaterne og den pågældende
operatør og vurderer de trufne nationale foranstaltninger. På grundlag af resultaterne
af denne vurdering træffer Kommissionen afgørelse om, hvorvidt foranstaltningen er
berettiget eller ej, og foreslår om nødvendigt passende foranstaltninger.
5. Kommissionen retter sin afgørelse til medlemsstaterne.
Artikel 68
Formel manglende opfyldelse af kravene
1. Hvis en medlemsstats markedsovervågningsmyndighed konstaterer et af følgende
forhold, skal den pålægge den pågældende udbyder at bringe den manglende
opfyldelse af kravene til ophør:
(a) overensstemmelsesmærkningen er anbragt i modstrid med artikel 49
(b) der er ikke anbragt nogen overensstemmelsesmærkning
(c) der er ikke udarbejdet en EU-overensstemmelseserklæring
(d) EU-overensstemmelseserklæringen er ikke udarbejdet korrekt
(e) der er ikke anbragt noget identifikationsnummer for det bemyndigede organ,
der er involveret i overensstemmelsesvurderingsproceduren, hvor dette er
relevant.
2. Hvis der fortsat er tale om manglende opfyldelse af kravene som omhandlet i stk. 1,
skal den pågældende medlemsstat træffe alle nødvendige foranstaltninger for at
begrænse eller forbyde, at AI-systemet gøres tilgængeligt på markedet, eller sikre, at
det kaldes tilbage eller trækkes tilbage fra markedet.
AFSNIT IX
ADFÆRDSKODEKSER
Artikel 69
Adfærdskodekser
1. Kommissionen og medlemsstaterne tilskynder til og letter udarbejdelsen af
adfærdskodekser, der har til formål at fremme frivillig anvendelse af de i afsnit III,
kapitel 2, fastsatte krav på AI-systemer, der ikke er højrisiko-AI-systemer, på
grundlag af tekniske specifikationer og løsninger, der er egnede til at sikre
opfyldelsen af disse krav i lyset af systemernes tilsigtede formål.
2. Kommissionen og udvalget tilskynder til og letter udarbejdelsen af adfærdskodekser,
der har til formål at fremme frivillig anvendelse af krav vedrørende f.eks.
miljømæssig bæredygtighed, tilgængelighed for personer med handicap,
interessenters deltagelse i udformningen og udviklingen af AI-systemerne og
mangfoldighed blandt udviklingsteams på grundlag af klare mål og centrale
resultatindikatorer til måling af realiseringen af disse mål.
DA 84 DA
3. Adfærdskodekser kan udarbejdes af individuelle udbydere af AI-systemer, af
organisationer, der repræsenterer dem, eller af begge, herunder med inddragelse af
brugere og eventuelle interesserede parter og deres repræsentative organisationer.
Adfærdskodekser kan omfatte et eller flere AI-systemer under hensyntagen til
ligheden mellem de relevante systemers tilsigtede formål.
4. Når Kommissionen og udvalget tilskynder til og letter udarbejdelsen af
adfærdskodekser, tager de hensyn til de mindre udbyderes og nystartede
virksomheders særlige interesser og behov.
AFSNIT X
TAVSHEDSPLIGT OG SANKTIONER
Artikel 70
Tavshedspligt
1. De nationale kompetente myndigheder og bemyndigede organer, der er involveret i
anvendelsen af denne forordning, skal overholde tavshedspligten for oplysninger og
data, der indhentes under udførelsen af deres opgaver og arbejde, på en sådan måde,
at de navnlig beskytter:
(a) intellektuelle ejendomsrettigheder og fysiske eller juridiske personers fortrolige
forretningsoplysninger eller forretningshemmeligheder, herunder kildekode,
med undtagelse af de tilfælde, der er omhandlet i artikel 5 i direktiv 2016/943
om beskyttelse af fortrolig knowhow og fortrolige forretningsoplysninger
(forretningshemmeligheder) mod ulovlig erhvervelse, brug og videregivelse
(b) den effektive gennemførelse af denne forordning, navnlig for så vidt angår
inspektioner, undersøgelser eller audit) offentlige og nationale
sikkerhedsinteresser
(c) strafferetlige eller administrative procedurers integritet.
2. Uden at berører stk. 1, må oplysninger, der udveksles fortroligt mellem de nationale
kompetente myndigheder og mellem de nationale kompetente myndigheder og
Kommissionen, ikke videregives uden forudgående høring af den oprindelige
nationale kompetente myndighed og brugeren, i tilfælde hvor højrisiko-AI-systemer
som omhandlet i bilag III, punkt 1, 6 og 7, anvendes af retshåndhævende
myndigheder, indvandringsmyndigheder eller asylmyndigheder, hvis en sådan
videregivelse ville bringe offentlige og nationale sikkerhedsinteresser i fare.
I tilfælde hvor de retshåndhævende myndigheder, indvandringsmyndighederne eller
asylmyndighederne er udbydere af højrisiko-AI-systemer, jf. bilag III, punkt 1, 6 og
7, skal den tekniske dokumentation, der er omhandlet i bilag IV, forblive hos disse
myndigheder. Disse myndigheder skal sikre, at de
markedsovervågningsmyndigheder, der er omhandlet i artikel 63, stk. 5 og 6, alt efter
hvad der er relevant, efter anmodning straks kan få adgang til dokumentationen eller
få en kopi heraf. Kun det af markedsovervågningsmyndighedens personale, der har et
passende sikkerhedsgodkendelsesniveau, må få adgang til dokumentationen eller en
kopi heraf.
3. Stk. 1 og 2 berører ikke Kommissionens, medlemsstaternes og de bemyndigede
organers rettigheder og forpligtelser med hensyn til udveksling af oplysninger og
DA 85 DA
udsendelse af advarsler eller de berørte parters forpligtelse til at afgive oplysninger
inden for rammerne af medlemsstaternes straffelovgivning.
4. Kommissionen og medlemsstaterne kan om nødvendigt udveksle fortrolige
oplysninger med reguleringsmyndigheder i tredjelande, med hvilke de har indgået
bilaterale eller multilaterale aftaler om fortrolighed, der garanterer en tilstrækkelig
grad af fortrolighed.
Artikel 71
Sanktioner
1. I overensstemmelse med de vilkår og betingelser, der er fastsat i denne forordning,
skal medlemsstaterne fastsætte regler om sanktioner, herunder administrative bøder,
for overtrædelse af denne forordning og træffe alle nødvendige foranstaltninger for at
sikre, at de gennemføres korrekt og effektivt. Sanktionerne skal være effektive, stå i
et rimeligt forhold til overtrædelsen og have afskrækkende virkning. Der skal navnlig
tages hensyn til mindre udbyderes og nystartede virksomheders interesser og deres
økonomiske levedygtighed.
2. Medlemsstaterne skal give Kommissionen meddelelse om disse regler og
foranstaltninger og skal straks underrette den om senere ændringer, der berører dem.
3. Følgende overtrædelser skal straffes med administrative bøder på op til
30 000 000 EUR eller, hvis gerningsmanden er en virksomhed, op til 6 % af dens
samlede globale årsomsætning i det foregående regnskabsår, alt efter hvilket beløb
der er størst:
(a) manglende overholdelse af forbuddet mod de i artikel 5 anførte former for
praksis med hensyn til kunstig intelligens
(b) AI-systemets manglende opfyldelse af kravene i artikel 10.
4. AI-systemets manglende opfyldelse af ethvert krav eller enhver forpligtelse i henhold
til denne forordning, bortset fra kravene i artikel 5 og 10, skal straffes med
administrative bøder på op til 20 000 000 EUR eller, hvis lovovertræderen er en
virksomhed, op til 4 % af dens samlede globale årlige omsætning i det foregående
regnskabsår, alt efter hvilket beløb der er størst.
5. Afgivelse af ukorrekte, ufuldstændige eller vildledende oplysninger til bemyndigede
organer og nationale kompetente myndigheder som svar på en anmodning skal
straffes med administrative bøder på op til 10 000 000 EUR eller, hvis
lovovertræderen er en virksomhed, op til 2 % af dens samlede globale årlige
omsætning i det foregående regnskabsår, alt efter hvilket beløb der er størst.
6. Ved fastsættelsen af den administrative bødes størrelse skal der i hvert enkelt tilfælde
tages hensyn til alle relevante omstændigheder i den specifikke situation, og der skal
tages behørigt hensyn til følgende:
(a) overtrædelsens art, grovhed og varighed samt dens konsekvenser
(b) hvorvidt andre markedsovervågningsmyndigheder allerede har pålagt den
samme operatør administrative bøder for samme overtrædelse
(c) størrelsen på den operatør, der har begået overtrædelsen, og dens
markedsandel.
DA 86 DA
7. Hver medlemsstat skal fastsætte regler om, hvorvidt og i hvilket omfang
administrative bøder må pålægges offentlige myndigheder og organer, der er
etableret i den pågældende medlemsstat.
8. Afhængigt af medlemsstaternes retssystem kan reglerne om administrative bøder
anvendes på en sådan måde, at bøderne pålægges af kompetente nationale domstole
eller andre organer, alt efter hvad der er relevant i disse medlemsstater. Anvendelsen
af disse regler i disse medlemsstater har tilsvarende virkning.
Artikel 72
Administrative bøder til Unionens institutioner, agenturer og organer
1. Den Europæiske Tilsynsførende for Databeskyttelse kan pålægge de af Unionens
institutioner, agenturer og organer, der er omfattet af denne forordnings
anvendelsesområde, administrative bøder. Når der træffes afgørelse om, hvorvidt der
skal pålægges en administrativ bøde, og ved fastsættelsen af den administrative
bødes størrelse skal der i hvert enkelt tilfælde tages hensyn til alle relevante
omstændigheder i den specifikke situation, og der skal tages behørigt hensyn til
følgende:
(a) overtrædelsens art, grovhed og varighed samt dens konsekvenser
(b) samarbejdet med Den Europæiske Tilsynsførende for Databeskyttelse med
henblik på at afhjælpe overtrædelsen og afbøde de mulige negative virkninger
af overtrædelsen, herunder overholdelse af enhver af de foranstaltninger, som
Den Europæiske Tilsynsførende for Databeskyttelse tidligere har pålagt den
eller det pågældende af Unionens institutioner, agenturer eller organer med
hensyn til samme genstand
(c) eventuelle lignende overtrædelser, som den eller det pågældende af Unionens
institutioner, agenturer eller organer tidligere har begået.
2. Der pålægges administrative bøder på op til 500 000 EUR for følgende
overtrædelser:
(a) manglende overholdelse af forbuddet mod de i artikel 5 anførte former for
praksis med hensyn til kunstig intelligens
(b) AI-systemets manglende opfyldelse af kravene i artikel 10.
3. AI-systemets manglende opfyldelse af ethvert krav eller enhver forpligtelse i henhold
til denne forordning, bortset fra kravene i artikel 5 og 10, skal straffes med
administrative bøder på op til 250 000 EUR.
4. Inden der træffes afgørelse i henhold til denne artikel, giver Den Europæiske
Tilsynsførende for Databeskyttelse den eller det af Unionens institutioner, agenturer
eller organer, der er genstand for de procedurer, som gennemføres af Den
Europæiske Tilsynsførende for Databeskyttelse, muligheden for at blive hørt om
genstanden for den mulige overtrædelse. Den Europæiske Tilsynsførende for
Databeskyttelse baserer udelukkende sine afgørelser på elementer og forhold, som de
berørte parter har haft mulighed for at fremsætte bemærkninger til. Eventuelle
klagere inddrages i vid udstrækning i proceduren.
5. De deltagende parters ret til forsvar skal sikres fuldt ud i procedureforløbet. De har
ret til aktindsigt i Den Europæiske Tilsynsførende for Databeskyttelses sagsakter
DA 87 DA
med forbehold af fysiske personers eller virksomheders berettigede interesse i at
beskytte deres personoplysninger eller forretningshemmeligheder.
6. Midler, der er indsamlet ved pålæg af bøder som omhandlet i denne artikel, tilfalder
Unionens almindelige budget.
AFSNIT XI
DELEGATION AF BEFØJELSER OG UDVALGSPROCEDURE
Artikel 73
Udøvelse af de delegerede beføjelser
1. Beføjelsen til at vedtage delegerede retsakter tillægges Kommissionen på de i denne
artikel fastlagte betingelser.
2. Den i artikel 4, artikel 7, stk. 1, artikel 11, stk. 3, artikel 43, stk. 5 og 6, og artikel 48,
stk. 5, omhandlede delegation af beføjelser tillægges Kommissionen for en
ubegrænset periode fra [datoen for denne forordnings ikrafttræden].
3. Den i artikel 4, artikel 7, stk. 1, artikel 11, stk. 3, artikel 43, stk. 5 og 6, og artikel 48,
stk. 5, omhandlede delegation af beføjelser kan til enhver tid tilbagekaldes af
Europa-Parlamentet eller Rådet. En afgørelse om tilbagekaldelse bringer
delegationen af de beføjelser, der er angivet i den pågældende afgørelse, til ophør.
Den får virkning dagen efter offentliggørelsen af afgørelsen i Den Europæiske
Unions Tidende eller på et senere tidspunkt, der angives i afgørelsen. Den berører
ikke gyldigheden af delegerede retsakter, der allerede er i kraft.
4. Så snart Kommissionen vedtager en delegeret retsakt, giver den samtidigt Europa-
Parlamentet og Rådet meddelelse herom.
5. Enhver delegeret retsakt vedtaget i henhold til artikel 4, artikel 7, stk. 1, artikel 11,
stk. 3, artikel 43, stk. 5 og 6, og artikel 48, stk. 5, træder kun i kraft, hvis hverken
Europa-Parlamentet eller Rådet har gjort indsigelse inden for en frist på tre måneder
fra underretningen om den pågældende retsakt til Europa-Parlamentet og Rådet, eller
hvis Europa-Parlamentet og Rådet inden udløbet af denne frist begge har informeret
Kommissionen om, at de ikke agter at gøre indsigelse. Fristen forlænges med tre
måneder på Europa-Parlamentets eller Rådets initiativ.
Artikel 74
Udvalgsprocedure
1. Kommissionen bistås af et udvalg. Dette udvalg er et udvalg som omhandlet i
forordning (EU) nr. 182/2011.
2. Når der henvises til dette stykke, finder artikel 5 i forordning (EU) nr. 182/2011
anvendelse.
DA 88 DA
AFSNIT XII
AFSLUTTENDE BESTEMMELSER
Artikel 75
Ændring af forordning (EF) nr. 300/2008
I artikel 4, stk. 3, i forordning (EF) nr. 300/2008, tilføjes følgende afsnit:
"Når der vedtages detaljerede foranstaltninger vedrørende tekniske specifikationer og
procedurer for godkendelse og brug af sikkerhedsudstyr vedrørende systemer med kunstig
intelligens, jf. definitionen i Europa-Parlamentets og Rådets forordning (EU) YYY/XX [om
kunstig intelligens]*, skal der tages hensyn til kravene i afsnit III, kapitel 2, i nævnte
forordning."
__________
* Forordning (EU) YYY/XX [om kunstig intelligens] (EUT ...)."
Artikel 76
Ændring af forordning (EU) nr. 167/2013
I artikel 17, stk. 5, i forordning (EU) nr. 167/2013 tilføjes følgende afsnit:
"Når der i henhold til første afsnit vedtages delegerede retsakter vedrørende systemer med
kunstig intelligens, som er sikkerhedskomponenter, jf. definitionen i Europa-Parlamentets og
Rådets forordning (EU) YYY/XX [om kunstig intelligens]*, skal der tages hensyn til kravene
i afsnit III, kapitel 2, i nævnte forordning.
__________
* Forordning (EU) YYY/XX [om kunstig intelligens] (EUT ...)."
Artikel 77
Ændring af forordning (EU) nr. 168/2013
I artikel 22, stk. 5, i forordning (EU) nr. 168/2013 tilføjes følgende afsnit:
"Når der i henhold til første afsnit vedtages delegerede retsakter vedrørende systemer med
kunstig intelligens, som er sikkerhedskomponenter, jf. definitionen i Europa-Parlamentets og
Rådets forordning (EU) YYY/XX [om kunstig intelligens]*, skal der tages hensyn til kravene
i afsnit III, kapitel 2, i nævnte forordning.
__________
* Forordning (EU) YYY/XX [om kunstig intelligens] (EUT ...)."
Artikel 78
Ændring af direktiv 2014/90/EU
I artikel 8 i direktiv 2014/90/EU tilføjes følgende stykke:
"4. For så vidt angår systemer med kunstig intelligens, som er sikkerhedskomponenter, jf.
definitionen i Europa-Parlamentets og Rådets forordning (EU) YYY/XX [om kunstig
intelligens]*, tager Kommissionen, når den udfører sine aktiviteter i henhold til stk. 1, og når
DA 89 DA
den vedtager tekniske specifikationer og prøvningsstandarder i overensstemmelse med stk. 2
og 3, hensyn til kravene i afsnit III, kapitel 2, i nævnte forordning.
__________
* Forordning (EU) YYY/XX [om kunstig intelligens] (EUT ...).".
Artikel 79
Ændring af direktiv (EU) 2016/797
I artikel 5 i direktiv (EU) 2016/797 tilføjes følgende stykke:
"12. Når der i henhold til stk. 1 vedtages delegerede retsakter eller i henhold til stk. 11
vedtages gennemførelsesretsakter vedrørende systemer med kunstig intelligens, som er
sikkerhedskomponenter, jf. definitionen i Europa-Parlamentets og Rådets forordning (EU)
YYY/XX [om kunstig intelligens]*, skal der tages hensyn til kravene i afsnit III, kapitel 2, i
nævnte forordning.
__________
* Forordning (EU) YYY/XX [om kunstig intelligens] (EUT ...).".
Artikel 80
Ændring af forordning (EU) 2018/858
I artikel 5 i forordning (EU) 2018/858 tilføjes følgende stykke:
"4. Når der i henhold til stk. 3 vedtages delegerede retsakter vedrørende systemer med kunstig
intelligens, som er sikkerhedskomponenter, jf. definitionen i Europa-Parlamentets og Rådets
forordning (EU) YYY/XX [om kunstig intelligens]*, skal der tages hensyn til kravene i afsnit
III, kapitel 2, i nævnte forordning.
__________
* Forordning (EU) YYY/XX [om kunstig intelligens] (EUT ...).".
Artikel 81
Ændring af forordning (EU) 2018/1139
I forordning (EU) 2018/1139 foretages følgende ændringer:
1. I artikel 17 tilføjes følgende stykke:
"3. Uden at det berører stk. 2, når der i henhold til stk. 1 vedtages gennemførelsesretsakter
vedrørende systemer med kunstig intelligens, som er sikkerhedskomponenter, jf. definitionen
i Europa-Parlamentets og Rådets forordning (EU) YYY/XX [om kunstig intelligens]*, skal
der tages hensyn til kravene i afsnit III, kapitel 2, i nævnte forordning.
__________
* Forordning (EU) YYY/XX [om kunstig intelligens] (EUT ...)."
2. I artikel 19 tilføjes følgende stykke:
"4. Når der i henhold til stk. 1 og 2 vedtages delegerede retsakter vedrørende systemer med
kunstig intelligens, som er sikkerhedskomponenter, jf. definitionen i forordning (EU)
YYY/XX [om kunstig intelligens], skal der tages hensyn til kravene i afsnit III, kapitel 2, i
nævnte forordning."
DA 90 DA
3. I artikel 43 tilføjes følgende stykke:
"4. Når der i henhold til stk. 1 vedtages gennemførelsesretsakter vedrørende systemer med
kunstig intelligens, som er sikkerhedskomponenter, jf. definitionen i forordning (EU)
YYY/XX [om kunstig intelligens], skal der tages hensyn til kravene i afsnit III, kapitel 2, i
nævnte forordning."
4. I artikel 47 tilføjes følgende stykke:
"3. Når der i henhold til stk. 1 og 2 vedtages delegerede retsakter vedrørende systemer med
kunstig intelligens, som er sikkerhedskomponenter, jf. definitionen i forordning (EU)
YYY/XX [om kunstig intelligens], skal der tages hensyn til kravene i afsnit III, kapitel 2, i
nævnte forordning."
5. I artikel 57 tilføjes følgende stykke:
"Når der vedtages sådanne gennemførelsesretsakter vedrørende systemer med kunstig
intelligens, som er sikkerhedskomponenter, jf. definitionen i forordning (EU) YYY/XX [om
kunstig intelligens], skal der tages hensyn til kravene i afsnit III, kapitel 2, i nævnte
forordning."
6. I artikel 58 tilføjes følgende stykke:
"3. Når der i henhold til stk. 1 og 2 vedtages delegerede retsakter vedrørende systemer med
kunstig intelligens, som er sikkerhedskomponenter, jf. definitionen i forordning (EU)
YYY/XX [om kunstig intelligens], skal der tages hensyn til kravene i afsnit III, kapitel 2, i
nævnte forordning.".
Artikel 82
Ændring af forordning (EU) 2019/2144
I artikel 11 i forordning (EU) 2019/2144 tilføjes følgende stykke:
"3. "Når der i henhold til stk. 2 vedtages gennemførelsesretsakter vedrørende systemer med
kunstig intelligens, som er sikkerhedskomponenter, jf. definitionen i Europa-Parlamentets og
Rådets forordning (EU) YYY/XX [om kunstig intelligens]*, skal der tages hensyn til kravene
i afsnit III, kapitel 2, i nævnte forordning.
__________
* Forordning (EU) YYY/XX [om kunstig intelligens] (EUT ...).".
Artikel 83
AI-systemer, der allerede er bragt i omsætning eller taget i brug
1. Denne forordning finder ikke anvendelse på AI-systemer, som er komponenter i de
store IT-systemer, der er oprettet ved de retsakter, der er opført i bilag IX, og som er
blevet bragt i omsætning eller taget i brug før den [12 måneder efter datoen for
denne forordnings anvendelse, jf. artikel 85, stk. 2], medmindre erstatning eller
ændring af disse retsakter medfører en væsentlig ændring af det eller de pågældende
AI-systemers design eller tilsigtede formål.
De krav, der er fastsat i denne forordning, skal, hvor det er relevant, tages i
betragtning ved den evaluering, som skal foretages i henhold til de retsakter, der er
opført i bilag IX, af hvert af de store IT-systemer, der er oprettet ved disse respektive
retsakter.
DA 91 DA
2. Denne forordning finder kun anvendelse på andre højrisiko-AI-systemer end dem,
der er omhandlet i stk. 1, og som er bragt i omsætning eller taget i brug inden den
[datoen for denne forordnings anvendelse, jf. artikel 85, stk. 2], hvis disse systemer
fra denne dato er genstand for betydelige ændringer af deres design eller tilsigtede
formål.
Artikel 84
Evaluering og revision
1. Kommissionen vurderer behovet for at ændre listen i bilag III en gang om året efter
denne forordnings ikrafttræden.
2. Senest [tre år efter datoen for denne forordnings anvendelse, jf. artikel 85, stk. 2] og
hvert fjerde år derefter forelægger Kommissionen Europa-Parlamentet og Rådet en
rapport om evaluering og revision af denne forordning. Rapporterne offentliggøres.
3. I de i stk. 2 omhandlede rapporter lægges der særlig vægt på følgende:
(a) status over de nationale kompetente myndigheders finansielle og menneskelige
ressourcer med henblik på effektivt at udføre de opgaver, de pålægges i
henhold til denne forordning
(b) status over de sanktioner og navnlig de administrative bøder, der er omhandlet
i artikel 71, stk. 1, som medlemsstaterne har pålagt som følge af overtrædelser
af bestemmelserne i denne forordning.
4. Senest [tre år efter datoen for denne forordnings anvendelse, jf. artikel 85, stk. 2] og
hvert fjerde år derefter evaluerer Kommissionen virkningen og effektiviteten af
adfærdskodekser med henblik på at fremme anvendelsen af kravene i afsnit III,
kapitel 2, og eventuelt andre yderligere krav til andre AI-systemer end højrisiko-AI-
systemer.
5. Med henblik på stk. 1-4 indgiver udvalget, medlemsstaterne og de nationale
kompetente myndigheder oplysninger til Kommissionen på dennes anmodning.
6. Når Kommissionen foretager evaluering og revision, jf. stk. 1-4, tager den hensyn til
holdninger og resultater fra udvalget, fra Europa-Parlamentet, fra Rådet og fra andre
relevante organer eller kilder.
7. Kommissionen forelægger om nødvendigt relevante forslag til ændring af denne
forordning, navnlig under hensyntagen til den teknologiske udvikling og i lyset af
fremskridtene i informationssamfundet.
Artikel 85
Ikrafttræden og anvendelse
1. Denne forordning træder i kraft på tyvendedagen efter offentliggørelsen i Den
Europæiske Unions Tidende.
2. Denne forordning anvendes fra [24 måneder efter forordningens ikrafttræden].
3. Uanset stk. 2:
(a) anvendes afsnit III, kapitel 4, og afsnit VI fra den [tre måneder efter denne
forordnings ikrafttræden]
(b) anvendes artikel 71 fra den [12 måneder efter denne forordnings ikrafttræden].
DA 92 DA
Denne forordning er bindende i alle enkeltheder og gælder umiddelbart i hver medlemsstat.
Udfærdiget i Bruxelles, den […].
På Europa-Parlamentets vegne På Rådets vegne
Formand Formand
DA 93 DA
FINANSIERINGSOVERSIGT
1. FORSLAGETS/INITIATIVETS RAMME
1.1. Forslagets/initiativets betegnelse
1.2. Berørt(e) politikområde(r)
1.3. Forslaget/initiativet vedrører
1.4. Mål
1.4.1. Generelt/generelle mål
1.4.2. Specifikt/specifikke mål
1.4.3. Forventet/forventede resultat(er) og virkning(er)
1.4.4. Resultatindikatorer
1.5. Begrundelse for forslaget/initiativet
1.5.1. Behov, der skal opfyldes på kort eller lang sigt, herunder en detaljeret tidsplan
for iværksættelsen af initiativet
1.5.2. Merværdien ved et EU-tiltag (f.eks. som følge af koordineringsfordele,
retssikkerhed, større effekt eller komplementaritet). Ved "merværdien ved et EU-
tiltag" forstås her merværdien af EU's intervention i forhold til den værdi, som
medlemsstaterne ville have skabt enkeltvis
1.5.3. Erfaringer fra tidligere foranstaltninger af lignende art
1.5.4. Forenelighed med den flerårige finansielle ramme og mulige synergivirkninger
med andre relevante instrumenter
1.5.5 Vurdering af de forskellige finansieringsmuligheder, der er til rådighed,
herunder muligheden for omfordeling
1.6. Forslagets/initiativets varighed og finansielle virkninger
1.7. Planlagt(e) forvaltningsmetode(r)
2. FORVALTNINGSFORANSTALTNINGER
2.1. Bestemmelser om overvågning og rapportering
2.2. Forvaltnings- og kontrolsystem
2.2.1. Begrundelse for den/de foreslåede forvaltningsmetode(r),
finansieringsmekanisme(r), betalingsvilkår og kontrolstrategi
2.2.2. Oplysninger om de konstaterede risici og det/de interne kontrolsystem(er), der
etableres for at afbøde dem
2.2.3. Vurdering af og begrundelse for kontrolforanstaltningernes
omkostningseffektivitet (forholdet mellem kontrolomkostningerne og værdien af de
forvaltede midler) samt vurdering af den forventede risiko for fejl (ved betaling og
ved afslutning)
DA 94 DA
2.3. Foranstaltninger til forebyggelse af svig og uregelmæssigheder
3. FORSLAGETS/INITIATIVETS ANSLÅEDE FINANSIELLE VIRKNINGER
3.1. Berørt(e) udgiftsområde(r) i den flerårige finansielle ramme og udgiftspost(er)
på budgettet
3.2. Forslagets anslåede finansielle virkninger for bevillingerne
3.2.1. Sammenfatning af de anslåede virkninger for aktionsbevillingerne
3.2.2. Anslåede resultater finansieret med aktionsbevillinger
3.2.3. Sammenfatning af de anslåede virkninger for administrationsbevillingerne
3.2.4. Forenelighed med indeværende flerårige finansielle ramme
3.2.5. Bidrag fra tredjemand
3.3. Anslåede virkninger for indtægterne
DA 95 DA
FINANSIERINGSOVERSIGT
1. FORSLAGETS/INITIATIVETS RAMME
1.1. Forslagets/initiativets betegnelse
Europa-Parlamentets og Rådets forordning om harmoniserede regler for kunstig
intelligens (retsakten om kunstig intelligens) og om ændring af visse af Unionens
lovgivningsmæssige retsakter
1.2. Berørt(e) politikområde(r)
Kommunikationsnet, Indhold og Teknologi
Det Indre Marked, Erhvervspolitik, Iværksætteri og SMV'er
De budgetmæssige konsekvenser vedrører de nye opgaver, som Kommissionen har
fået overdraget, herunder støtte til Det Europæiske Udvalg for Kunstig Intelligens
Aktivitet: Europas digitale fremtid i støbeskeen
1.3. Forslaget/initiativet vedrører
X en ny foranstaltning
 en ny foranstaltning som opfølgning på et pilotprojekt/en forberedende
foranstaltning64
 en forlængelse af en eksisterende foranstaltning
 omlægning af en foranstaltning til en ny foranstaltning
1.4. Mål
1.4.1. Generelt/generelle mål
Det overordnede mål med tiltaget er at sikre et velfungerende indre marked ved at
skabe gunstige betingelser for udvikling og anvendelse af pålidelig kunstig
intelligens i Unionen.
1.4.2. Specifikt/specifikke mål
Specifikt mål nr. 1
At fastsætte krav, der er specifikke for AI-systemer, og forpligtelser for alle deltagere
i værdikæden for at sikre, at AI-systemer, der bringes i omsætning og tages i brug, er
sikre og overholder den gældende lovgivning om grundlæggende rettigheder og
Unionens værdier
Specifikt mål nr. 2
At sikre retssikkerhed for at fremme investeringer og innovation inden for kunstig
intelligens ved at gøre det klart, hvilke væsentlige krav, forpligtelser samt
overensstemmelses- og overholdelsesprocedurer der skal følges for at bringe et AI-
system i omsætning eller tage det i brug på EU-markedet
Specifikt mål nr. 3
64
Jf. finansforordningens artikel 54, stk. 2, litra a) hhv. b).
DA 96 DA
At forbedre forvaltningen og den effektive håndhævelse af den eksisterende
lovgivning om grundlæggende rettigheder og sikkerhedskrav, der gælder for AI-
systemer, ved at give relevante myndigheder nye beføjelser og ressourcer samt klare
regler om overensstemmelsesvurderingsprocedurer, efterfølgende
overvågningsprocedurer og fordelingen af forvaltnings- og tilsynsopgaver på hhv.
nationalt niveau og EU-plan
Specifikt mål nr. 4
At lette udviklingen af et indre marked for lovlige, sikre og pålidelige AI-
anvendelser og forhindre markedsfragmentering ved at træffe EU-foranstaltninger
for at fastsætte minimumskrav for AI-systemer, der skal bringes i omsætning og
tages i brug på EU-markedet i overensstemmelse med gældende lovgivning om
grundlæggende rettigheder og sikkerhed.
1.4.3. Forventet/forventede resultat(er) og virkning(er)
Angiv, hvilke virkninger forslaget/initiativet forventes at få for modtagerne/målgrupperne.
Udbydere af kunstig intelligens bør nyde godt af et minimalt, men klart sæt krav, der
skaber retssikkerhed og sikrer adgang til hele det indre marked.
Brugerne af AI-systemer bør have retssikkerhed for, at de AI-systemer, de køber,
overholder europæiske love og værdier.
Forbrugerne bør nyde godt af en mindre risiko for trusler mod deres sikkerhed og
krænkelser af deres grundlæggende rettigheder.
1.4.4. Resultatindikatorer
Angiv indikatorerne til kontrol af forslagets/initiativets gennemførelse.
Indikator 1
Antal alvorlige hændelser eller handlinger udført af AI-systemer, som udgør
alvorlige hændelser eller misligholdelse af forpligtelserne vedrørende de
grundlæggende rettigheder, opgjort (halvårligt) efter anvendelsesområde og beregnet
a) i absolutte tal, b) som andel pr. iværksat anvendelse og c) som andel pr. berørt
borger.
Indikator 2
a) AI-investeringer i alt i EU (på årsbasis)
b) AI-investeringer i alt pr. medlemsstat (på årsbasis)
c) andel af virksomheder, der anvender kunstig intelligens (på årsbasis)
d) andel af SMV'er, der anvender kunstig intelligens (på årsbasis)
a) og b) beregnes på grundlag af officielle kilder og benchmarks i forhold til private
overslag
c) og d) fastslås ved regelmæssige virksomhedsundersøgelser
DA 97 DA
1.5. Begrundelse for forslaget/initiativet
1.5.1. Behov, der skal opfyldes på kort eller lang sigt, herunder en detaljeret tidsplan for
iværksættelsen af initiativet
Forordningen bør finde fuld anvendelse halvandet år efter vedtagelsen. Elementer i
forvaltningsstrukturen bør dog være på plads inden da. Medlemsstaterne skal navnlig
have udpeget eksisterende myndigheder og/eller oprettet nye myndigheder til at
udføre de i den ovenstående lovgivning omhandlede opgaver, og Det Europæiske
Udvalg for Kunstig Intelligens bør oprettes og være funktionsdygtigt. På det
tidspunkt, hvor den europæiske database over AI-systemer finder anvendelse, bør
databasen være fuldt ud funktionel. Parallelt med vedtagelsesprocessen er det derfor
nødvendigt at udvikle databasen, således at dens udvikling er afsluttet, når
forordningen træder i kraft.
1.5.2. Merværdien ved et EU-tiltag (f.eks. som følge af koordineringsfordele, retssikkerhed,
større effekt eller komplementaritet). Ved "merværdien ved et EU-tiltag" forstås her
merværdien af EU's intervention i forhold til den værdi, som medlemsstaterne ville
have skabt enkeltvis
Et kludetæppe af potentielt divergerende nationale regler vil forhindre et
gnidningsløst udbud af AI-systemer i hele EU og vil være ineffektivt med hensyn til
at garantere sikkerheden, beskyttelsen af de grundlæggende rettigheder og Unionens
værdier i de forskellige medlemsstater. En fælles EU-lovgivningsforanstaltning
vedrørende kunstig intelligens kan sætte skub i det indre marked og har et stort
potentiale til at give den europæiske industri både en konkurrencefordel på den
globale scene og stordriftsfordele, som ikke kan opnås af de enkelte medlemsstater
alene.
1.5.3. Erfaringer fra tidligere foranstaltninger af lignende art
Direktiv 2000/31/EF om elektronisk handel udgør den centrale ramme for det indre
markeds funktionalitet og tilsynet med digitale tjenester og fastlægger en
grundlæggende struktur for en generel samarbejdsmekanisme mellem
medlemsstaterne, som i princippet omfatter alle krav, der gælder for digitale
tjenester. Evalueringen af direktivet pegede på mangler ved flere aspekter af denne
samarbejdsmekanisme, herunder vigtige proceduremæssige aspekter såsom manglen
på klare tidsfrister for medlemsstaternes reaktion kombineret med en generel mangel
på reaktionsevne over for anmodninger fra deres modparter. Dette har i årenes løb
ført til manglende tillid mellem medlemsstaterne med hensyn til at løse problemer
vedrørende udbydere, der tilbyder digitale tjenester på tværs af grænserne.
Evalueringen af direktivet viste, at der er behov for at fastsætte et differentieret sæt
regler og krav på europæisk plan. Derfor vil gennemførelsen af de specifikke
forpligtelser, der er fastsat i denne forordning, kræve en særlig
samarbejdsmekanisme på EU-plan med en forvaltningsstruktur, der sikrer
koordinering af de specifikke ansvarlige organer på EU-plan.
1.5.4. Forenelighed med den flerårige finansielle ramme og mulige synergivirkninger med
andre relevante instrumenter
Forordningen om harmoniserede regler for kunstig intelligens og om ændring af
visse af Unionens lovgivningsmæssige retsakter fastsættes der en ny fælles ramme
for krav til AI-systemer, som går langt ud over den ramme, der er fastsat i den
DA 98 DA
eksisterende lovgivning. Derfor er det med dette forslag nødvendigt at oprette en ny
national og europæisk regulerings- og koordineringsfunktion.
Med hensyn til mulige synergier med andre relevante instrumenter kan de
bemyndigende myndigheders rolle på nationalt plan varetages af nationale
myndigheder, der varetager lignende funktioner i henhold til andre EU-forordninger.
Ved at øge tilliden til kunstig intelligens og dermed tilskynde til investeringer i
udvikling og indførelse af kunstig intelligens supplerer den desuden programmet for
et digitalt Europa, der som en af fem prioriteter har fremme af udbredelsen af kunstig
intelligens.
1.5.5. Vurdering af de forskellige finansieringsmuligheder, der er til rådighed, herunder
muligheden for omfordeling
Personalet vil blive omfordelt. De øvrige omkostninger vil blive støttet over
bevillingsrammen for programmet for et digitalt Europa i betragtning af, at formålet
med denne forordning — at sikre pålidelig kunstig intelligens — bidrager direkte til
et af hovedmålene for programmet for et digitalt Europa — at fremskynde
udviklingen og udbredelsen af kunstig intelligens i Europa.
1.6. Forslagets/initiativets varighed og finansielle virkninger
 Begrænset varighed
–  gældende fra [DD/MM]ÅÅÅÅ til [DD/MM]ÅÅÅÅ
–  finansielle virkninger fra ÅÅÅÅ til ÅÅÅÅ for forpligtelsesbevillinger og fra
ÅÅÅÅ til ÅÅÅÅ for betalingsbevillinger
X Ubegrænset varighed
– Iværksættelse med en indkøringsperiode på et/to (bekræftes senere) år
– derefter gennemførelse i fuldt omfang
1.7. Planlagt(e) forvaltningsmetode(r)65
X Direkte forvaltning ved Kommissionen
–  i dens tjenestegrene, herunder ved dens personale i EU's delegationer
–  i forvaltningsorganerne
 Delt forvaltning i samarbejde med medlemsstaterne
 Indirekte forvaltning ved at overlade budgetgennemførelsesopgaver til:
–  tredjelande eller organer, som tredjelande har udpeget
–  internationale organisationer og deres agenturer (angives nærmere)
–  Den Europæiske Investeringsbank og Den Europæiske Investeringsfond
–  de organer, der er omhandlet i finansforordningens artikel 70 og 71
–  offentligretlige organer
–  privatretlige organer, der har fået overdraget samfundsopgaver, forudsat at de
stiller tilstrækkelige finansielle garantier
65
Forklaringer vedrørende forvaltningsmetoder og henvisninger til finansforordningen findes på
webstedet BudgWeb: http://www.cc.cec/budg/man/budgmanag/budgmanag_en.html.
DA 99 DA
–  privatretlige organer, undergivet lovgivningen i en medlemsstat, som har fået
overdraget gennemførelsen af et offentlig-privat partnerskab, og som stiller
tilstrækkelige finansielle garantier
–  personer, der har fået overdraget gennemførelsen af specifikke aktioner i den
fælles udenrigs- og sikkerhedspolitik i henhold til afsnit V i traktaten om Den
Europæiske Union, og som er anført i den relevante basisretsakt
– Hvis der angives flere forvaltningsmetoder, gives der en nærmere forklaring i afsnittet "Bemærkninger".
Bemærkninger
DA 100 DA
2. FORVALTNINGSFORANSTALTNINGER
2.1. Bestemmelser om overvågning og rapportering
Angiv hyppighed og betingelser.
Forordningen vil blive gennemgået og evalueret fem år efter forordningens
ikrafttræden. Kommissionen vil rapportere om evalueringens resultater til Europa-
Parlamentet, Rådet og Det Europæiske Økonomiske og Sociale Udvalg.
2.2. Forvaltnings- og kontrolsystem(er)
2.2.1. Begrundelse for den/de foreslåede forvaltningsmetode(r), finansieringsmekanisme(r),
betalingsvilkår og kontrolstrategi
I forordningen fastlægges der en ny politik med hensyn til harmoniserede regler for
udbud af systemer med kunstig intelligens på det indre marked, samtidig med at der
sikkerheden beskyttes og de grundlæggende rettigheder sikres overholdt. Disse nye
regler kræver en sammenhængsmekanisme for anvendelse af forpligtelserne i
henhold til denne forordning på tværs af grænserne, som skal tage form af en ny
rådgivende gruppe til at koordinere de nationale myndigheders aktiviteter.
For at kunne løse disse nye opgaver er det nødvendigt at afsætte tilstrækkelige
ressourcer til Kommissionens tjenestegrene. Håndhævelsen af den nye forordning
forventes at kræve 10 fuldtidsækvivalenter (5 fuldtidsækvivalenter til støtte for
udvalgets aktiviteter og 5 fuldtidsækvivalenter til Den Europæiske Tilsynsførende for
Databeskyttelses funktion som et bemyndigende organ for AI-systemer, der
anvendes af EU-organer).
2.2.2. Oplysninger om de konstaterede risici og det/de interne kontrolsystem(er), der
etableres for at afbøde dem
For at sikre, at udvalgets medlemmer kan foretage velunderbyggede analyser på
grundlag af faktuelle oplysninger, fastsættes det, at udvalget bør støttes af
Kommissionens administrative struktur, og at der skal nedsættes en ekspertgruppe,
der skal yde yderligere ekspertise, når det er nødvendigt.
2.2.3. Vurdering af og begrundelse for kontrolforanstaltningernes omkostningseffektivitet
(forholdet mellem kontrolomkostningerne og værdien af de forvaltede midler) samt
vurdering af den forventede risiko for fejl (ved betaling og ved afslutning)
I betragtning af den lave værdi pr. transaktion (f.eks. godtgørelse af rejseudgifter for
en delegeret i forbindelse med et møde) synes standardkontrolprocedurerne for
mødeudgifter at være tilstrækkelige. Hvad angår udviklingen af databasen, er
tildelingen af kontrakter underlagt et stærkt internt kontrolsystem i GD CNECT
gennem centraliserede indkøbsaktiviteter.
2.3. Foranstaltninger til forebyggelse af svig og uregelmæssigheder
Angiv eksisterende eller påtænkte forebyggelses- og beskyttelsesforanstaltninger, f.eks. fra strategien
til bekæmpelse af svig.
De eksisterende foranstaltninger til forebyggelse af svig, der gælder for
Kommissionen, vil dække de supplerende bevillinger, der er nødvendige i
forbindelse med denne forordning.
DA 101 DA
3. FORSLAGETS/INITIATIVETS ANSLÅEDE FINANSIELLE VIRKNINGER
3.1. Berørt(e) udgiftsområde(r) i den flerårige finansielle ramme og udgiftspost(er) på budgettet
 Eksisterende budgetposter
I samme rækkefølge som udgiftsområderne i den flerårige finansielle ramme og budgetposterne.
Udgifts-
område i
den
flerårige
finansielle
ramme
Budgetpost
Udgiftens
art
Bidrag
Nummer
OB/IOB
66
fra
EFTA-
lande
67
fra
kandidat-
lande
68
fra tredje-
lande
iht. finansforord-
ningens artikel 21,
stk. 2, litra b)
7 20 02 06 Administrationsudgifter IOB NEJ NEJ NEJ NEJ
1
02 04 03 Programmet for et digitalt
Europa — Kunstig intelligens
OB JA NEJ NEJ NEJ
1
02 01 30 01 Udgifter til
støttefunktioner i forbindelse med
programmet for et digitalt Europa
IOB JA NEJ NEJ NEJ
3.2. Forslagets anslåede finansielle virkninger for bevillingerne
3.2.1. Sammenfatning af de anslåede virkninger for udgifterne for aktionsbevillingerne
–  Forslaget/initiativet medfører ikke anvendelse af aktionsbevillinger
– X Forslaget/initiativet medfører anvendelse af aktionsbevillinger som anført herunder:
66
OB = opdelte bevillinger/IOB = ikke-opdelte bevillinger.
67
EFTA: Den Europæiske Frihandelssammenslutning.
68
Kandidatlande og, hvis det er relevant, potentielle kandidatlande på Vestbalkan.
DA 102 DA
i mio. EUR (tre decimaler)
Udgiftsområde i den flerårige finansielle ramme 1
GD: CNECT
År
2022
År
2023
År
2024
År
2025
År
2026
År
2027
69 I ALT
Aktionsbevillinger
Budgetpost
70
02 04 03
Forpligtelser (1a) 1,000 1,000
Betalinger (2a) 0,600 0,100 0,100 0,100 0,100 1,000
Budgetpost
Forpligtelser (1b)
Betalinger (2b)
Administrationsbevillinger finansieret
over bevillingsrammen for særprogrammer
71
Budgetpost 02 01 30 01 (3) 0,240 0,240 0,240 0,240 0,240 1,200
Bevillinger I ALT
til GD CNECT
Forpligtelser =1a+1b+3 1,240 0,240 0,240 0,240 2,200
Betalinger
=2a+2b
+3
0,840 0,340 0,340 0,340 0,340 2,200
69
Vejledende og afhængig af de disponible budgetmidler.
70
Ifølge den officielle budgetkontoplan.
71
Teknisk og/eller administrativ bistand og udgifter til støtte for gennemførelsen af EU's programmer og/eller foranstaltninger (tidligere BA-poster), indirekte
forskning, direkte forskning.
DA 103 DA
 Aktionsbevillinger I ALT
Forpligtelser (4) 1,000 1,000
Betalinger (5) 0,600 0,100 0,100 0,100 0,100 1,000
 Administrationsbevillinger finansieret over bevillingsrammen for
særprogrammer I ALT
(6) 0,240 0,240 0,240 0,240 0,240 1,200
Bevillinger I ALT
under UDGIFTSOMRÅDE 1
i den flerårige finansielle ramme
Forpligtelser =4+6 1,240 0,240 0,240 0,240 0,240 2,200
Betalinger =5+6 0,840 0,340 0,340 0,340 0,340 2,200
Hvis flere udgiftsområder berøres af forslaget/initiativet, indsættes der et tilsvarende afsnit for hvert udgiftsområde
Aktionsbevillinger I ALT (alle
aktionsrelaterede udgiftsområder)
Forpligtelser (4)
Betalinger (5)
 Administrationsbevillinger finansieret over
bevillingsrammen for særprogrammer I ALT (alle
aktionsrelaterede udgiftsområder)
(6)
Bevillinger I ALT
under UDGIFTSOMRÅDE 1-6
i den flerårige finansielle ramme
(referencebeløb)
Forpligtelser =4+6
Betalinger =5+6
Udgiftsområde i den flerårige finansielle ramme 7 "Administrationsudgifter"
Dette afsnit skal udfyldes ved hjælp af arket vedrørende administrative budgetoplysninger, der først skal indføres i bilaget til
finansieringsoversigten (bilag V til de interne regler), som uploades til DECIDE med henblik på høring af andre tjenestegrene.
DA 104 DA
i mio. EUR (tre decimaler)
År
2023
År
2024
År
2025
År
2026
År 2027
Efter
2027
72 I ALT
GD: CNECT
 Menneskelige ressourcer 0,760 0,760 0,760 0,760 0,760 0,760 3,800
 Andre administrationsudgifter 0,010 0,010 0,010 0,010 0,010 0,010 0,050
I ALT GD CNECT Bevillinger 0,760 0,760 0,760 0,760 0,760 0,760 3,850
Den Europæiske Tilsynsførende for Databeskyttelse
(EDPS)
 Menneskelige ressourcer 0,760 0,760 0,760 0,760 0,760 0,760 3,800
 Andre administrationsudgifter
I ALT EDPS Bevillinger 0,760 0,760 0,760 0,760 0,760
0,760 3,800
Bevillinger I ALT
under UDGIFTSOMRÅDE 7
i den flerårige finansielle ramme
(Forpligtelser i alt = betalinger i alt) 1,530 1,530 1,530 1,530 1,530 1,530 7,650
i mio. EUR (tre decimaler)
År
2022
År
2023
År
2024
År
2025
År 2026 År 2027 I ALT
Bevillinger I ALT
under UDGIFTSOMRÅDE 1-7
i den flerårige finansielle ramme
Forpligtelser 2,770 1,770 1,770 1,770 1,770 9,850
Betalinger 2,370 1,870 1,870 1,870 1,870 9,850
72
Alle tal i denne kolonne er vejledende og afhænger af videreførelsen af programmerne og disponible bevillinger.
DA 105 DA
3.2.2. Anslåede resultater finansieret med aktionsbevillinger
Forpligtelsesbevillinger i mio. EUR (tre decimaler)
Angiv mål og
resultater

År
2022
År
2023
År
2024
År
2025
År
2026
År
2027
Efter
2027
73 I ALT
RESULTATER
Type
Gnsntl.
omkost-
ninger
Antal
Om-
kost-
ninger
Antal
Om-
kost-
ninger
Antal
Omkost-
ninger
Antal
Om-
kost-
ninger
Antal
Om-
kost-
ninger
Antal
Om-
kost-
ninger
Antal
Om-
kost-
ninger
Anta
l
resul
tater
i alt
Om-
kost-
ninger
i alt
SPECIFIKT MÅL NR. 1
74
…
Database 1 1,000 1 1 1 1 1 0,100 1 1,000
Møder — Resultat 10 0,200 10 0,200 10 0,200 10 0,200 10 0,200 10 0,200 50 1,000
Kommunikationsakti
viteter
2 0,040 2 0,040 2 0,040 2 0,040 2 0,040 2 0,040 10 0,040
Subtotal for specifikt mål nr. 1
SPECIFIKT MÅL NR. 2
- Resultat
Subtotal for specifikt mål nr. 2
I ALT 13 0,240 13 0,240 13 0,240 13 0,240 13 0,240 13 0,100 65 2,200
73
Alle tal i denne kolonne er vejledende og afhænger af videreførelsen af programmerne og disponible bevillinger.
74
Som beskrevet i punkt 1.4.2. "Specifikt/specifikke mål".
DA 106 DA
3.2.3. Sammenfatning af de anslåede virkninger for administrationsbevillingerne
–  Forslaget/initiativet medfører ikke anvendelse af administrationsbevillinger
– X Forslaget/initiativet medfører anvendelse af administrationsbevillinger som
anført herunder:
i mio. EUR (tre decimaler)
År
2022
År
2023
År
2024
År
2025
År
2026
År
2027
Årligt efter
2027
75 I ALT
UDGIFTSOMRÅDE 7
i den flerårige finansielle
ramme
Menneskelige ressourcer 1,520 1,520 1,520 1,520 1,520 1,520 7,600
Andre
administrationsudgifter
0,010 0,010 0,010 0,010 0,010 0,010 0,050
Subtotal
UDGIFTSOMRÅDE 7
i den flerårige finansielle
ramme
1,530 1,530 1,530 1,530 1,530 1,530 7,650
Uden for
UDGIFTSOMRÅDE 7
76
of the i den flerårige
finansielle ramme
Menneskelige ressourcer
Andre
administrationsudgifter
0,240 0,240 0,240 0,240 0,240 0,240 1,20
Subtotal
uden for
UDGIFTSOMRÅDE 7
i den flerårige finansielle
ramme
0,240 0,240 0,240 0,240 0,240 0,240 1,20
I ALT 1,770 1,770 1,770 1,770 1,770 1,770 8,850
Bevillingerne til menneskelige ressourcer og andre administrationsudgifter vil blive dækket ved hjælp af de bevillinger, som
generaldirektoratet allerede har afsat til forvaltning af foranstaltningen, og/eller ved intern omfordeling i generaldirektoratet,
eventuelt suppleret med yderligere bevillinger, som tildeles det ansvarlige generaldirektorat i forbindelse med den årlige
tildelingsprocedure under hensyntagen til de budgetmæssige begrænsninger.
75
Alle tal i denne kolonne er vejledende og afhænger af videreførelsen af programmerne og disponible bevillinger.
76
Teknisk og/eller administrativ bistand og udgifter til støtte for gennemførelsen af EU's programmer
og/eller foranstaltninger (tidligere BA-poster), indirekte forskning, direkte forskning.
DA 107 DA
3.2.3.1. Anslået behov for menneskelige ressourcer
–  Forslaget/initiativet medfører ikke anvendelse af menneskelige ressourcer
– X Forslaget/initiativet medfører anvendelse af menneskelige ressourcer som
anført herunder:
Overslag angives i årsværk
.
År
2023
År 2024
År
2025
2026 2027
Efter
202777
 Stillinger i stillingsfortegnelsen (tjenestemænd og midlertidigt ansatte)
20 01 02 01 (i Kommissionens hovedsæde og
repræsentationskontorer)
10 10 10 10 10 10
20 01 02 03 (i delegationerne)
01 01 01 01 (indirekte forskning)
01 01 01 11 (direkte forskning)
Andre budgetposter (angiv nærmere)
 Eksternt personale (i årsværk)
78
20 02 01 (KA, UNE, V under den samlede bevillingsramme)
20 02 03 (KA, LA, UNE, V og JMD i delegationerne)
XX 01 xx yy zz
79 - i hovedsædet
- i delegationerne
01 01 01 02 (KA, UNE, V – indirekte forskning)
01 01 01 12 (KA, UNE, V – direkte forskning)
Andre budgetposter (skal angives)
I ALT 10 10 10 10 10 10
XX angiver det berørte politikområde eller budgetafsnit.
Personalebehovet vil blive dækket ved hjælp af det personale, som generaldirektoratet allerede har afsat til
forvaltning af foranstaltningen, og/eller ved interne rokader i generaldirektoratet, eventuelt suppleret med
yderligere bevillinger, som tildeles det ansvarlige generaldirektorat i forbindelse med den årlige
tildelingsprocedure under hensyntagen til de budgetmæssige begrænsninger.
EDPS forventes at stille halvdelen af de nødvendige ressourcer til rådighed.
Opgavebeskrivelse:
Tjenestemænd og midlertidigt ansatte Forberedelsen af i alt 13-16 møder, udkast til rapporter, det politiske arbejde (f.eks.
vedrørende fremtidige ændringer af listen over højrisiko-AI-anvendelser) og
varetagelse af forbindelserne med medlemsstaternes myndigheder vil kræve fire AD-
fuldtidsækvivalenter og én AST-fuldtidsækvivalent.
Den Europæiske Tilsynsførende for Databeskyttelse er ansvarlig for AI-systemer
udviklet af EU-institutionerne. På grundlag af tidligere erfaringer kan det anslås, at der
kræves fem AD-fuldtidsækvivalenter for at opfylde Den Europæiske Tilsynsførende
77
Alle tal i denne kolonne er vejledende og afhænger af videreførelsen af programmerne og disponible
bevillinger.
78
KA: kontraktansatte, LA: lokalt ansatte, UNE: udstationerede nationale eksperter, V: vikarer, JMD:
juniormedarbejdere i delegationerne.
79
Delloft for eksternt personale under aktionsbevillingerne (tidligere BA-poster).
DA 108 DA
for Databeskyttelse ansvar i henhold til lovgivningsudkastet.
Eksternt personale
DA 109 DA
3.2.4. Forenelighed med indeværende flerårige finansielle ramme
Forslaget/initiativet:
– X kan finansieres fuldt ud gennem omfordeling inden for det relevante
udgiftsområde i den flerårige finansielle ramme (FFR)
Der er ikke behov for omlægning.
–  kræver anvendelse af den uudnyttede margen under det relevante
udgiftsområde i FFR og/eller anvendelse af særlige instrumenter som fastlagt i
FFR-forordningen
Gør rede for behovet med angivelse af de berørte udgiftsområder og budgetposter, de beløb, der er tale
om, og de instrumenter, der foreslås anvendt.
–  kræver en revision af FFR
Gør rede for behovet med angivelse af de berørte udgiftsområder og budgetposter og de beløb, der er
tale om.
3.2.5. Bidrag fra tredjemand
Forslaget/initiativet:
– X indeholder ikke bestemmelser om samfinansiering med tredjemand
–  indeholder bestemmelser om samfinansiering med tredjemand, jf. følgende
overslag:
Bevillinger i mio. EUR (tre decimaler)
År
n
80
År
n+1
År
n+2
År
n+3
Indsæt så mange år som
nødvendigt for at vise
virkningernes varighed (jf. punkt
1.6)
I alt
Angiv det organ, der
deltager i
samfinansieringen
Samfinansierede
bevillinger I ALT
80
År n er det år, hvor gennemførelsen af forslaget/initiativet påbegyndes. Erstat "n" med det forventede
første gennemførelsesår (f.eks.: 2021). Dette gælder også for de efterfølgende år.
DA 110 DA
3.3. Anslåede virkninger for indtægterne
–  Forslaget/initiativet har følgende finansielle virkninger:
–  Forslaget/initiativet har følgende finansielle virkninger:
–  for andre indtægter
–  for andre indtægter
– Angiv, om indtægterne er formålsbestemte 
i mio. EUR (tre decimaler)
Indtægtspost på budgettet
Bevillinger til
rådighed i
indeværende
regnskabsår
Forslagets/initiativets virkninger
81
År
n
År
n+1
År
n+2
År
n+3
Indsæt så mange år som nødvendigt for at
vise virkningernes varighed (jf. punkt
1.6)
Artikel …
For indtægter, der er formålsbestemte, angives det, hvilke af budgettets udgiftsposter der berøres.
Andre bemærkninger (f.eks. om hvilken metode, der er benyttet til at beregne virkningerne for
indtægterne).
81
Med hensyn til EU's traditionelle egne indtægter (told og sukkerafgifter) opgives beløbene netto, dvs.
bruttobeløb, hvorfra der er trukket opkrævningsomkostninger på 20 %.


DA DA
EUROPA-
KOMMISSIONEN
Bruxelles, den 21.4.2021
COM(2021) 206 final
ANNEXES 1 to 9
BILAG
til
Forslag til Europa-Parlamentets og Rådets forordning
OM FASTSÆTTELSE AF HARMONISEREDE REGLER OM KUNSTIG
INTILLIGENS( RETSAKTEN OM KUNSTIG INTILLIGENS) OG ÆNDRING AF
VISSE EU-RETSAKTER
{SEC(2021) 167 final} - {SWD(2021) 84 final} - {SWD(2021) 85 final}
Europaudvalget 2021
KOM (2021) 0206 - Forslag til forordning
Offentligt
DA 1 DA
BILAG I
TEKNIKKER OG TILGANGE TIL KUNSTIG INTELLIGENS
jf. artikel 3, stk. 1
(a) maskinlæringstilgange, herunder superviseret, usuperviseret og reinforcement
learning, ved hjælp af en bred vifte af metoder, herunder dyb læring
(b) logiske og videnbaserede tilgange, herunder videnrepræsentation, induktiv (logisk)
programmering, videnbaser, inferens- og deduktionsmotorer, (symbolsk)
ræsonnement og ekspertsystemer
(c) statistiske metoder, bayesianske estimations-, søgnings- og optimeringsmetoder.
DA 2 DA
BILAG II
LISTE OVER EU-HARMONISERINGSLOVGIVNING
Del A — Liste over EU-harmoniseringslovgivning under den nye lovgivningsmæssige
ramme
1. Europa-Parlamentets og Rådets direktiv 2006/42/EF af 17. maj 2006 om maskiner og
om ændring af direktiv 95/16/EF (EUT L 157 af 9.6.2006, s. 24) (som ophævet ved
maskinforordningen)
2. Europa-Parlamentets og Rådets direktiv 2009/48/EF af 18. juni 2009 om
sikkerhedskrav til legetøj (EUT L 170 af 30.6.2009, s. 1)
3. Europa-Parlamentets og Rådets direktiv 2013/53/EU af 20. november 2013 om
fritidsfartøjer og personlige fartøjer og om ophævelse af direktiv 94/25/EF
(EUT L 354 af 28.12.2013, s. 90)
4. Europa-Parlamentets og Rådets direktiv 2014/33/EU af. 26. februar 2014 om
harmonisering af medlemsstaternes love om elevatorer og sikkerhedskomponenter til
elevatorer (EUT L 96 af 29.3.2014, s. 251)
5. Europa-Parlamentets og Rådets direktiv 2014/34/EU af 26. februar 2014 om
harmonisering af medlemsstaternes love om materiel og sikringssystemer til
anvendelse i en potentielt eksplosiv atmosfære (EUT L 96 af 29.3.2014, s. 309)
6. Europa-Parlamentets og Rådets direktiv 2014/53/EU af 16. april 2014 om
harmonisering af medlemsstaternes love om tilgængeliggørelse af radioudstyr på
markedet og om ophævelse af direktiv 1999/5/EF (EUT L 153 af 22.5.2014, s. 62)
7. Europa-Parlamentets og Rådets direktiv 2014/68/EU af 15. maj 2014 om
harmonisering af medlemsstaternes lovgivning om tilgængeliggørelse på markedet af
trykbærende udstyr (EUT L 189 af 27.6.2014, s. 164)
8. Europa-Parlamentets og Rådets forordning (EU) 2016/424 af 9. marts 2016 om
tovbaneanlæg og om ophævelse af direktiv 2000/9/EF (EUT L 81 af 31.3.2016, s. 1)
9. Europa-Parlamentets og Rådets forordning (EU) 2016/425 af 9. marts 2016 om
personlige værnemidler og om ophævelse af Rådets direktiv 89/686/EØF (EUT L 81
af 31.3.2016, s. 51)
10. Europa-Parlamentets og Rådets forordning (EU) 2016/426 af 9. marts 2016 om
apparater, der forbrænder gasformigt brændstof, og om ophævelse af direktiv
2009/142/EF (EUT L 81 af 31.3.2016, s. 99)
11. Europa-Parlamentets og Rådets forordning (EU) 2017/745 af 5. april 2017 om
medicinsk udstyr, om ændring af direktiv 2001/83/EF, forordning (EF) nr. 178/2002
og forordning (EF) nr. 1223/2009 og om ophævelse af Rådets direktiv 90/385/EØF
og 93/42/EØF (EUT L 117 af 5.5.2017, s. 1)
12. Europa-Parlamentets og Rådets forordning (EU) 2017/746 af 5. april 2017 om
medicinsk udstyr til in vitro-diagnostik og om ophævelse af direktiv 98/79/EF og
Kommissionens afgørelse 2010/227/EU (EUT L 117 af 5.5.2017, s. 176).
DA 3 DA
Del B. Liste over anden EU-harmoniseringslovgivning
1. Europa-Parlamentets og Rådets forordning (EF) nr. 300/2008 af 11. marts 2008 om
fælles bestemmelser om sikkerhed inden for civil luftfart og om ophævelse af
forordning (EF) nr. 2320/2002 (EUT L 97 af 9.4.2008, s. 72)
2. Europa-Parlamentets og Rådets forordning (EU) nr. 168/2013 af 15. januar 2013 om
godkendelse og markedsovervågning af to- og trehjulede køretøjer samt quadricykler
(EUT L 60 af 2.3.2013, s. 52)
3. Europa-Parlamentets og Rådets forordning (EU) nr. 167/2013 af 5. februar 2013 om
godkendelse og markedsovervågning af landbrugs- og skovbrugstraktorer (EUT L 60
af 2.3.2013, s. 1)
4. Europa-Parlamentets og Rådets direktiv 2014/90/EU af 23. juli 2014 om skibsudstyr
og om ophævelse af Rådets direktiv 96/98/EF (EUT L 257 af 28.8.2014, s. 146)
5. Europa-Parlamentets og Rådets direktiv (EU) 2016/797 af 11. maj 2016 om
interoperabilitet i jernbanesystemet i Den Europæiske Union (EUT L 138 af
26.5.2016, s. 44)
6. Europa-Parlamentets og Rådets forordning (EU) 2018/858 af 30. maj 2018 om
godkendelse og markedsovervågning af motorkøretøjer og påhængskøretøjer dertil
samt af systemer, komponenter og separate tekniske enheder til sådanne køretøjer,
om ændring af forordning (EF) nr. 715/2007 og (EF) nr. 595/2009 og om ophævelse
af direktiv 2007/46/EF (EUT L 151 af 14.6.2018, s. 1) 3. Europa-Parlamentets og
Rådets forordning (EU) 2019/2144 af 27. november 2019 om krav til
typegodkendelse af motorkøretøjer og påhængskøretøjer dertil samt systemer,
komponenter og separate tekniske enheder til sådanne køretøjer for så vidt angår
deres generelle sikkerhed og beskyttelsen af køretøjspassagerer og bløde trafikanter
og om ændring af Europa-Parlamentets og Rådets forordning (EU) 2018/858 og
ophævelse af forordning (EF) nr. 78/2009, forordning (EF) nr. 79/2009 og Europa-
Parlamentets og Rådets forordning (EF) nr. 661/2009 og Kommissionens forordning
(EF) nr. 631/2009, (EU) nr. 406/2010, (EU) nr. 672/2010, (EU) nr. 1003/2010, (EU)
nr. 1005/2010, (EU) nr. 1008/2010, (EU) nr. 1009/2010, (EU) nr. 19/2011, (EU) nr.
109/2011, (EU) nr. 458/2011, (EU) nr. 65/2012, (EU) nr. 130/2012, (EU) nr.
347/2012, (EU) nr. 351/2012, (EU) nr. 1230/2012 og (EU) 2015/166 (EUT L 325 af
16.12.2019, s. 1)
7. Europa-Parlamentets og Rådets forordning (EU) 2018/1139 af 4. juli 2018 om fælles
regler for civil luftfart og oprettelse af Den Europæiske Unions
Luftfartssikkerhedsagentur og om ændring af Europa-Parlamentets og Rådets
forordning (EF) nr. 2111/2005, (EF) nr. 1008/2008, (EU) nr. 996/2010 og (EU)
nr. 376/2014 og direktiv 2014/30/EU og 2014/53/EU og om ophævelse af Europa-
Parlamentets og Rådets forordning (EF) nr. 552/2004 og (EF) nr. 216/2008 og
Rådets forordning (EØF) nr. 3922/91 (EUT L 212 af 22.8.2018, s. 1), for så vidt
angår konstruktion, fremstilling og bringe i omsætning af luftfartøjer, som er
omhandlet i nævnte forordnings artikel 2, stk. 1, litra a) og b), når det drejer sig om
ubemandede luftfartøjer og tilhørende motorer, propeller, dele og udstyr til
fjernkontrol af disse luftfartøjer.
DA 4 DA
BILAG III
HØJRISIKO-AI-SYSTEMER, jf. artikel 6, stk. 2
Højrisiko-AI-systemer i henhold til artikel 6, stk. 2, er de AI-systemer, der er opført under et
af følgende områder:
1. biometrisk identifikation og kategorisering af fysiske personer:
(a) AI-systemer der er beregnet til biometrisk fjernidentifikation i realtid og
efterfølgende biometrisk fjernidentifikation af fysiske personer
2. Forvaltning og drift af kritisk infrastruktur:
(a) AI-systemer, der er beregnet til anvendelse som sikkerhedskomponenter i
forvaltningen og driften af vejtrafik og forsyning af vand, gas, varme og
elektricitet
3. Uddannelse og erhvervsuddannelse:
(a) AI-systemer, der er beregnet til at fastslå, om fysiske personer skal optages,
eller hvordan de skal fordeles, på uddannelsesinstitutioner
(b) AI-systemer, der er beregnet til evaluering af studerende på
uddannelsesinstitutioner og til at vurdere personer i forbindelse med prøver,
der normalt kræves for at få adgang til uddannelsesinstitutioner
4. beskæftigelse, forvaltning af arbejdstagere og adgang til selvstændig virksomhed:
(a) AI-systemer, der er beregnet til rekruttering eller udvælgelse af fysiske
personer, navnlig til annoncering af ledige stillinger, screening eller filtrering
af ansøgninger, evaluering af ansøgere under samtaler eller prøver
(b) AI-systemer, der er beregnet til beslutningstagning om forfremmelse og
afskedigelse og til opgavefordeling, overvågning og evaluering af personers
præstationer og adfærd i arbejdsrelaterede kontraktforhold
5. Adgang til og benyttelse af væsentlige private og offentlige tjenester og fordele:
(a) AI-systemer, der er beregnet til at blive anvendt af offentlige myndigheder eller
på vegne af offentlige myndigheder til at vurdere fysiske personers berettigelse
til offentlige sociale ydelser og tjenester samt til at tildele, reducere, annullere
eller tilbagekalde sådanne ydelser og tjenester
(b) AI-systemer, der er beregnet til at foretage kreditvurderinger af fysiske
personer eller fastslå deres kreditværdighed, med undtagelse af AI-systemer,
der tages i brug af mindre udbydere til eget brug
(c) AI-systemer, der er beregnet til at sende beredskabstjenester i nødsituationer
eller til at tildele prioriteter i forbindelse hermed, herunder brandslukning og
lægehjælp.
6. Retshåndhævelse:
(a) AI-systemer, der er beregnet til at blive anvendt af retshåndhævende
myndigheder til at foretage individuelle risikovurderinger af fysiske personer
for at vurdere risikoen for, at en fysisk person begår, genbegår eller bliver
potentielt offer for lovovertrædelser
(b) AI-systemer, der er beregnet til at blive anvendt af retshåndhævende
myndigheder som polygrafer og lignende værktøjer eller til at påvise en fysisk
persons følelsesmæssige tilstand
DA 5 DA
(c) AI-systemer, der er beregnet til at blive anvendt af retshåndhævende
myndigheder til at opdage deepfake-indhold som omhandlet i artikel 52, stk. 3
(d) AI-systemer, der er beregnet til at blive anvendt af retshåndhævende
myndigheder til at vurdere pålideligheden af bevismateriale i forbindelse med
efterforskning eller retsforfølgning af lovovertrædelser
(e) AI-systemer, der er beregnet til at blive anvendt af retshåndhævende
myndigheder til at forudsige forekomsten eller gentagelsen af en faktisk eller
potentiel strafbar handling ud fra profilering af fysiske personer som omhandlet
i artikel 3, stk. 4, i direktiv (EU) 2016/680 eller til at vurdere fysiske personers
eller gruppers personlighedstræk og personlige egenskaber eller tidligere
kriminelle adfærd
(f) AI-systemer, der er beregnet til at blive anvendt af retshåndhævende
myndigheder til profilering af fysiske personer som omhandlet i artikel 3, stk.
4, i direktiv (EU) 2016/680 i forbindelse med afsløring, efterforskning eller
retsforfølgning af lovsovertrædelser
(g) AI-systemer, der er beregnet til at blive anvendt til kriminalanalyser
vedrørende fysiske personer, og som gør det muligt for retshåndhævende
myndigheder at søge i komplekse og både forbundne og ikkeforbundne store
datasæt, der er tilgængelige i forskellige datakilder eller i forskellige
dataformater, med henblik på at identificere ukendte mønstre eller opdage
skjulte forbindelser i dataene.
7. Migrationsstyring, asylforvaltning og grænsekontrol:
(a) AI-systemer, der er beregnet til at blive anvendt af kompetente offentlige
myndigheder som polygrafer og lignende værktøjer eller til at påvise en fysisk
persons følelsesmæssige tilstand
(b) AI-systemer, der er beregnet til at blive anvendt af kompetente offentlige
myndigheder til at vurdere en risiko, herunder en sikkerhedsrisiko, en risiko for
irregulær indvandring eller en sundhedsrisiko, som udgøres af en fysisk person,
der har til hensigt at rejse ind i eller er indrejst i en medlemsstat
(c) AI-systemer, der er beregnet til at blive anvendt af kompetente offentlige
myndigheder til at kontrollere ægtheden af fysiske personers rejselegitimation
og anden dokumentation og opdage forfalskede dokumenter ved at kontrollere
deres sikkerhedselementer
(d) AI-systemer, der er beregnet til at bistå kompetente offentlige myndigheder i
behandlingen af ansøgninger om asyl, visum og opholdstilladelser og hertil
relaterede klager med henblik på at fastslå, om de fysiske personer, der
ansøger, er berettigede
8. Retspleje og demokratiske processer:
(a) AI-systemer, der er beregnet til at bistå retlige myndigheder med at undersøge
og fortolke fakta og lovgivningen og anvende lovgivningen i konkrete,
faktuelle sager.
DA 6 DA
BILAG IV
TEKNISK DOKUMENTATION, jf. artikel 11, stk. 1
Den tekniske dokumentation, der er omhandlet i artikel 11, stk. 1, skal som minimum
indeholde følgende oplysninger, alt efter hvad der er relevant for det pågældende AI-system:
1. En generel beskrivelse af AI-systemet, herunder:
(a) det tilsigtede formål, den eller de personer, der udvikler systemet, samt
systemets dato og version
(b) hvis det er relevant, hvordan AI-systemet interagerer eller kan bruges til at
interagere med hardware eller software, der ikke er en del af selve AI-systemet
(c) versionerne af relevant software eller firmware og eventuelle krav vedrørende
opdatering
(d) en beskrivelse af alle måder, hvorpå AI-systemet bringes i omsætning eller
tages i brug
(e) en beskrivelse af den hardware, som AI-systemet er beregnet til at køre på
(f) hvis AI-systemet er komponent i produkter: fotografier eller illustrationer, der
viser disse produkters eksterne karakteristika, mærkning og interne layout
(g) brugsanvisning til brugeren og, hvis det er relevant, monteringsvejledning
2. En detaljeret beskrivelse af elementerne i AI-systemet og af processen for dets
udvikling, herunder:
(a) de metoder og trin, der er brugt i udviklingen af AI-systemet, herunder, hvor
det er relevant, anvendelse af forhåndstrænede systemer eller værktøjer leveret
af tredjeparter, og hvordan disse er blevet anvendt, integreret eller ændret af
udbyderen
(b) systemets konstruktionsspecifikationer, dvs. AI-systemets og algoritmernes
generelle logik, navnlig de vigtigste designvalg, herunder begrundelser og
antagelser, også med hensyn til personer eller grupper af personer, som
systemet er beregnet til at blive anvendt på, de overordnede klassifikationsvalg,
hvad systemet er designet til at optimere for og relevansen af de forskellige
parametre, samt beslutninger om eventuelle trade-offs i de tekniske løsninger,
der er valgt for at opfylde kravene i afsnit III, kapitel 2
(c) en beskrivelse af systemarkitekturen, der forklarer, hvordan
softwarekomponenterne bygger på eller tilføres hinanden og integreres i den
samlede anvendelse; de beregningsressourcer, der anvendes til at udvikle,
træne, teste og validere AI-systemet
(d) hvis det er relevant, datakravene i form af datablade, der beskriver de anvendte
træningsmetoder og -teknikker og de anvendte træningsdatasæt, herunder
oplysninger om disse datasæts oprindelse, omfang og vigtigste karakteristika,
hvordan dataene er indsamlet og udvalgt, mærkningsprocedurer (f.eks. for
superviseret læring) og datarensningsmetoder (f.eks. detektion af outliers)
(e) vurdering af de foranstaltninger til menneskeligt tilsyn, der er nødvendige i
henhold til artikel 14, herunder en vurdering af de tekniske foranstaltninger,
der er nødvendige for at lette brugernes fortolkning af AI-systemets output, jf.
artikel 13, stk. 3, litra d)
DA 7 DA
(f) hvis det er relevant, en detaljeret beskrivelse af på forhånd fastlagte ændringer
af AI-systemet og dets ydeevne sammen med alle relevante oplysninger
vedrørende de tekniske løsninger, der er valgt for at sikre, at AI-systemet til
stadighed opfylder de relevante krav i afsnit III, kapitel 2
(g) de anvendte validerings- og testprocedurer, herunder oplysninger om de
anvendte validerings- og testdata og deres vigtigste karakteristika, parametre til
måling af nøjagtighed, robusthed, cybersikkerhed og overholdelse af andre
relevante krav i afsnit III, kapitel 2, herunder potentielt diskriminerende
virkninger, samt testlogfiler og alle testrapporter, der er dateret og underskrevet
af de ansvarlige personer, herunder med hensyn til forudbestemte ændringer
som omhandlet i litra f)
3. Detaljerede oplysninger om AI-systemets funktion, samt overvågning og kontrol,
navnlig med hensyn til dets kapacitet og begrænsninger i ydeevne, herunder
nøjagtighedsgraden for specifikke personer eller grupper af personer, som systemet
er beregnet til at blive anvendt på, og det samlede forventede nøjagtighedsniveau i
forhold til det tilsigtede formål, de forventede utilsigtede resultater og kilder til risici
for sundhed og sikkerhed, grundlæggende rettigheder og forskelsbehandling i lyset af
AI-systemets tilsigtede formål, foranstaltningerne til menneskeligt tilsyn i
overensstemmelse med artikel 14, herunder de tekniske foranstaltninger, der er
indført for at lette brugernes fortolkning af AI-systemets output, samt specifikationer
for inputdata, hvis det er relevant
4. en detaljeret beskrivelse af risikostyringssystemet i overensstemmelse med artikel 9
5. en beskrivelse af eventuelle ændringer af systemet i løbet af dets livscyklus
6. en liste over de helt eller delvis anvendte harmoniserede standarder, hvis referencer
er offentliggjort i Den Europæiske Unions Tidende, samt, hvis disse harmoniserede
standarder ikke er blevet anvendt, detaljerede beskrivelser af de løsninger, der er
anvendt for at opfylde kravene, der er fastsat i afsnit III, kapitel 2, herunder en liste
over andre relevante tekniske specifikationer, som er anvendt
7. en kopi af EU-overensstemmelseserklæringen
8. en detaljeret beskrivelse af det system, der er indført til evaluering af AI-systemets
ydeevne, efter at systemet er bragt i omsætning, jf. artikel 61, herunder planen for
overvågning efter omsætningen, jf. artikel 61, stk. 3.
DA 8 DA
BILAG V
EU-OVERENSSTEMMELSESERKLÆRING
EU-overensstemmelseserklæringen, jf. artikel 48, skal indeholde følgende oplysninger:
1. AI-systemets navn, type og enhver yderligere entydig reference, der gør det muligt at
identificere og spore AI-systemet
2. udbyderens navn og adresse eller, hvis det er relevant, den autoriserede repræsentants
navn og adresse
3. en erklæring om, at EU-overensstemmelseserklæringen udstedes på udbyderens
ansvar
4. en erklæring om, at det pågældende AI-system er i overensstemmelse med denne
forordning og eventuelt med al anden relevant EU-lovgivning, der fastsætter
bestemmelser om udstedelse af en EU-overensstemmelseserklæring
5. referencer til de relevante anvendte harmoniserede standarder eller referencer til
anden fælles specifikation, som der erklæres overensstemmelse med
6. hvis det er relevant, navnet og identifikationsnummeret på det bemyndigede organ,
en beskrivelse af den gennemførte overensstemmelsesvurderingsprocedure og
identifikation af det udstedte certifikat
7. udstedelsessted og -dato for erklæringen, navn og stilling på den person, der har
underskrevet den, samt en angivelse af, for hvem og på hvis vegne vedkommende
har underskrevet, og underskrift.
DA 9 DA
BILAG VI
PROCEDURER FOR OVERENSSTEMMELSESVURDERING BASERET PÅ
INTERN KONTROL
1. Proceduren for overensstemmelsesvurdering baseret på intern kontrol er
overensstemmelsesvurderingsproceduren beskrevet i punkt 2-4
2. Udbyderen kontrollerer, at det etablerede kvalitetsstyringssystem er i
overensstemmelse med kravene i artikel 17.
3. Udbyderen undersøger oplysningerne i den tekniske dokumentation med henblik på
at vurdere, hvorvidt AI-systemet opfylder de relevante væsentlige krav i afsnit III,
kapitel 2.
4. Udbyderen kontrollerer også, at design- og udviklingsprocessen for AI-systemet og
dets overvågning efter omsætningen, jf. artikel 61, er i overensstemmelse med den
tekniske dokumentation.
DA 10 DA
BILAG VII
OVERENSSTEMMELSE BASERET PÅ VURDERING AF
KVALITETSSTYRINGSSYSTEMET OG PÅ VURDERING AF TEKNISK
DOKUMENTATION
1. Indledning
Overensstemmelse baseret på vurdering af kvalitetsstyringssystemet og vurdering af
den tekniske dokumentation er overensstemmelsesvurderingsproceduren beskrevet i
punkt 2-5.
2. Oversigt
Det godkendte kvalitetsstyringssystem for udformning, udvikling og prøvning af AI-
systemer i henhold til artikel 17 undersøges i overensstemmelse med punkt 3 og er
underlagt den i punkt 5 omhandlede kontrol. AI-systemets tekniske dokumentation
undersøges i overensstemmelse med punkt 4.
3. Kvalitetsstyringssystem
3.1. Udbyderens ansøgning skal omfatte:
(a) udbyderens navn og adresse og desuden udbyderens bemyndigede
repræsentants navn og adresse, hvis ansøgningen indgives af denne
(b) listen over AI-systemer, der er omfattet af det samme kvalitetsstyringssystem
(c) den tekniske dokumentation for hvert AI-system, der er omfattet af det samme
kvalitetsstyringssystem
(d) dokumentationen vedrørende kvalitetsstyringssystemet, som skal omfatte alle
de aspekter, der er anført i artikel 17
(e) en beskrivelse af de procedurer, der er indført for at sikre, at
kvalitetsstyringssystemet fortsat vil fungere hensigtsmæssigt og effektivt
(f) en skriftlig erklæring om, at samme ansøgning ikke er blevet indgivet til et
andet bemyndiget organ.
3.2. Det bemyndigede organ vurderer kvalitetsstyringssystemet for at fastslå, om det
opfylder kravene i artikel 17.
Afgørelsen meddeles udbyderen eller dennes bemyndigede repræsentant.
Meddelelsen skal indeholde resultaterne af vurderingen af kvalitetsstyringssystemet
og en begrundelse for afgørelsen.
3.3. Det godkendte kvalitetsstyringssystem skal vedligeholdes af udbyderen, således at
det forbliver hensigtsmæssigt og effektivt.
3.4. Enhver påtænkt ændring af det godkendte kvalitetsstyringssystem eller listen over
AI-systemer, der er omfattet af dette, skal af udbyderen meddeles det bemyndigede
organ.
Det bemyndigede organ vurderer de foreslåede ændringer og afgør, om det ændrede
kvalitetsstyringssystem stadig opfylder de i punkt 3.2 omhandlede krav, eller om en
fornyet vurdering er nødvendig.
Det bemyndigede organ meddeler udbyderen sin afgørelse. Meddelelsen skal
indeholde resultaterne af undersøgelsen af de foreslåede ændringer og en
begrundelse for afgørelsen.
DA 11 DA
4. Kontrol af den tekniske dokumentation
4.1. Ud over den i punkt 3 omhandlede ansøgning, skal udbyderen til det bemyndigede
organ indsende en ansøgning om vurdering af den tekniske dokumentation
vedrørende det AI-system, som denne agter at bringe i omsætning eller ibrugtage, og
som er omfattet af det kvalitetsstyringssystem, der er omhandlet i punkt 3.
4.2. Ansøgningen skal indeholde:
(a) udbyderens navn og adresse
(b) en skriftlig erklæring om, at samme ansøgning ikke er blevet indgivet til et
andet bemyndiget organ
(c) den i bilag IV omhandlede tekniske dokumentation.
4.3. Den tekniske dokumentation vurderes af det bemyndigede organ. I forbindelse med
deres arbejde skal det bemyndigede organ have fuld adgang til de trænings- og
prøvningsdatasæt, der anvendes af udbyderen, herunder via
programmeringsgrænseflader for applikationer ("API'er") eller andre passende midler
og værktøjer, der muliggør fjernadgang.
4.4. I forbindelse med vurderingen af den tekniske dokumentation kan det bemyndigede
organ kræve, at udbyderen fremlægger yderligere dokumentation eller udfører
yderligere prøvninger for at muliggøre en korrekt vurdering af AI-systemets
overensstemmelse med kravene i afsnit III, kapitel 2. Hvis det bemyndigede organ
ikke er tilfreds med de prøvninger, som udbyderen har foretaget, skal det
bemyndigede organ selv foretage de nødvendige prøvninger direkte, hvis det er
relevant.
4.5. Hvis det er nødvendigt for at vurdere, om højrisiko-AI-systemet opfylder kravene i
afsnit III, kapitel 2, skal det bemyndigede organ efter begrundet anmodning gives
adgang til kildekoden for AI-systemet.
4.6. Afgørelsen meddeles udbyderen eller dennes bemyndigede repræsentant.
Meddelelsen skal indeholde resultaterne af vurderingen af den tekniske
dokumentation og en begrundelse for afgørelsen.
Hvis AI-systemet opfylder kravene i afsnit III, kapitel 2, udsteder det bemyndigede
organ et EU-vurderingscertifikat for teknisk dokumentation. Certifikatet skal
indeholde udbyderens navn og adresse, undersøgelseskonklusionerne, eventuelle
betingelser for dets gyldighed og de nødvendige data til identifikation af AI-
systemet.
Certifikatet og bilagene hertil skal indeholde alle relevante oplysninger, der gør det
muligt at vurdere AI-systemets opfyldelse af kravene, herunder, hvis det er relevant,
kontrol under brug.
Hvis AI-systemet ikke opfylder kravene i afsnit III, kapitel 2, afviser det
bemyndigede organ at udstede et EU-vurderingscertifikat for teknisk dokumentation
og oplyser ansøgeren herom og giver en detaljeret begrundelse for afslaget.
Hvis AI-systemet ikke opfylder kravet vedrørende de data, der anvendes til at træne
det, skal AI-systemet gentrænes, inden der ansøges om en ny
overensstemmelsesvurdering. I dette tilfælde skal det bemyndigede organs
begrundede afgørelse om afslag på udstedelse af et EU-vurderingscertifikat for
teknisk dokumentation indeholde specifikke betragtninger om kvaliteten af de data,
DA 12 DA
der er anvendt til at træne AI-systemet, navnlig om årsagerne til, at systemet ikke
opfylder kravene.
4.7. Enhver ændring af AI-systemet, der kan påvirke AI-systemets opfyldelse af kravene
eller systemets tilsigtede formål, skal godkendes af det bemyndigede organ, der
udstedte EU-vurderingscertifikatet for teknisk dokumentation. Udbyderen skal
underrette det bemyndigede organ om sin hensigt om at indføre nogen af ovennævnte
ændringer, eller hvis denne på anden måde bliver opmærksom på forekomsten af
sådanne ændringer. Det bemyndigede organ vurderer de påtænkte ændringer og
afgør, om de påtænkte ændringer kræver en ny overensstemmelsesvurdering i
henhold til artikel 43, stk. 4, eller om de kan behandles ved hjælp af et tillæg til EU-
vurderingscertifikatet for teknisk dokumentation. I sidstnævnte tilfælde vurderer det
bemyndigede organ ændringerne, underretter udbyderen om sin afgørelse og
udsteder, såfremt ændringerne godkendes, et tillæg til EU-vurderingscertifikatet for
teknisk dokumentation til udbyderen.
5. Overvågning af det godkendte kvalitetsstyringssystem
5.1. Formålet med det tilsyn, der udføres af det bemyndigede organ, der er omhandlet i
punkt 3, er at sikre, at udbyderen behørigt opfylder vilkårene og betingelserne i det
godkendte kvalitetsstyringssystem.
5.2. Med henblik på vurdering skal udbyderen give det bemyndigede organ adgang til de
lokaler, hvor udformningen, udviklingen og prøvningen af AI-systemerne finder
sted. Udbyderen skal yderligere give det bemyndigede organ alle nødvendige
oplysninger.
5.3. Det bemyndigede organ aflægger jævnligt kontrolbesøg for at sikre, at udbyderen
vedligeholder og anvender kvalitetsstyringssystemet, og det udsteder en
kontrolrapport til udbyderen. I forbindelse med disse kontrolbesøg kan det
bemyndigede organ foretage yderligere prøvninger af de AI-systemer, for hvilke der
er udstedt et EU-vurderingscertifikat for teknisk dokumentation.
DA 13 DA
BILAG VIII
OPLYSNINGER, DER SKAL INDSENDES VED REGISTRERING AF HØJRISIKO-
AI-SYSTEMER, JF. ARTIKEL 51
De følgende oplysninger skal forelægges og derefter holdes ajourført med hensyn til
højrisiko-AI-systemer, der registreres i overensstemmelse med artikel 51.
1. udbyderens navn, adresse og kontaktoplysninger
2. hvis oplysninger forelægges af en anden person på vegne af udbyderen, denne
persons navn, adresse og kontaktoplysninger
3. den bemyndigede repræsentants navn, adresse og kontaktoplysninger, hvis det er
relevant
4. AI-systemets handelsnavn og enhver yderligere entydig reference, der gør det muligt
at identificere og spore AI-systemet
5. beskrivelse af det tilsigtede formål med AI-systemet
6. AI-systemets status (i omsætning/i drift, ikke længere i omsætning/i drift,
tilbagekaldt)
7. type, nummer og udløbsdato for det certifikat, der er udstedt af det bemyndigede
organ, samt navn eller identifikationsnummer på det pågældende bemyndigede
organ, hvis det er relevant
8. en scannet kopi af det i punkt 7 omhandlede certifikat, hvis det er relevant
9. medlemsstater, hvor AI-systemet bringes i omsætning eller er bragt i omsætning,
ibrugtages eller er taget i brug, gøres tilgængeligt eller er tilgængeligt i Unionen
10. en kopi af den i artikel 48 omhandlede EU-overensstemmelseserklæring
11. brugsanvisninger i elektronisk form, dog gives disse oplysninger ikke for højrisiko-
AI-systemer inden for retshåndhævelse, migrationsstyring, asylforvaltning og
grænsekontrol som omhandlet i bilag III, punkt 1, 6 og 7
12. URL for yderligere oplysninger (valgfrit).
DA 14 DA
BILAG IX
EU-LOVGIVNING OM STORE IT-SYSTEMER INDEN FOR OMRÅDET MED
FRIHED, SIKKERHED OG RETFÆRDIGHED
1. Schengeninformationssystemet
(a) Europa-Parlamentets og Rådets forordning (EU) 2018/1860 af 28. november
2018 om brug af Schengeninformationssystemet i forbindelse med
tilbagesendelse af tredjelandsstatsborgere med ulovligt ophold (EUT L 312 af
7.12.2018, s. 1)
(b) Europa-Parlamentets og Rådets forordning (EU) 2018/1861 af 28. november
2018 om oprettelse, drift og brug af Schengeninformationssystemet (SIS) på
området ind- og udrejsekontrol, om ændring af konventionen om
gennemførelse af Schengenaftalen og om ændring og ophævelse af forordning
(EF) nr. 1987/2006 (EUT L 312 af 7.12.2018, s. 14)
(c) Europa-Parlamentets og Rådets forordning (EU) 2018/1862 af 28. november
2018 om oprettelse, drift og brug af Schengeninformationssystemet (SIS) på
området politisamarbejde og strafferetligt samarbejde, om ændring og
ophævelse af Rådets afgørelse 2007/533/RIA og om ophævelse af Europa-
Parlamentets og Rådets forordning (EF) nr. 1986/2006 og Kommissionens
afgørelse 2010/261/EU (EUT L 312 af 7.12.2018, s. 56).
2. Visuminformationssystemet
(a) Forslag til EUROPA-PARLAMENTETS OG RÅDETS FORORDNING om
ændring af forordning (EF) nr. 767/2008, forordning (EF) nr. 810/2009,
forordning (EU) 2017/2226, forordning (EU) 2016/399, forordning XX/2018
[forordningen om interoperabilitet] og beslutning 2004/512/EF og om
ophævelse af Rådets afgørelse 2008/633/RIA — COM(2018) 302 final.
Ajourføres, når forordningen er vedtaget (april/maj 2021) af medlovgiverne.
3. Eurodac
(a) Ændret forslag til EUROPA-PARLAMENTETS OG RÅDETS
FORORDNING om oprettelse af "Eurodac" til sammenligning af biometriske
oplysninger med henblik på en effektiv anvendelse af forordning (EU)
XXX/XXX [forordningen om asylforvaltning og migrationsstyring] og
forordning (EU) XXX/XXX [genbosætningsforordningen], identificering af en
tredjelandsstatsborger eller en statsløs person med ulovligt ophold og om
medlemsstaternes retshåndhævende myndigheders og Europols adgang til at
indgive anmodning om sammenligning med Eurodacoplysninger med henblik
på retshåndhævelse og om ændring af forordning (EU) 2018/1240 og (EU)
2019/818 — COM(2020) 614 final.
4. Ind- og udrejsesystemet
(a) Europa-Parlamentets og Rådets forordning (EU) 2017/2226 af 30. november
2017 om oprettelse af et ind- og udrejsesystem til registrering af ind- og
udrejseoplysninger og oplysninger om nægtelse af indrejse vedrørende
tredjelandsstatsborgere, der passerer medlemsstaternes ydre grænser, om
fastlæggelse af betingelserne for adgang til ind- og udrejsesystemet til
retshåndhævelsesformål og om ændring af konventionen om gennemførelse af
Schengenaftalen og forordning (EF) nr. 767/2008 og (EU) nr. 1077/2011 (EUT
L 327 af 9.12.2017, s. 20).
DA 15 DA
5. Det europæiske system vedrørende rejseinformation og rejsetilladelse
(a) Europa-Parlamentets og Rådets forordning (EU) 2018/1240 af 12. september
2018 om oprettelse af et europæisk system vedrørende rejseinformation og
rejsetilladelse (ETIAS) og om ændring af forordning (EU) nr. 1077/2011, (EU)
nr. 515/2014, (EU) 2016/399, (EU) 2016/1624 og (EU) 2017/2226 (EUT L 236
af 19.9.2018, s. 1)
(b) Europa-Parlamentets og Rådets forordning (EU) 2018/1241 af 12. september
2018 om ændring af forordning (EU) 2016/794 med henblik på oprettelse af et
europæisk system vedrørende rejseinformation og rejsetilladelse (ETIAS)
(EUT L 236 af 19.9.2018, s. 72).
6. Det europæiske informationssystem vedrørende strafferegistre for statsborgere i
tredjelande og statsløse
(a) Europa-Parlamentets og Rådets forordning (EU) 2019/816 af 17. april 2019 om
oprettelse af et centralt system til bestemmelse af, hvilke medlemsstater der
ligger inde med oplysninger om straffedomme afsagt over
tredjelandsstatsborgere og statsløse personer (ECRIS-TCN) for at supplere det
europæiske informationssystem vedrørende strafferegistre, og om ændring af
forordning (EU) 2018/1726 (EUT L 135 af 22.5.2019, s. 1).
7. Interoperabilitet
(a) Europa-Parlamentets og Rådets forordning (EU) 2019/817 af 20. maj 2019 om
fastsættelse af en ramme for interoperabilitet mellem EU-informationssystemer
vedrørende grænser og visum (EUT L 135 af 22.5.2019, s. 27)
(b) Europa-Parlamentets og Rådets forordning (EU) 2019/818 af 20. maj 2019 om
fastsættelse af en ramme for interoperabilitet mellem EU-informationssystemer
vedrørende politisamarbejde og retligt samarbejde, asyl og migration
(EUT L 135 af 22.5.2019, s. 85).
DA 16 DA