HVIDBOG om kunstig intelligens - en europæisk tilgang til ekspertise og tillid

Tilhører sager:

Aktører:


    1_EN_ACT_part1_v12.pdf

    https://www.ft.dk/samling/20201/kommissionsforslag/kom(2020)0065/forslag/1634988/2152139.pdf

    EN EN
    EUROPEAN
    COMMISSION
    Brussels, 19.2.2020
    COM(2020) 65 final
    WHITE PAPER
    On Artificial Intelligence - A European approach to excellence and trust
    Europaudvalget 2020
    KOM (2020) 0065
    Offentligt
    1
    White Paper on Artificial Intelligence
    A European approach to excellence and trust
    Artificial Intelligence is developing fast. It will change our lives by improving healthcare (e.g. making
    diagnosis more precise, enabling better prevention of diseases), increasing the efficiency of farming,
    contributing to climate change mitigation and adaptation, improving the efficiency of production
    systems through predictive maintenance, increasing the security of Europeans, and in many other ways
    that we can only begin to imagine. At the same time, Artificial Intelligence (AI) entails a number of
    potential risks, such as opaque decision-making, gender-based or other kinds of discrimination,
    intrusion in our private lives or being used for criminal purposes.
    Against a background of fierce global competition, a solid European approach is needed, building on
    the European strategy for AI presented in April 20181
    . To address the opportunities and challenges of
    AI, the EU must act as one and define its own way, based on European values, to promote the
    development and deployment of AI.
    The Commission is committed to enabling scientific breakthrough, to preserving the EU’s
    technological leadership and to ensuring that new technologies are at the service of all Europeans –
    improving their lives while respecting their rights.
    Commission President Ursula von der Leyen announced in her political Guidelines2
    a coordinated
    European approach on the human and ethical implications of AI as well as a reflection on the better
    use of big data for innovation.
    Thus, the Commission supports a regulatory and investment oriented approach with the twin objective
    of promoting the uptake of AI and of addressing the risks associated with certain uses of this new
    technology. The purpose of this White Paper is to set out policy options on how to achieve these
    objectives. It does not address +the development and use of AI for military purposes.The Commission
    invites Member States, other European institutions, and all stakeholders, including industry, social
    partners, civil society organisations, researchers, the public in general and any interested party, to react
    to the options below and to contribute to the Commission’s future decision-making in this domain.
    1. INTRODUCTION
    As digital technology becomes an ever more central part of every aspect of people’s lives, people
    should be able to trust it. Trustworthiness is also a prerequisite for its uptake. This is a chance for
    Europe, given its strong attachment to values and the rule of law as well as its proven capacity to build
    safe, reliable and sophisticated products and services from aeronautics to energy, automotive and
    medical equipment.
    Europe’s current and future sustainable economic growth and societal wellbeing increasingly draws on
    value created by data. AI is one of the most important applications of the data economy. Today most
    data are related to consumers and are stored and processed on central cloud-based infrastructure. By
    contrast a large share of tomorrow’s far more abundant data will come from industry, business and the
    public sector, and will be stored on a variety of systems, notably on computing devices working at the
    edge of the network. This opens up new opportunities for Europe, which has a strong position in
    1
    AI for Europe, COM/2018/237 final
    2
    https://ec.europa.eu/commission/sites/beta-political/files/political-guidelines-next-commission_en.pdf.
    2
    digitised industry and business-to-business applications, but a relatively weak position in consumer
    platforms.
    Simply put, AI is a collection of technologies that combine data, algorithms and computing power.
    Advances in computing and the increasing availability of data are therefore key drivers of the current
    upsurge of AI. Europe can combine its technological and industrial strengths with a high-quality
    digital infrastructure and a regulatory framework based on its fundamental values to become a global
    leader in innovation in the data economy and its applications as set out in the European data
    strategy3
    . On that basis, it can develop an AI ecosystem that brings the benefits of the technology to
    the whole of European society and economy:
     for citizens to reap new benefits for example improved health care, fewer breakdowns of
    household machinery, safer and cleaner transport systems, better public services;
     for business development, for example a new generation of products and services in areas
    where Europe is particularly strong (machinery, transport, cybersecurity, farming, the green
    and circular economy, healthcare and high-value added sectors like fashion and tourism); and
     for services of public interest, for example by reducing the costs of providing services
    (transport, education, energy and waste management), by improving the sustainability of
    products4
    and by equipping law enforcement authorities with appropriate tools to ensure the
    security of citizens5
    , with proper safeguards to respect their rights and freedoms.
    Given the major impact that AI can have on our society and the need to build trust, it is vital that
    European AI is grounded in our values and fundamental rights such as human dignity and privacy
    protection.
    Furthermore, the impact of AI systems should be considered not only from an individual perspective,
    but also from the perspective of society as a whole. The use of AI systems can have a significant role
    in achieving the Sustainable Development Goals, and in supporting the democratic process and social
    rights. With its recent proposals on the European Green Deal6
    , Europe is leading the way in tackling
    climate and environmental-related challenges. Digital technologies such as AI are a critical enabler for
    attaining the goals of the Green Deal. Given the increasing importance of AI, the environmental
    impact of AI systems needs to be duly considered throughout their lifecycle and across the entire
    supply chain, e.g. as regards resource usage for the training of algorithms and the storage of data.
    A common European approach to AI is necessary to reach sufficient scale and avoid the fragmentation
    of the single market. The introduction of national initiatives risks to endanger legal certainty, to
    weaken citizens’ trust and to prevent the emergence of a dynamic European industry.
    This White Paper presents policy options to enable a trustworthy and secure development of AI in
    Europe, in full respect of the values and rights of EU citizens. The main building blocks of this White
    Paper are:
    3
    COM(2020) 66 final.
    4
    AI and digitalisation in general are critical enablers of Europe’s Green deal ambitions. However, the current environmental
    footprint of the ICT sector is estimated at more than 2% of all global emissions. The European digital strategy
    accompanying this White Paper proposes green transformation measures for digital.
    5
    AI tools can provide an opportunity for better protecting EU citizens from crime and acts of terrorism.
    Such tools could, for example, help identify online terrorist propaganda, discover suspicious transactions in the sales of
    dangerous products, identify dangerous hidden objects or illicit substances or products, offer assistance to citizens in
    emergencies and help guide first responders.
    6
    COM(2019) 640 final.
    3
     The policy framework setting out measures to align efforts at European, national and regional
    level. In partnership between the private and the public sector, the aim of the framework is to
    mobilise resources to achieve an ‘ecosystem of excellence’ along the entire value chain,
    starting in research and innovation, and to create the right incentives to accelerate the adoption
    of solutions based on AI, including by small and medium-sized enterprises (SMEs).
     The key elements of a future regulatory framework for AI in Europe that will create a unique
    ‘ecosystem of trust’. To do so, it must ensure compliance with EU rules, including the rules
    protecting fundamental rights and consumers’ rights, in particular for AI systems operated in
    the EU that pose a high risk7
    . Building an ecosystem of trust is a policy objective in itself, and
    should give citizens the confidence to take up AI applications and give companies and public
    organisations the legal certainty to innovate using AI. The Commission strongly supports a
    human-centric approach based on the Communication on Building Trust in Human-Centric
    AI8
    and will also take into account the input obtained during the piloting phase of the Ethics
    Guidelines prepared by the High-Level Expert Group on AI.
    The European strategy for data, which accompanies this White Paper, aims to enable Europe to
    become the most attractive, secure and dynamic data-agile economy in the world – empowering
    Europe with data to improve decisions and better the lives of all its citizens. The strategy sets out a
    number of policy measures, including mobilising private and public investments, needed to achieve
    this goal. Finally, the implications of AI, Internet of Things and other digital technologies for safety
    and liability legislation are analysed in the Commission Report accompanying this White Paper.
    2. CAPITALISING ON STRENGTHS IN INDUSTRIAL AND PROFESSIONAL MARKETS
    Europe is well placed to benefit from the potential of AI, not only as a user but also as a creator and a
    producer of this technology. It has excellent research centres, innovative start-ups, a world-leading
    position in robotics and competitive manufacturing and services sectors, from automotive to
    healthcare, energy, financial services and agriculture. Europe has developed a strong computing
    infrastructure (e.g. high-performance computers), essential to the functioning of AI. Europe also holds
    large volumes of public and industrial data, the potential of which is currently under-used. It has well-
    recognised industrial strengths in safe and secure digital systems with low-power consumption that are
    essential for the further development of AI.
    Harnessing the capacity of the EU to invest in next generation technologies and infrastructures, as well
    as in digital competences like data literacy, will increase Europe’s technological sovereignty in key
    enabling technologies and infrastructures for the data economy. The infrastructures should support the
    creation of European data pools enabling trustworthy AI, e.g. AI based on European values and rules.
    Europe should leverage its strengths to expand its position in the ecosystems and along the value chain,
    from certain hardware manufacturing sectors to software all the way to services. This is already
    happening to an extent. Europe produces more than a quarter of all industrial and professional service
    robots (e.g. for precision farming, security, health, logistics.), and plays an important role in
    developing and using software applications for companies and organisations (business-to-business
    applications such as Enterprise Resource Planning, design and engineering software) as well as
    applications to support e-government and the "intelligent enterprise".
    7
    Although further arrangements may need to be put in place to prevent and counter misuse of AI for criminal purposes, this
    is outside the scope of this white paper.
    8
    COM(2019) 168.
    4
    Europe leads the way in deploying AI in manufacturing. Over half of the top manufacturers implement
    at least one instance of AI in manufacturing operations9
    .
    One reason for Europe’s strong position in terms of research is the EU funding programme that has
    proven instrumental in pooling action, avoiding duplications, and leveraging public and private
    investments in the Member States. Over the past three years, EU funding for research and innovation
    for AI has risen to €1.5 billion, i.e. a 70% increase compared to the previous period.
    However, investment in research and innovation in Europe is still a fraction of the public and private
    investment in other regions of the world. Some €3.2 billion were invested in AI in Europe in 2016,
    compared to around €12.1 billion in North America and €6.5 billion in Asia10
    . In response, Europe
    needs to increase its investment levels significantly. The Coordinated plan on AI11
    developed with
    Member States is proving to be a good starting point in building closer cooperation on AI in Europe
    and in creating synergies to maximise investment in the AI value chain.
    3. SEIZING THE OPPORTUNITIES AHEAD: THE NEXT DATA WAVE
    Although Europe currently is in a weaker position in consumer applications and on online platforms,
    which results in a competitive disadvantage in data access, major shifts in the value and re-use of data
    across sectors are underway. The volume of data produced in the world is growing rapidly, from 33
    zettabytes in 2018 to an expected 175 zettabytes in 2025 12
    . Each new wave of data brings
    opportunities for Europe to position itself in the data-agile economy and to become a world leader in
    this area. Furthermore, the way in which data are stored and processed will change dramatically over
    the coming five years. Today 80% of data processing and analysis that takes place in the cloud occurs
    in data centres and centralised computing facilities, and 20% in smart connected objects, such as cars,
    home appliances or manufacturing robots, and in computing facilities close to the user (“edge
    computing”). By 2025 these proportions are set to change markedly13
    .
    Europe is a global leader in low-power electronics which is key for the next generation of specialised
    processors for AI. This market is currently dominated by non-EU players. This could change with the
    help of initiatives such as the European Processor Initiative, which focuses on developing low-power
    computing systems for both edge and next generation high-performance computing, and the work of
    the Key Digital Technology Joint Undertaking, proposed to start in 2021. Europe also leads in
    neuromorphic solutions14
    that are ideally suited to automating industrial processes (industry 4.0) and
    transport modes. They can improve energy efficiency by several orders of magnitude.
    Recent advances in quantum computing will generate exponential increases in processing capacity15
    .
    Europe can be at the forefront of this technology thanks to its academic strengths in quantum
    computing, as well as European industry’s strong position in quantum simulators and programming
    environments for quantum computing. European initiatives that aim to increase the availability of
    quantum testing and experimentation facilities will help apply these new quantum solutions to a
    number of industrial and academic sectors.
    9
    Followed by Japan (30%) and the US (28%). Source: CapGemini (2019).
    10
    10 imperatives for Europe in the age of AI and automation, McKinsey (2017).
    11
    COM(2018) 795.
    12
    IDC (2019).
    13
    Gartner (2017).
    14
    Neuromorphic solutions means any very large-scale system of integrated circuits that mimic neuro-biological architectures
    present in the nervous system.
    15
    Quantum computers will have the capacity to process in less than seconds many fold larger data sets than today’s highest
    performance computers allowing for the development of new AI applications across sectors.
    5
    In parallel, Europe will continue to lead progress in the algorithmic foundations of AI, building on its
    own scientific excellence. There is a need to build bridges between disciplines that currently work
    separately, such as machine learning and deep learning (characterised by limited interpretability, the
    need for a large volume of data to train the models and learn through correlations) and symbolic
    approaches (where rules are created through human intervention). Combining symbolic reasoning with
    deep neural networks may help us improve explainability of AI outcomes.
    4. AN ECOSYSTEM OF EXCELLENCE
    To build an ecosystem of excellence that can support the development and uptake of AI across the EU
    economy and public administration, there is a need to step up action at multiple levels.
    A. WORKING WITH MEMBER STATES
    Delivering on its strategy on AI adopted in April 2018,16
    in December 2018 the Commission presented
    a Coordinated Plan - prepared together with the Member States - to foster the development and use of
    AI in Europe17
    .
    This plan proposes some 70 joint actions for closer and more efficient cooperation between Member
    States, and the Commission in key areas, such as research, investment, market uptake, skills and talent,
    data and international cooperation. The plan is scheduled to run until 2027, with regular monitoring
    and review.
    The aim is to maximise the impact of investment in research, innovation and deployment, assess
    national AI strategies and build on and extend the Coordinated Plan on AI with Member States:
     Action 1: The Commission, taking into account the results of the public consultation on the
    White Paper, will propose to the Member States a revision of the Coordinated Plan to be
    adopted by end 2020
    EU-level funding in AI should attract and pool investment in areas where the action required goes
    beyond what any single Member State can achieve. The objective is to attract over €20 billion18
    of
    total investment in the EU per year in AI over the next decade. To stimulate private and public
    investment, the EU will make available resources from the Digital Europe Programme, Horizon
    Europe as well as from the European Structural and Investment Funds to address the needs of less-
    developed regions as well as rural areas.
    The Coordinated Plan could also address societal and environmental well-being as a key principle for
    AI. AI systems promise to help tackling the most pressing concerns, including climate change and
    environmental degradation. It is also important that this happens in an environmentally friendly
    manner. AI can and should itself critically examine resource usage and energy consumption and be
    trained to make choices that are positive for the environment. The Commission will consider options
    to encourage and promote AI solutions that do this together with the Member States.
    16
    Artificial Intelligence for Europe, COM(2018) 237.
    17
    Coordinated Plan on Artificial Intelligence, COM(2018) 795.
    18
    COM(2018) 237.
    6
    B. FOCUSING THE EFFORTS OF THE RESEARCH AND INNOVATION COMMUNITY
    Europe cannot afford to maintain the current fragmented landscape of centres of competence with
    none reaching the scale necessary to compete with the leading institutes globally. It is imperative to
    create more synergies and networks between the multiple European research centres on AI and to align
    their efforts to improve excellence, retain and attract the best researchers and develop the best
    technology. Europe needs a lighthouse centre of research, innovation and expertise that would
    coordinate these efforts and be a world reference of excellence in AI and that can attract investments
    and the best talents in the field.
    The centres and the networks should concentrate in sectors where Europe has the potential to become
    a global champion such as industry, health, transport, finance, agrifood value chains,
    energy/environment, forestry, earth observation and space. In all these domains, the race for global
    leadership is ongoing, and Europe offers significant potential, knowledge and expertise19
    . Equally
    important is to create testing and experimentation sites to support the development and subsequent
    deployment of novel AI applications.
     Action 2: the Commission will facilitate the creation of excellence and testing centres that can
    combine European, national and private investments, possibly including a new legal
    instrument. The Commission has proposed an ambitious and dedicated amount to support
    world reference testing centres in Europe under the Digital Europe Programme and
    complemented where appropriate by research and innovation actions of Horizon Europe as
    part of the Multiannual Financial Framework for 2021 to 2027.
    C. SKILLS
    The European approach to AI will need to be underpinned by a strong focus on skills to fill
    competence shortages.20
    The Commission will soon present a reinforcement of the Skills Agenda,
    which aims to ensure that everyone in Europe can benefit from the green and digital transformations of
    the EU economy. Initiatives could also include the support of sectoral regulators to enhance their AI
    skills in order to effectively and efficiently implement relevant rules. The updated Digital Education
    Action Plan will help make better use of data and AI-based technologies such as learning and
    predictive analytics with the aim to improve education and training systems and make them fit for the
    digital age. The Plan will also increase awareness of AI at all levels of education in order to prepare
    citizens for informed decisions that will be increasingly affected by AI.
    Developing the skills necessary to work in AI and upskilling the workforce to become fit for the AI-
    led transformation will be a priority of the revised Coordinated Plan on AI to be developed with
    Member States. This could include transforming the assessment list of the ethical guidelines into an
    indicative “curriculum” for developers of AI that will be made available as a resource for training
    institutions. Particular efforts should be undertaken to increase the number of women trained and
    employed in this area.
    In addition, a lighthouse centre of research and innovation for AI in Europe would attract talent from
    all over the world due to the possibilities it could offer. It would also develop and spread excellence in
    skills that take root and grow across Europe.
    19
    The future European Defence Fund and Permanent Structured Cooperation (PESCO) will also provide opportunities for
    research and development in AI. These projects
    should be synchronized with the wider EU civilian programmes devoted to AI.
    20
    https://ec.europa.eu/jrc/en/publication/academic-offer-and-demand-advanced-profiles-eu
    7
     Action 3: Establish and support through the advanced skills pillar of the Digital Europe
    Programme networks of leading universities and higher education institutes to attract the best
    professors and scientists and offer world-leading masters programmes in AI.
    Beyond upskilling, workers and employers are directly affected by the design and use of AI systems in
    the workplace. The involvement of social partners will be a crucial factor in ensuring a human-centred
    approach to AI at work.
    D. FOCUS ON SMES
    It will also be important to ensure that SMEs can access and use AI. To this end, the Digital
    Innovation Hubs 21
    and the AI-on-demand platform 22
    should be strengthened further and foster
    collaboration between SMEs. The Digital Europe Programme will be instrumental in achieving this.
    While all Digital Innovation Hubs should provide support to SMEs to understand and adopt AI, it will
    be important that at least one innovation hub per Member State has a high degree of specialisation in
    AI.
    SMEs and start-ups will need access to finance in order to adapt their processes or to innovate using
    AI. Building on the forthcoming pilot investment fund of €100 million in AI and blockchain, the
    Commission plans to further scale up access to finance in AI under InvestEU23
    . AI is explicitly
    mentioned among the eligible areas for the use of the InvestEU guarantee.
     Action 4: the Commission will work with Member States to ensure that at least one digital
    innovation hub per Member State has a high degree of specialisation on AI. Digital
    Innovation Hubs can be supported under the Digital Europe Programme.
     The Commission and the European Investment Fund will launch a pilot scheme of €100
    million in Q1 2020 to provide equity financing for innovative developments in AI. Subject to
    final agreement on the MFF, the Commission’s intention is to scale it up significantly from
    2021 through InvestEU.
    E. PARTNERSHIP WITH THE PRIVATE SECTOR
    It is also essential to make sure that the private sector is fully involved in setting the research and
    innovation agenda and provides the necessary level of co-investment. This requires setting up a broad-
    based public private partnership, and securing the commitment of the top management of companies.
     Action 5: In the context of Horizon Europe, the Commission will set up a new public private
    partnership in AI, data and robotics to combine efforts, ensure coordination of research and
    innovation in AI, collaborate with other public-private partnerships in Horizon Europe and
    work together with the testing facilities and the Digital Innovation Hubs mentioned above.
    21
    ec.europe.eu/digital-single-market/en/news/digital-innovation-hubs-helping-companies-across-economy-make-most-
    digital-opportunities.
    22
    www.Ai4eu.eu.
    23
    Europe.eu/investeu.
    8
    F. PROMOTING THE ADOPTION OF AI BY THE PUBLIC SECTOR
    It is essential that public administrations, hospitals, utility and transport services, financial supervisors,
    and other areas of public interest rapidly begin to deploy products and services that rely on AI in their
    activities. A specific focus will be in the areas of healthcare and transport where technology is mature
    for large-scale deployment.
     Action 6: The Commission will initiate open and transparent sector dialogues giving priority
    to healthcare, rural administrations and public service operators in order to present an action
    plan to facilitate development, experimentation and adoption. The sector dialogues will be
    used to prepare a specific ‘Adopt AI programme’ that will support public procurement of AI
    systems, and help to transform public procurement processes themselves.
    G. SECURING ACCESS TO DATA AND COMPUTING INFRASTRUCTURES
    The areas for action set out in this White Paper are complementary to the plan presented in parallel
    under the European data strategy. Improving access to and the management of data is fundamental.
    Without data, the development of AI and other digital applications is not possible. The enormous
    volume of new data yet to be generated constitutes an opportunity for Europe to position itself at the
    forefront of the data and AI transformation. Promoting responsible data management practices and
    compliance of data with the FAIR principles will contribute to build trust and ensure re-usability of
    data24
    . Equally important is investment in key computing technologies and infrastructures.
    The Commission has proposed more than €4 billion under the Digital Europe Programme to support
    high-performance and quantum computing, including edge computing and AI, data and cloud
    infrastructure. The European data strategy develops these priorities further.
    H. INTERNATIONAL ASPECTS
    Europe is well positioned to exercise global leadership in building alliances around shared values and
    promoting the ethical use of AI. The EU's work on AI has already influenced international discussions.
    When developing its ethical guidelines, the High-Level Expert Group involved a number of non-EU
    organisations and several governmental observers. In parallel, the EU was closely involved in
    developing the OECD’s ethical principles for AI25
    . The G20 subsequently endorsed these principles in
    its June 2019 Ministerial Statement on Trade and Digital Economy.
    In parallel, the EU recognises that important work on AI is ingoing in other multilateral fora, including
    the Council of Europe, the United Nations Educational Scientific and Cultural Organization
    (UNESCO), the Organisation for Economic Co-operation and Development’s (OECD), the World
    Trade Organisation and the International Telecommunications Union (ITU). At the UN, the EU is
    involved in the follow-up of the report of the High-Level Panel on Digital Cooperation, including its
    recommendation on AI.
    The EU will continue to cooperate with like-minded countries, but also with global players, on AI,
    based on an approach based on EU rules and values (e.g. supporting upward regulatory convergence,
    accessing key resources including data, creating a level playing field). The Commission will closely
    monitor the policies of third countries that limit data flows and will address undue restrictions in
    24
    Findable, Accessible, Interoperable and Reusable as stated in the Final Report and Action Plan from the Commission
    Expert Group on FAIR data, 2018, https://ec.europa.eu/info/sites/info/files/turning_fair_into_reality_1.pdf.
    25
    https://www.oecd.org/going-digital/ai/principles/
    9
    bilateral trade negotiations and through action in the context of the World Trade Organization. The
    Commission is convinced that international cooperation on AI matters must be based on an approach
    that promotes the respect of fundamental rights, including human dignity, pluralism, inclusion, non-
    discrimination and protection of privacy and personal data26
    and it will strive to export its values
    across the world27
    . It is also clear that the responsible development and use of AI can be a driving
    force to achieve the Sustainable Development Goals and advance the 2030 Agenda.
    5. AN ECOSYSTEM OF TRUST: REGULATORY FRAMEWORK FOR AI
    As with any new technology, the use of AI brings both opportunities and risks. Citizens fear being left
    powerless in defending their rights and safety when facing the information asymmetries of algorithmic
    decision-making, and companies are concerned by legal uncertainty. While AI can help protect
    citizens' security and enable them to enjoy their fundamental rights, citizens also worry that AI can
    have unintended effects or even be used for malicious purposes. These concerns need to be addressed.
    Moreover, in addition to a lack of investment and skills, lack of trust is a main factor holding back a
    broader uptake of AI.
    That is why the Commission set out an AI strategy28
    on 25 April 2018 addressing the socioeconomic
    aspects in parallel with an increase in investment in research, innovation and AI-capacity across the
    EU. It agreed a Coordinated Plan29
    with the Member States to align strategies. The Commission also
    established a High-Level Expert Group that published Guidelines on trustworthy AI in April 201930
    .
    The Commission published a Communication31
    welcoming the seven key requirements identified in
    the Guidelines of the High-Level Expert Group:
     Human agency and oversight,
     Technical robustness and safety,
     Privacy and data governance,
     Transparency,
     Diversity, non-discrimination and fairness,
     Societal and environmental wellbeing, and
     Accountability.
    In addition, the Guidelines contain an assessment list for practical use by companies. During the
    second half of 2019, over 350 organisations have tested this assessment list and sent feedback. The
    High-Level Group is in the process of revising its guidelines in light of this feedback and will finalise
    this work by June 2020. A key result of the feedback process is that while a number of the
    requirements are already reflected in existing legal or regulatory regimes, those regarding transparency,
    traceability and human oversight are not specifically covered under current legislation in many
    economic sectors.
    On top of this set of non-binding Guidelines of the High-Level Expert Group, and in line with the
    President’s political guidelines, a clear European regulatory framework would build trust among
    26
    Under the Partnership Instrument, the Commission will finance a €2.5 million project that will facilitate cooperation with
    like-minded partners, in order to promote the EU AI ethical guidelines and to adopt common principles and operational
    conclusions.
    27
    President Von der Leyen, A Union that strives for more – My agenda for Europe, page 17.
    28
    COM(2018) 237.
    29
    COM(2018) 795.
    30
    https://ec.europa.eu/futurium/en/ai-alliance-consultation/guidelines#Top
    31
    COM(2019) 168.
    10
    consumers and businesses in AI, and therefore speed up the uptake of the technology. Such a
    regulatory framework should be consistent with other actions to promote Europe’s innovation capacity
    and competitiveness in this field. In addition, it must ensure socially, environmentally and
    economically optimal outcomes and compliance with EU legislation, principles and values. This is
    particularly relevant in areas where citizens’ rights may be most directly affected, for example in the
    case of AI applications for law enforcement and the judiciary.
    Developers and deployers of AI are already subject to European legislation on fundamental rights (e.g.
    data protection, privacy, non-discrimination), consumer protection, and product safety and liability
    rules. Consumers expect the same level of safety and respect of their rights whether or not a product or
    a system relies on AI. However, some specific features of AI (e.g. opacity) can make the application
    and enforcement of this legislation more difficult. For this reason, there is a need to examine whether
    current legislation is able to address the risks of AI and can be effectively enforced, whether
    adaptations of the legislation are needed, or whether new legislation is needed.
    Given how fast AI is evolving, the regulatory framework must leave room to cater for further
    developments. Any changes should be limited to clearly identified problems for which feasible
    solutions exist.
    Member States are pointing at the current absence of a common European framework. The German
    Data Ethics Commission has called for a five-level risk-based system of regulation that would go from
    no regulation for the most innocuous AI systems to a complete ban for the most dangerous ones.
    Denmark has just launched the prototype of a Data Ethics Seal. Malta has introduced a voluntary
    certification system for AI. If the EU fails to provide an EU-wide approach, there is a real risk of
    fragmentation in the internal market, which would undermine the objectives of trust, legal certainty
    and market uptake.
    A solid European regulatory framework for trustworthy AI will protect all European citizens and help
    create a frictionless internal market for the further development and uptake of AI as well as
    strengthening Europe’s industrial basis in AI.
    A. PROBLEM DEFINITION
    While AI can do much good, including by making products and processes safer, it can also do harm.
    This harm might be both material (safety and health of individuals, including loss of life, damage to
    property) and immaterial (loss of privacy, limitations to the right of freedom of expression, human
    dignity, discrimination for instance in access to employment), and can relate to a wide variety of risks.
    A regulatory framework should concentrate on how to minimise the various risks of potential harm, in
    particular the most significant ones.
    The main risks related to the use of AI concern the application of rules designed to protect
    fundamental rights (including personal data and privacy protection and non-discrimination), as well as
    safety32
    and liability-related issues.
    32
    This includes issues of cybersecurity, issues associated with AI applications in critical infrastructures, or malicious use of
    AI.
    11
    Risks for fundamental rights, including personal data and privacy protection and non-
    discrimination
    The use of AI can affect the values on which the EU is founded and lead to breaches of fundamental
    rights33
    , including the rights to freedom of expression, freedom of assembly, human dignity, non-
    discrimination based on sex, racial or ethnic origin, religion or belief, disability, age or sexual
    orientation, as applicable in certain domains, protection of personal data and private life, 34
    or the right
    to an effective judicial remedy and a fair trial, as well as consumer protection. These risks might result
    from flaws in the overall design of AI systems (including as regards human oversight) or from the use
    of data without correcting possible bias (e.g. the system is trained using only or mainly data from men
    leading to suboptimal results in relation to women).
    AI can perform many functions that previously could only be done by humans. As a result, citizens
    and legal entities will increasingly be subject to actions and decisions taken by or with the assistance
    of AI systems, which may sometimes be difficult to understand and to effectively challenge where
    necessary. Moreover, AI increases the possibilities to track and analyse the daily habits of people. For
    example, there is a potential risk that AI may be used, in breach of EU data protection and other rules,
    by state authorities or other entities for mass surveillance and by employers to observe how their
    employees behave. By analysing large amounts of data and identifying links among them, AI may also
    be used to retrace and de-anonymise data about persons, creating new personal data protection risks
    even in respect to datasets that per se do not include personal data. AI is also used by online
    intermediaries to prioritise information for their users and to perform content moderation. The
    processed data, the way applications are designed and the scope for human intervention can affect the
    rights to free expression, personal data protection, privacy, and political freedoms.
    Bias and discrimination are inherent risks of any societal or economic activity. Human decision-
    making is not immune to mistakes and biases. However, the same bias when present in AI could have
    a much larger effect, affecting and discriminating many people without the social control mechanisms
    that govern human behaviour35
    . This can also happen when the AI system ‘learns’ while in operation.
    33
    Council of Europe research shows that a large number of fundamental rights could be impacted from the use of AI,
    https://rm.coe.int/algorithms-and-human-rights-en-rev/16807956b5.
    34
    The General Data Protection Regulation and the ePrivacy Directive (new ePrivacy Regulation under negotiation) address
    these risks but there might be a need to examine whether AI systems pose additional risks. The Commission will be
    monitoring and assessing the application of the GDPR on a continuous basis.
    35
    The Commission’s Advisory Committee on Equal Opportunities for Women and Men is currently preparing an “Opinion
    on Artificial Intelligence” analysing inter alia the impacts of Artificial Intelligence on gender equality which is expected
    Certain AI algorithms, when exploited for predicting criminal recidivism, can display gender and racial bias,
    demonstrating different recidivism prediction probability for women vs men or for nationals vs foreigners.
    Source: Tolan S., Miron M., Gomez E. and Castillo C. "Why Machine Learning May Lead to Unfairness:
    Evidence from Risk Assessment for Juvenile Justice in Catalonia", Best Paper Award, International
    Conference on AI and Law, 2019
    Certain AI programmes for facial analysis display gender and racial bias, demonstrating low errors for
    determining the gender of lighter-skinned men but high errors in determining gender for darker-skinned
    women. Source: Joy Buolamwini, Timnit Gebru; Proceedings of the 1st Conference on Fairness,
    Accountability and Transparency, PMLR 81:77-91, 2018.
    12
    In such cases, where the outcome could not have been prevented or anticipated at the design phase, the
    risks will not stem from a flaw in the original design of the system but rather from the practical
    impacts of the correlations or patterns that the system identifies in a large dataset.
    The specific characteristics of many AI technologies, including opacity (‘black box-effect’),
    complexity, unpredictability and partially autonomous behaviour, may make it hard to verify
    compliance with, and may hamper the effective enforcement of, rules of existing EU law meant to
    protect fundamental rights. Enforcement authorities and affected persons might lack the means to
    verify how a given decision made with the involvement of AI was taken and, therefore, whether the
    relevant rules were respected. Individuals and legal entities may face difficulties with effective access
    to justice in situations where such decisions may negatively affect them.
    Risks for safety and the effective functioning of the liability regime
    AI technologies may present new safety risks for users when they are embedded in products and
    services. For example, as result of a flaw in the object recognition technology, an autonomous car can
    wrongly identify an object on the road and cause an accident involving injuries and material damage.
    As with the risks to fundamental rights, these risks can be caused by flaws in the design of the AI
    technology, be related to problems with the availability and quality of data or to other problems
    stemming from machine learning. While some of these risks are not limited to products and services
    that rely on AI , the use of AI may increase or aggravate the risks.
    A lack of clear safety provisions tackling these risks may, in addition to risks for the individuals
    concerned, create legal uncertainty for businesses that are marketing their products involving AI in
    the EU. Market surveillance and enforcement authorities may find themselves in a situation where
    they are unclear as to whether they can intervene, because they may not be empowered to act and/or
    don’t have the appropriate technical capabilities for inspecting systems36
    . Legal uncertainty may
    therefore reduce overall levels of safety and undermine the competitiveness of European companies.
    If the safety risks materialise, the lack of clear requirements and the characteristics of AI technologies
    mentioned above make it difficult to trace back potentially problematic decisions made with the
    involvement of AI systems. This in turn may make it difficult for persons having suffered harm to
    obtain compensation under the current EU and national liability legislation.37
    to be adopted by the Committee in early 2020. The EU Gender Equality Strategy 2020-2024 also addresses the link
    between AI on gender equality; The European Network of Equality Bodies (Equinet) will publish a report (by Robin
    Allen and Dee Masters) on “Regulating AI: the new role for Equality Bodies – Meeting the new challenges to equality
    and non-discrimination from increased digitalisation and the use of AI”, expected early 2020.
    36
    An example may be the smart watch for children. This product may cause no direct harm to the child wearing it, but
    lacking a minimum level of security, it can be easily used as a tool to have access to the child. Market surveillance
    authorities may find it difficult to intervene in cases where the risk is not linked to the product as such.
    37
    The implications of AI, Internet of Things and other digital technologies for safety and liability legislation are analysed in
    the Commission Report accompanying this White Paper.
    13
    Thus, the difficulty of tracing back potentially problematic decisions taken by AI systems and referred
    to above in relation to fundamental rights applies equally to safety and liability-related issues. Persons
    having suffered harm may not have effective access to the evidence that is necessary to build a case in
    court, for instance, and may have less effective redress possibilities compared to situations where the
    damage is caused by traditional technologies. These risks will increase as the use of AI becomes more
    widespread.
    B. POSSIBLE ADJUSTMENTS TO EXISTING EU LEGISLATIVE FRAMEWORK RELATING TO AI
    An extensive body of existing EU product safety and liability legislation38
    , including sector-specific
    rules, further complemented by national legislation, is relevant and potentially applicable to a number
    of emerging AI applications.
    As regards the protection of fundamental rights and consumer rights, the EU legislative framework
    includes legislation such as the Race Equality Directive39
    , the Directive on equal treatment in
    employment and occupation40
    , the Directives on equal treatment between men and women in relation
    to employment and access to goods and services41
    , a number of consumer protection rules42
    , as well as
    rules on personal data protection and privacy, notably the General Data Protection Regulation and
    other sectorial legislation covering personal data protection, such as the Data Protection Law
    Enforcement Directive43
    . In addition, as from 2025, the rules on accessibility requirements for goods
    and services, set out in the European Accessibility Act will apply44
    . In addition, fundamental rights
    need to be respected when implementing other EU legislation, including in the field of financial
    services, migration or responsibility of online intermediaries.
    While the EU legislation remains in principle fully applicable irrespective of the involvement of AI, it
    is important to assess whether it can be enforced adequately to address the risks that AI systems create,
    or whether adjustments are needed to specific legal instruments.
    For example, economic actors remain fully responsible for the compliance of AI to existing rules that
    protects consumers, any algorithmic exploitation of consumer behaviour in violation of existing rules
    shall be not permitted and violations shall be accordingly punished.
    The Commission is of the opinion that the legislative framework could be improved to address the
    following risks and situations:
    38
    The EU legal framework for product safety consists of the General Product Safety Directive (Directive 2001/95/EC), as a
    safety net, and a number of sector-specific rules covering different categories of products ranging from machines, planes
    and cars to toys and medical devices aiming to provide a high level of health and safety. Product liability law is
    complemented by different systems of civil liability for damages caused by products or services.
    39
    Directive 2000/43/EC.
    40
    Directive 2000/78/EC.
    41
    Directive 2004/113/EC; Directive 2006/54/EC.
    42
    Such as the Unfair Commercial Practices Directive (Directive 2005/29/EC) and the Consumer Rights Directive (Directive
    2011/83/EC).
    43
    Directive (EU) 2016/680 of the European Parliament and of the Council of 27 April 2016 on the protection of natural
    persons with regard to the processing of personal data by competent authorities for the purposes of the prevention,
    investigation, detection or prosecution of criminal offences or the execution of criminal penalties, and on the free
    movement of such data.
    44
    Directive (EU) 2019/882 on the accessibility requirements for products and services.
    Under the Product Liability Directive, a manufacturer is liable for damage caused by a defective product.
    However, in the case of an AI based system such as autonomous cars, it may be difficult to prove that there is
    a defect in the product, the damage that has occurred and the causal link between the two. In addition, there is
    some uncertainty about how and to what extent the Product Liability Directive applies in the case of certain
    types of defects, for example if these result from weaknesses in the cybersecurity of the product.
    14
     Effective application and enforcement of existing EU and national legislation: the key
    characteristics of AI create challenges for ensuring the proper application and enforcement of
    EU and national legislation. The lack of transparency (opaqueness of AI) makes it difficult to
    identify and prove possible breaches of laws, including legal provisions that protect
    fundamental rights, attribute liability and meet the conditions to claim compensation.
    Therefore, in order to ensure an effective application and enforcement, it may be necessary to
    adjust or clarify existing legislation in certain areas, for example on liability as further detailed
    in the Report, which accompanies this White Paper.
     Limitations of scope of existing EU legislation: an essential focus of EU product safety
    legislation is on the placing of products on the market. While in EU product safety legislation
    software, when is part of the final product, must comply with the relevant product safety rules,
    it is an open question whether stand-alone software is covered by EU product safety
    legislation, outside some sectors with explicit rules45
    . General EU safety legislation currently
    in force applies to products and not to services, and therefore in principle not to services based
    on AI technology either (e.g. health services, financial services, transport services).
     Changing functionality of AI systems: the integration of software, including AI, into products
    can modify the functioning of such products and systems during their lifecycle. This is
    particularly true for systems that require frequent software updates or which rely on machine
    learning. These features can give rise to new risks that were not present when the system was
    placed on the market. These risks are not adequately addressed in the existing legislation
    which predominantly focuses on safety risks present at the time of placing on the market.
     Uncertainty as regards the allocation of responsibilities between different economic operators
    in the supply chain: in general, EU legislation on product safety allocates the responsibility to
    the producer of the product placed on the market, including all components e.g. AI systems.
    But the rules can for example become unclear if AI is added after the product is placed on the
    market by a party that is not the producer. In addition, EU product liability legislation provides
    for liability of producers and leaves national liability rules to govern liability of others in the
    supply chain.
     Changes to the concept of safety: the use of AI in products and services can give rise to risks
    that EU legislation currently does not explicitly address. These risks may be linked to cyber
    threats, personal security risks (linked for example to new applications of AI such as to home
    appliances), risks that result from loss of connectivity, etc. These risks may be present at the
    time of placing products on the market or arise as a result of software updates or self-learning
    when the product is being used. The EU should make full use of the tools at its disposal to
    enhance its evidence base on potential risks linked to AI applications, including using the
    experience of the EU Cybersecurity Agency (ENISA) for assessing the AI threat landscape.
    45
    For instance software intended by the manufacturer to be used for medical purposes is considered a medical device under
    the Medical Device Regulation (Regulation (EU) 2017/745).
    15
    As indicated earlier, several Member States are already exploring options for national legislation to
    address the challenges created by AI. This raises the risk that the single market may be fragmented.
    Divergent national rules are likely to create obstacles for companies that want to sell and operate AI
    systems in the single market. Ensuring a common approach at EU level would enable European
    companies to benefit from smooth access to the single market and support their competitiveness on
    global markets.
    Report on the safety and liability implications of Artificial Intelligence, the Internet of Things and
    robotics
    The Report, which accompanies this White Paper, analyses the relevant legal framework. It identifies
    uncertainties as to the application of this framework with respect to the specific risks posed by AI systems and
    other digital technologies.
    It concludes that the current product safety legislation already supports an extended concept of safety
    protecting against all kind of risks arising from the product according to its use. However, provisions
    explicitly covering new risks presented by the emerging digital technologies could be introduced to provide
    more legal certainty.
     The autonomous behaviour of certain AI systems during its life cycle may entail important product
    changes having an impact on safety, which may require a new risk assessment. In addition, human
    oversight from the product design and throughout the lifecycle of the AI products and systems may
    be needed as a safeguard.
     Explicit obligations for producers could be considered also in respect of mental safety risks of users
    when appropriate (ex. collaboration with humanoid robots).
     Union product safety legislation could provide for specific requirements addressing the risks to
    safety of faulty data at the design stage as well as mechanisms to ensure that quality of data is
    maintained throughout the use of the AI products and systems.
     The opacity of systems based on algorithms could be addressed through transparency requirements.
     Existing rules may need to be adapted and clarified in the case of a stand-alone software placed as it
    is on the market or downloaded into a product after its placing on the market, when having an impact
    on safety.
     Given the increasing complexity of supply chains as regards new technologies, provisions
    specifically requesting cooperation between the economic operators in the supply chain and the users
    could provide legal certainty.
    The characteristics of emerging digital technologies like AI, the IoT and robotics may challenge aspects of the
    liability frameworks and could reduce their effectiveness. Some of these characteristics could make it hard to
    trace the damage back to a person, which would be necessary for a fault-based claim in accordance with most
    national rules. This could significantly increase the costs for victims and means that liability claims against
    others than producers may be difficult to make or prove.
     Persons having suffered harm caused with the involvement of AI systems need to enjoy the same
    level of protection as persons having suffered harm caused by other technologies, whilst
    technological innovation should be allowed to continue to develop.
     All options to ensure this objective should be carefully assessed, including possible amendments to
    the Product Liability Directive and possible further targeted harmonisation of national liability rules.
    For example, the Commission is seeking views whether and to what extent it may be needed to
    mitigate the consequences of complexity by adapting the burden of proof required by national
    liability rules for damage caused by the operation of AI applications.
    16
    From the discussion above, the Commission concludes that – in addition to the possible adjustments to
    existing legislation – a new legislation specifically on AI may be needed in order to make the EU legal
    framework fit for the current and anticipated technological and commercial developments.
    C. SCOPE OF A FUTURE EU REGULATORY FRAMEWORK
    A key issue for the future specific regulatory framework on AI intelligence is to determine the scope
    of its application. The working assumption is that the regulatory framework would apply to products
    and services relying on AI. AI should therefore be clearly defined for the purposes of this White Paper,
    as well as any possible future policy-making initiative.
    In its Communication on AI for Europe the Commission provided a first definition of AI46
    . This
    definition was further refined by the High Level Expert Group47
    .
    In any new legal instrument, the definition of AI will need to be sufficiently flexible to accommodate
    technical progress while being precise enough to provide the necessary legal certainty.
    For the purposes of this White Paper, as
    well as of any possible future discussions
    on policy initiatives, it seems important to
    clarify the main elements that compose
    AI, which are “data” and “algorithms”. AI
    can be integrated in hardware. In case of
    machine learning techniques, which
    constitute a subset of AI, algorithms are
    trained to infer certain patterns based on a
    set of data in order to determine the actions
    needed to achieve a given goal. Algorithms
    may continue to learn when in use. While AI-based products can act autonomously by perceiving their
    environment and without following a pre-determined set of instructions, their behaviour is largely
    defined and constrained by its developers. Humans determine and programme the goals, which an AI
    system should optimise for.
    The EU has a strict legal framework in place to ensure inter alia consumer protection, to address unfair
    commercial practices and to protect personal data and privacy. In addition, the acquis contains specific
    rules for certain sectors (e.g. healthcare, transport). These existing provisions of EU law will continue
    to apply in relation to AI, although certain updates to that framework may be necessary to reflect the
    digital transformation and the use of AI (see section B). As a consequence, those aspects that are
    46
    COM(2018) 237 final, p. 1: “Artificial intelligence (AI) refers to systems that display intelligent behaviour by analysing
    their environment and taking actions – with some degree of autonomy – to achieve specific goals.
    AI-based systems can be purely software-based, acting in the virtual world (e.g. voice assistants, image analysis software,
    search engines, speech and face recognition systems) or AI can be embedded in hardware devices (e.g. advanced robots,
    autonomous cars, drones or Internet of Things applications).”
    47
    High Level Expert Group, A definition of AI, p. 8: “Artificial intelligence (AI) systems are software (and possibly also
    hardware) systems designed by humans that, given a complex goal, act in the physical or digital dimension by perceiving
    their environment through data acquisition, interpreting the collected structured or unstructured data, reasoning on the
    knowledge, or processing the information, derived from this data and deciding the best action(s) to take to achieve the
    given goal. AI systems can either use symbolic rules or learn a numeric model, and they can also adapt their behaviour
    by analysing how the environment is affected by their previous actions.”
    In autonomous driving for example, the algorithm uses, in
    real time, the data from the car (speed, engine
    consumption, shock-absorbers, etc..) and from the sensors
    scanning the whole environment of the car (road, signs,
    other vehicles, pedestrians etc..) to derive which direction,
    acceleration and speed the car should take to reach a certain
    destination. Based on the data observed, the algorithm
    adapts to the situation of the road and to the outside
    conditions, including other drivers’ behaviour, to derive the
    most comfortable and safest drive.
    17
    already addressed by existing horizontal or sectoral legislation (e.g. on medical devices48
    , in transport
    systems) will continue to be governed by this legislation.
    As a matter of principle, the new regulatory framework for AI should be effective to achieve its
    objectives while not being excessively prescriptive so that it could create a disproportionate burden,
    especially for SMEs. To strike this balance, the Commission is of the view that it should follow a risk-
    based approach.
    A risk-based approach is important to help ensure that the regulatory intervention is proportionate.
    However, it requires clear criteria to differentiate between the different AI applications, in particular in
    relation to the question whether or not they are ‘high-risk’49
    . The determination of what is a high-risk
    AI application should be clear and easily understandable and applicable for all parties concerned.
    Nevertheless even if an AI application is not qualified as high-risk, it remains entirely subject to
    already existing EU-rules.
    The Commission is of the opinion that a given AI application should generally be considered high-risk
    in light of what is at stake, considering whether both the sector and the intended use involve
    significant risks, in particular from the viewpoint of protection of safety, consumer rights and
    fundamental rights. More specifically, an AI application should be considered high-risk where it meets
    the following two cumulative criteria:
     First, the AI application is employed in a sector where, given the characteristics of the
    activities typically undertaken, significant risks can be expected to occur. This first criterion
    ensures that the regulatory intervention is targeted on the areas where, generally speaking,
    risks are deemed most likely to occur. The sectors covered should be specifically and
    exhaustively listed in the new regulatory framework. For instance, healthcare; transport;
    energy and parts of the public sector.50
    The list should be periodically reviewed and amended
    where necessary in function of relevant developments in practice;
     Second, the AI application in the sector in question is, in addition, used in such a manner that
    significant risks are likely to arise. This second criterion reflects the acknowledgment that not
    every use of AI in the selected sectors necessarily involves significant risks. For example,
    whilst healthcare generally may well be a relevant sector, a flaw in the appointment
    scheduling system in a hospital will normally not pose risks of such significance as to justify
    legislative intervention. The assessment of the level of risk of a given use could be based on
    the impact on the affected parties. For instance, uses of AI applications that produce legal or
    similarly significant effects for the rights of an individual or a company; that pose risk of
    injury, death or significant material or immaterial damage; that produce effects that cannot
    reasonably be avoided by individuals or legal entities.
    The application of the two cumulative criteria would ensure that the scope of the regulatory framework
    is targeted and provides legal certainty. The mandatory requirements contained in the new regulatory
    framework on AI (see section D below) would in principle apply only to those applications identified
    as high-risk in accordance with these two cumulative criteria.
    48
    For example, there are different safety considerations and legal implications concerning AI systems that provide
    specialized medical information to physicians, AI systems providing medical information directly to the patient and AI
    systems performing medical tasks themselves directly on a patient. The Commission is examining these safety and
    liability challenges that are distinct to healthcare.
    49
    EU legislation may categorise “risks” differently to what is described here, depending on the area, such as for example,
    product safety
    50
    The public sector could include areas like asylum, migration, border controls and judiciary, social security and
    employment services.
    18
    Notwithstanding the foregoing, there may also be exceptional instances where, due to the risks at stake,
    the use of AI applications for certain purposes is to be considered as high-risk as such – that is,
    irrespective of the sector concerned and where the below requirements would still apply.51
    As an
    illustration, one could think in particular of the following:
     In light of its significance for individuals and of the EU acquis addressing employment equality,
    the use of AI applications for recruitment processes as well as in situations impacting workers’
    rights would always be considered “high-risk” and therefore the below requirements would at
    all times apply. Further specific applications affecting consumer rights could be considered.
     the use of AI applications for the purposes of remote biometric identification52
    and other
    intrusive surveillance technologies, would always be considered “high-risk” and therefore the
    below requirements would at all times apply.
    D. TYPES OF REQUIREMENTS
    When designing the future regulatory framework for AI, it will be necessary to decide on the types of
    mandatory legal requirements to be imposed on the relevant actors. These requirements may be further
    specified through standards. As noted in section C above and in addition to already existing legislation,
    those requirements would apply to high-risk AI applications only, thus ensuring that any regulatory
    intervention is focused and proportionate.
    Taking into account the guidelines of the High Level Expert Group and what has been set out in the
    foregoing, the requirements for high-risk AI applications could consist of the following key features,
    which are discussed in further detail in the subsections below:
     training data;
     data and record-keeping;
     information to be provided;
     robustness and accuracy;
     human oversight;
     specific requirements for certain particular AI applications, such as those used for purposes of
    remote biometric identification.
    To ensure legal certainty, these requirements will be further specified to provide a clear benchmark for
    all the actors who need to comply with them.
    a) Training data
    It is more important than ever to promote, strengthen and defend the EU’s values and rules, and in
    particular the rights that citizens derive from EU law. These efforts undoubtedly also extend to the
    high-risk AI applications marketed and used in the EU under consideration here.
    51
    It is important to highlight that other pieces of EU legislation may also apply. For example, when incorporated into a
    consumer product, the General Product Safety Directive may apply to the safety of AI applications.
    52
    Remote biometric identification should be distinguished from biometric authentication (the latter is a security process that
    relies on the unique biological characteristics of an individual to verify that he/she is who he/she says he/she is). Remote
    biometric identification is when the identities of multiple persons are established with the help of biometric identifiers
    (fingerprints, facial image, iris, vascular patterns, etc.) at a distance, in a public space and in a continuous or ongoing
    manner by checking them against data stored in a database.
    19
    As discussed earlier, without data, there is no AI. The functioning of many AI systems, and the actions
    and decisions to which they may lead, very much depend on the data set on which the systems have
    been trained. The necessary measures should therefore be taken to ensure that, where it comes to the
    data used to train AI systems, the EU’s values and rules are respected, specifically in relation to safety
    and existing legislative rules for the protection of fundamental rights. The following requirements
    relating to the data set used to train AI systems could be envisaged:
     Requirements aimed at providing reasonable assurances that the subsequent use of the
    products or services that the AI system enables is safe, in that it meets the standards set in the
    applicable EU safety rules (existing as well as possible complementary ones). For instance,
    requirements ensuring that AI systems are trained on data sets that are sufficiently broad and
    cover all relevant scenarios needed to avoid dangerous situations.
     Requirements to take reasonable measures aimed at ensuring that such subsequent use of AI
    systems does not lead to outcomes entailing prohibited discrimination. These requirements
    could entail in particular obligations to use data sets that are sufficiently representative,
    especially to ensure that all relevant dimensions of gender, ethnicity and other possible
    grounds of prohibited discrimination are appropriately reflected in those data sets;
     Requirements aimed at ensuring that privacy and personal data are adequately protected
    during the use of AI-enabled products and services. For issues falling within their respective
    scope, the General Data Protection Regulation and the Law Enforcement Directive regulate
    these matters.
    b) Keeping of records and data
    Taking into account elements such as the complexity and opacity of many AI systems and the related
    difficulties that may exist to effectively verify compliance with and enforce the applicable rules,
    requirements are called for regarding the keeping of records in relation to the programming of the
    algorithm, the data used to train high-risk AI systems, and, in certain cases, the keeping of the data
    themselves. These requirements essentially allow potentially problematic actions or decisions by AI
    systems to be traced back and verified. This should not only facilitate supervision and enforcement; it
    may also increase the incentives for the economic operators concerned to take account at an early
    stage of the need to respect those rules.
    To this aim, the regulatory framework could prescribe that the following should be kept:
     accurate records regarding the data set used to train and test the AI systems, including a
    description of the main characteristics and how the data set was selected;
     in certain justified cases, the data sets themselves;
     documentation on the programming53
    and training methodologies, processes and techniques
    used to build, test and validate the AI systems, including where relevant in respect of safety
    and avoiding bias that could lead to prohibited discrimination.
    The records, documentation and, where relevant, data sets would need to be retained during a limited,
    reasonable time period to ensure effective enforcement of the relevant legislation. Measures should be
    53
    For instance, documentation on the algorithm including what the model shall optimise for, which weights are designed to
    certain parameters at the outset etc.
    20
    taken to ensure that they are made available upon request, in particular for testing or inspection by
    competent authorities. Where necessary, arrangements should be made to ensure that confidential
    information, such as trade secrets, is protected.
    c) Information provision
    Transparency is required also beyond the record-keeping requirements discussed in point c) above. In
    order to achieve the objectives pursued – in particular promoting the responsible use of AI, building
    trust and facilitating redress where needed – it is important that adequate information is provided in a
    proactive manner about the use of high-risk AI systems.
    Accordingly, the following requirements could be considered:
     Ensuring clear information to be provided as to the AI system’s capabilities and limitations, in
    particular the purpose for which the systems are intended, the conditions under which they can
    be expected to function as intended and the expected level of accuracy in achieving the
    specified purpose. This information is important especially for deployers of the systems, but it
    may also be relevant to competent authorities and affected parties.
     Separately, citizens should be clearly informed when they are interacting with an AI system
    and not a human being. Whilst EU data protection legislation already contain certain rules of
    this kind 54
    , additional requirements may be called for to achieve the abovementioned
    objectives. If so, unnecessary burdens should be avoided. Therefore, no such information
    needs to be provided, for instance, in situations where it is immediately obvious to citizens
    that they are interacting with AI systems. It is furthermore important that the information
    provided is objective, concise and easily understandable. The manner in which the information
    is to be provided should be tailored to the particular context.
    d) Robustness and accuracy
    AI systems – and certainly high-risk AI applications – must be technically robust and accurate in order
    to be trustworthy. That means that such systems need to be developed in a responsible manner and
    with an ex-ante due and proper consideration of the risks that they may generate. Their development
    and functioning must be such to ensure that AI systems behave reliably as intended. All reasonable
    measures should be taken to minimise the risk of harm being caused.
    Accordingly, the following elements could be considered:
     Requirements ensuring that the AI systems are robust and accurate, or at least correctly reflect
    their level of accuracy, during all life cycle phases;
     Requirements ensuring that outcomes are reproducible;
     Requirements ensuring that AI systems can adequately deal with errors or inconsistencies
    during all life cycle phases.
    54
    In particular, pursuant to Art. 13(2)(f) GDPR, controllers must, at the time when the personal data are obtained, provide the
    data subjects with further information necessary to ensure fair and transparent processing about the existence of automated
    decision-making and certain additional information.
    21
     Requirements ensuring that AI systems are resilient against both overt attacks and more subtle
    attempts to manipulate data or algorithms themselves, and that mitigating measures are taken
    in such cases.
    e) Human oversight
    Human oversight helps ensuring that an AI system does not undermine human autonomy or cause
    other adverse effects. The objective of trustworthy, ethical and human-centric AI can only be achieved
    by ensuring an appropriate involvement by human beings in relation to high-risk AI applications.
    Even though the AI applications considered in this White paper for a specific legal regime are all
    considered high-risk, the appropriate type and degree of human oversight may vary from one case to
    another. It shall depend in particular on the intended use of the systems and the effects that the use
    could have for affected citizens and legal entities. It shall also be without prejudice to the legal rights
    established by the GDPR when the AI system processes personal data. For instance, human oversight
    could have the following, non-exhaustive, manifestations:
     the output of the AI system does not become effective unless it has been previously reviewed
    and validated by a human (e.g. the rejection of an application for social security benefits may
    be taken by a human only);
     the output of the AI system becomes immediately effective, but human intervention is ensured
    afterwards (e.g. the rejection of an application for a credit card may be processed by an AI
    system, but human review must be possible afterwards);
     monitoring of the AI system while in operation and the ability to intervene in real time and
    deactivate (e.g. a stop button or procedure is available in a driverless car when a human
    determines that car operation is not safe);
     in the design phase, by imposing operational constraints on the AI system (e.g. a driverless car
    shall stop operating in certain conditions of low visibility when sensors may become less
    reliable or shall maintain a certain distance in any given condition from the preceding vehicle).
    f) Specific requirements for remote biometric identification
    The gathering and use of biometric data55
    for remote identification56
    purposes, for instance through
    deployment of facial recognition in public places, carries specific risks for fundamental rights57
    . The
    55
    Biometric data is defined as “personal data resulting from specific technical processing relating to the physical,
    physiological or behavioural characteristics of a natural person, which allow or confirm the unique authentification or
    identification of that natural person, such as facial images or dactyloscopic [fingerprint] data.” (Law Enforcement
    Directive, Art. 3 (13); GDPR, Art. 4 (14); Regulation (EU) 2018/1725, Art. 3 (18).
    56
    In connection to facial recognition, identification means that the template of a person’s facial image is compared to many
    other templates stored in a database to find out if his or her image is stored there. Authentication (or verification) on the
    other hand is often referred to as one-to-one matching. It enables the comparison of two biometric templates, usually
    assumed to belong to the same individual. Two biometric templates are compared to determine if the person shown on the
    two images is the same person. Such a procedure is, for example, used at Automated Border Control (ABC) gates used for
    border checks at airports.
    57
    For example on people’s dignity. Relatedly, the rights to respect for private life and protection of personal data are at the
    core of fundamental rights concerns when using facial recognition technology. There is also a potential impact on non-
    discrimination and rights of special groups, such as children, older persons and persons with disabilities. Moreover,
    freedom of expression, association and assembly must not be undermined by the use of the technology. See: Facial
    recognition technology: fundamental rights considerations in the context of law enforcement,
    https://fra.europa.eu/en/publication/2019/facial-recognition.
    22
    fundamental rights implications of using remote biometric identification AI systems can vary
    considerably depending on the purpose, context and scope of the use.
    EU data protection rules prohibit in principle the processing of biometric data for the purpose of
    uniquely identifying a natural person, except under specific conditions58
    . Specifically, under the
    GDPR, such processing can only take place on a limited number of grounds, the main one being for
    reasons of substantial public interest. In that case, the processing must take place on the basis of EU or
    national law, subject to the requirements of proportionality, respect for the essence of the right to data
    protection and appropriate safeguards. Under the Law Enforcement Directive, there must be a strict
    necessity for such processing, in principle an authorisation by EU or national law as well as
    appropriate safeguards. As any processing of biometric data for the purpose of uniquely identifying a
    natural person would relate to an exception to a prohibition laid down in EU law, it would be subject
    to the Charter of Fundamental Rights of the EU.
    It follows that, in accordance with the current EU data protection rules and the Charter of Fundamental
    Rights, AI can only be used for remote biometric identification purposes where such use is duly
    justified, proportionate and subject to adequate safeguards.
    In order to address possible societal concerns relating to the use of AI for such purposes in public
    places, and to avoid fragmentation in the internal market, the Commission will launch a broad
    European debate on the specific circumstances, if any, which might justify such use, and on common
    safeguards.
    E. ADDRESSEES
    In relation to the addressees of the legal requirements that would apply in relation to the high-risk AI
    applications referred to above, there are two main issues to be considered.
    First, there is the question how obligations are to be distributed among the economic operators
    involved. Many actors are involved in the lifecycle of an AI system. These include the developer, the
    deployer (the person who uses an AI-equipped product or service) and potentially others (producer,
    distributor or importer, service provider, professional or private user).
    It is the Commission’s view that, in a future regulatory framework, each obligation should be
    addressed to the actor(s) who is (are) best placed to address any potential risks. For example, while the
    developers of AI may be best placed to address risks arising from the development phase, their ability
    to control risks during the use phase may be more limited. In that case, the deployer should be subject
    to the relevant obligation. This is without prejudice to the question whether, for the purpose of liability
    to end-users or other parties suffering harm and ensuring effective access to justice, which party
    should be liable for any damage caused. Under EU product liability law, liability for defective
    products is attributed to the producer, without prejudice to national laws which may also allow
    recovery from other parties.
    Second, there is the question about the geographic scope of the legislative intervention. In the view of
    the Commission, it is paramount that the requirements are applicable to all relevant economic
    operators providing AI-enabled products or services in the EU, regardless of whether they are
    established in the EU or not. Otherwise, the objectives of the legislative intervention, mentioned
    earlier, could not fully be achieved.
    58
    Article 9 GDPR, Article 10 Law Enforcement Directive. See also Article 10 Regulation (EU) 2018/1725 (applicable to the
    EU institutions and bodies).
    23
    F. COMPLIANCE AND ENFORCEMENT
    In order to ensure that AI is trustworthy, secure and in respect of European values and rules, the
    applicable legal requirements need to be complied with in practice and be effectively enforced both by
    competent national and European authorities and by affected parties. Competent authorities should be
    in a position to investigate individual cases, but also to assess the impact on society.
    In view of the high risk that certain AI applications pose for citizens and our society (see section A
    above), the Commission considers at this stage that an objective, prior conformity assessment would
    be necessary to verify and ensure that certain of the above mentioned mandatory requirements
    applicable to high-risk applications (see section D above) are complied with. The prior conformity
    assessment could include procedures for testing, inspection or certification59
    . It could include checks
    of the algorithms and of the data sets used in the development phase.
    The conformity assessments for high-risk AI applications should be part of the conformity assessment
    mechanisms that already exist for a large number of products being placed on the EU’s internal market.
    Where no such existing mechanisms can be relied on, similar mechanisms may need to be established,
    drawing on best practice and possible input of stakeholders and European standards organisations.
    Any such new mechanism should be proportionate and non-discriminatory and use transparent and
    objective criteria in compliance with international obligations.
    When designing and implementing a system relying on prior conformity assessments, particular
    account should be taken of the following:
     Not all requirements outlined above may be suitable to be verified through a prior conformity
    assessment. For instance, the requirement about information to be provided generally does not
    lend itself well for verification through such an assessment.
     Particular account should be taken of the possibility that certain AI systems evolve and learn
    from experience, which may require repeated assessments over the life-time of the AI systems
    in question.
     The need to verify the data used for training and the relevant programming and training
    methodologies, processes and techniques used to build, test and validate AI systems.
     In case the conformity assessment shows that an AI system does not meet the requirements for
    example relating to the data used to train it, the identified shortcomings will need to be
    remedied, for instance by re-training the system in the EU in such a way as to ensure that all
    applicable requirements are met.
    The conformity assessments would be mandatory for all economic operators addressed by the
    requirements, regardless of their place of establishment60
    . In order to limit the burden on SMEs, some
    support structure might be envisaged including through the Digital Innovation Hubs. In addition,
    standards as well as dedicated online tools could facilitate compliance.
    59
    The system would be based on conformity assessment procedures in the EU, see Decision 768/2008/EC or on Regulation
    (EU) 2019/881 (Cybersecurity Act), taking into account the specificities of AI. See the Blue Guide on the Implementation
    of EU product rules, 2014.
    60
    As regards the relevant governance structure, including the bodies designated to carry out the conformity assessments, see
    section H below.
    24
    Any prior conformity assessment should be without prejudice to monitoring compliance and ex post
    enforcement by competent national authorities. That holds true in respect of high-risk AI applications,
    but also in respect of other AI applications subject to legal requirements, although the high-risk nature
    of the applications at issue may be reason for the competent national authorities to give particular
    attention to the former. Ex-post controls should be enabled by adequate documentation of the relevant
    AI application (see section E above) and, where appropriate, a possibility for third parties such as
    competent authorities to test such applications. This may be especially important where risks to
    fundamental rights arise, which are context dependent. Such monitoring of compliance should be part
    of a continuous market surveillance scheme. Governance-related aspects are further discussed in
    section H below.
    Moreover, both for high- risk AI applications and for other AI applications, effective judicial redress
    for parties negatively affected by AI systems should be ensured. Issues related to liability are further
    discussed in the Report on the safety and liability framework accompanying this White Paper.
    G. VOLUNTARY LABELLING FOR NO-HIGH RISK AI APPLICATIONS
    For AI applications that do not qualify as ‘high-risk’ (see section C above) and that are therefore not
    subject to the mandatory requirements discussed above (see sections D, E and F above), an option
    would be, in addition to applicable legislation, to establish a voluntary labelling scheme.
    Under the scheme, interested economic operators that are not covered by the mandatory requirements
    could decide to make themselves subject, on a voluntary basis, either to those requirements or to a
    specific set of similar requirements especially established for the purposes of the voluntary scheme.
    The economic operators concerned would then be awarded a quality label for their AI applications.
    The voluntary label would allow the economic operators concerned to signal that their AI-enabled
    products and services are trustworthy. It would allow users to easily recognise that the products and
    services in question are in compliance with certain objective and standardised EU-wide benchmarks,
    going beyond the normally applicable legal obligations. This would help enhance the trust of users in
    AI systems and promote the overall uptake of the technology.
    This option would entail the creation of a new legal instrument that sets out the voluntary labelling
    framework for developers and/or deployers of AI systems that are not be considered as high-risk.
    While participation in the labelling scheme would be voluntary, once the developer or the deployer
    opted to use the label, the requirements would be binding. The combination of ex ante and ex post
    enforcement would need to ensure that all requirements are complied with.
    H. GOVERNANCE
    A European governance structure on AI in the form of a framework for cooperation of national
    competent authorities is necessary to avoid fragmentation of responsibilities, increase capacity in
    Member States, and make sure that Europe equips itself progressively with the capacity needed for
    testing and certification of AI-enabled products and services. In this context, it would be beneficial to
    support competent national authorities to enable them to fulfil their mandate where AI is used.
    A European governance structure could have a variety of tasks, as a forum for a regular exchange of
    information and best practice, identifying emerging trends, advising on standardisation activity as well
    as on certification. It should also play a key role in facilitating the implementation of the legal
    framework, such as through issuing guidance, opinions and expertise. To that effect, it should rely on a
    network of national authorities, as well as sectorial networks and regulatory authorities, at national and
    EU level. Moreover, a committee of experts could provide assistance to the Commission.
    25
    The governance structure should guarantee maximum stakeholders participation. Stakeholders –
    consumer organisation and social partners, businesses, researchers, and civil society organisations –
    should be consulted on the implementation and the further development of the framework.
    Given already existing structures such as in finance, pharmaceuticals, aviation, medical devices,
    consumer protection, data protection, the proposed governance structure should not duplicate existing
    functions. It should instead establish close links with other EU and national competent authorities in
    the various sectors to complement existing expertise and help existing authorities in monitoring and
    the oversight of the activities of economic operators involving AI systems and AI-enabled products
    and services.
    Finally, if this option is pursued, the carrying out of conformity assessments could be entrusted to
    notified bodies designated by Member States. Testing centres should enable the independent audit and
    assessment of AI-systems in accordance with the requirements outlined above. Independent
    assessment will increase trust and ensures objectivity. It could also facilitate the work of relevant
    competent authorities.
    The EU enjoys excellent testing and assessment centres and should develop its capacity also in the
    area of AI. Economic operators established in third countries wanting to enter the internal market
    could either make use of designated bodies established in the EU or, subject to mutual recognition
    agreements with third countries, have recourse to third-country bodies designated to carry out such
    assessment.
    The governance structure relating to AI and the possible conformity assessments at issue here would
    leave the powers and responsibilities under existing EU law of the relevant competent authorities in
    specific sectors or on specific issues (finance, pharmaceuticals, aviation, medical devices, consumer
    protection, data protection, etc.) unaffected.
    6. CONCLUSION
    AI is a strategic technology that offers many benefits for citizens, companies and society as a whole,
    provided it is human-centric, ethical, sustainable and respects fundamental rights and values. AI offers
    important efficiency and productivity gains that can strengthen the competitiveness of European
    industry and improve the wellbeing of citizens. It can also contribute to finding solutions to some of
    the most pressing societal challenges, including the fight against climate change and environmental
    degradation, the challenges linked to sustainability and demographic changes, and the protection of
    our democracies and, where necessary and proportionate, the fight against crime.
    For Europe to seize fully the opportunities that AI offers, it must develop and reinforce the necessary
    industrial and technological capacities. As set out in the accompanying European strategy for data, this
    also requires measures that will enable the EU to become a global hub for data.
    The European approach for AI aims to promote Europe’s innovation capacity in the area of AI while
    supporting the development and uptake of ethical and trustworthy AI across the EU economy. AI
    should work for people and be a force for good in society.
    With this White Paper and the accompanying Report on the safety and liability framework, the
    Commission launches a broad consultation of Member States civil society, industry and academics, of
    concrete proposals for a European approach to AI. These include both policy means to boost
    investments in research and innovation, enhance the development of skills and support the uptake of
    AI by SMEs, and proposals for key elements of a future regulatory framework. This consultation will
    26
    allow a comprehensive dialogue with all concerned parties that will inform the next steps of the
    Commission.
    The Commission invites for comments on the proposals set out in the White Paper through an
    open public consultation available at https://ec.europa.eu/info/consultations_en. The consultation
    is open for comments until 19 May 2020.
    It is standard practice for the Commission to publish submissions received in response to a public
    consultation. However, it is possible to request that submissions, or parts thereof, remain
    confidential. Should this be the case, please indicate clearly on the front page of your submission
    that it should not be made public and also send a non-confidential version of your submission to
    the Commission for publication.
    

    1_DA_ACT_part1_v2.pdf

    https://www.ft.dk/samling/20201/kommissionsforslag/kom(2020)0065/forslag/1634988/2156825.pdf

    DA DA
    EUROPA-
    KOMMISSIONEN
    Bruxelles, den 19.2.2020
    COM(2020) 65 final
    HVIDBOG
    om kunstig intelligens - en europæisk tilgang til ekspertise og tillid
    Europaudvalget 2020
    KOM (2020) 0065
    Offentligt
    1
    Hvidbog om kunstig intelligens
    En europæisk tilgang til ekspertise og tillid
    Kunstig intelligens er i hastig udvikling. Det vil ændre vores tilværelse ved at forbedre sundhedsplejen
    (f.eks. med mere præcis diagnosticering og bedre forebyggelse af sygdomme), øge effektiviteten i
    landbruget, bidrage til afbødning af og tilpasning til klimaforandringer, forbedre effektiviteten af
    produktionssystemer ved hjælp af prædiktiv vedligeholdelse, øge sikkerheden for de europæiske
    borgere og på mange andre måder, som vi endnu ikke kan forestille os. Samtidig indebærer kunstig
    intelligens en række potentielle risici, f.eks. uigennemskuelige beslutningsprocesser, kønsbaseret eller
    andre former for diskrimination, krænkelse af privatlivets fred eller anvendelse til kriminelle formål.
    På baggrund af den skarpe globale konkurrence er der behov for en solid europæisk tilgang, der
    bygger på den europæiske strategi for kunstig intelligens, der blev fremlagt i april 20181
    . For at tackle
    både mulighederne og udfordringerne ved kunstig intelligens må EU skride til værks som en enhed og
    fastsætte sin egen kurs på grundlag af europæiske værdier for at fremme udviklingen og udbredelsen
    af kunstig intelligens.
    Kommissionen er fast besluttet på at bane vejen for videnskabelige gennembrud, bevare EU's
    teknologiske førerposition og sikre, at nye teknologier stilles til gavn for alle europæere for at forbedre
    deres tilværelse, samtidig med at deres rettigheder overholdes.
    Kommissionens formand, Ursula von der Leyen, fremsatte i sine politiske retningslinjer 2
    en
    koordineret europæisk tilgang til de menneskelige og etiske konsekvenser af kunstig intelligens samt
    overvejelser om bedre anvendelse af big data til innovation.
    Kommissionen støtter således en lovgivnings- og investeringsorienteret tilgang, der har til formål både
    at fremme anvendelsen af kunstig intelligens og at håndtere de risici, der er forbundet med visse
    anvendelser af denne nye teknologi. Formålet med denne hvidbog er at opstille politiske
    løsningsmodeller for, hvordan disse mål skal nås. Den omhandler ikke udviklingen og anvendelsen af
    kunstig intelligens til militære formål.Kommissionen opfordrer medlemsstaterne, andre EU-
    institutioner og alle interessenter, herunder erhvervslivet, arbejdsmarkedets parter,
    civilsamfundsorganisationer, forskere, offentligheden generelt og alle interesserede parter, til at
    reagere på nedenstående valgmuligheder og bidrage til Kommissionens fremtidige beslutninger på
    dette område.
    1. INDLEDNING
    Den digitale teknologi bliver en stadig mere central del af menneskers liv på alle fronter, så derfor bør
    folk kunne stole på den. Pålidelighed er også en forudsætning for dens udbredelse. Her er Europa godt
    stillet i betragtning af dets stærke værdier, tilslutning til retsstatsprincippet og dets dokumenterede
    evne til at opbygge sikre, pålidelige og sofistikerede produkter og tjenesteydelser, lige fra luftfart til
    energi, biler og medicinsk udstyr.
    EU's nuværende og fremtidige bæredygtige økonomiske vækst og samfundsmæssige velfærd bygger i
    stigende grad på den værdi, der skabes ved hjælp af data. Kunstig intelligens er en af dataøkonomiens
    vigtigste værktøjer. De fleste af nutidens data omhandler forbrugere og lagres i centrale cloudbaserede
    1
    Kunstig intelligens for Europa (COM(2018) 237 final).
    2
    https://ec.europa.eu/commission/sites/beta-political/files/political-guidelines-next-commission_da.pdf.
    2
    infrastrukturer. I modsætning hertil vil en stor del af morgendagens langt mere omfattende data
    stamme fra industrien, erhvervslivet og den offentlige sektor og vil blive lagret på en række forskellige
    systemer, navnlig computersystemer i udkanten af netværket. Dette skaber nye muligheder for Europa,
    som er stærkt stillet inden for digitaliseret industri og anvendelser mellem virksomheder, men relativt
    svagt stillet med hensyn til forbrugerplatforme.
    Kort sagt er kunstig intelligens en sammensætning af teknologier, der kombinerer data, algoritmer og
    computerkraft. Fremskridtene inden for databehandling og den stigende datatilgængelighed er derfor
    vigtige drivkræfter for den hastige udvikling inden for kunstig intelligens. Ved at kombinere sine
    teknologiske og industrielle styrker med en digital infrastruktur af høj kvalitet og en lovramme baseret
    på sine grundlæggende værdier kan Europa blive førende på verdensplan inden for innovation i
    dataøkonomien og dens anvendelsesmuligheder som fastsat i den europæiske datastrategi3
    . Derved
    kan Europa udvikle et økosystem for kunstig intelligens, som udbreder teknologiens fordele til hele
    Europas samfund og økonomi:
     for borgerne, der kan høste nye fordele ved f.eks. bedre sundhedspleje, mere holdbare
    husholdningsmaskiner, sikrere og renere transportsystemer og bedre offentlige tjenester
     for virksomhederne, der f.eks. kan udvikle nye generationer af produkter og tjenester på
    områder, hvor Europa er særlig stærkt (maskineri, transport, cybersikkerhed, grøn og cirkulær
    økonomi, sundhedspleje og sektorer med høj merværdi såsom mode og turisme)
     for tjenester i offentlighedens interesse ved f.eks. at mindske omkostningerne ved levering
    af tjenesteydelser (transport, uddannelse, energi og affaldsforvaltning), ved at forbedre
    produkters bæredygtighed4
    og ved at udruste de retshåndhævende myndigheder med passende
    redskaber til at beskytte borgerne5
    og passende sikkerhedsforanstaltninger, der skal sikre deres
    rettigheder og friheder.
    I betragtning af den store indvirkning, som kunstig intelligens kan have på vores samfund, og behovet
    for at opbygge tillid, er det afgørende, at europæisk kunstig intelligens baseres på vores værdier og
    grundlæggende rettigheder, såsom beskyttelse af den menneskelige værdighed og privatlivets fred.
    Derudover bør indvirkningen af systemer med kunstig intelligens ikke kun tages i betragtning fra et
    subjektivt perspektiv, men også fra et perspektiv, der ser samfundet som en helhed. Anvendelsen af
    systemer med kunstig intelligens kan spille en væsentlig rolle med hensyn til at nå målene for
    bæredygtig udvikling og støtte den demokratiske proces og de sociale rettigheder. Med sine seneste
    forslag om Europas grønne pagt6
    står Europa i spidsen for håndteringen af klima- og miljørelaterede
    udfordringer. Digitale teknologier såsom kunstig intelligens er en afgørende forudsætning for at nå
    målene i den grønne pagt. I betragtning af den stigende betydning af kunstig intelligens skal den
    miljømæssige indvirkning af systemer med kunstig intelligens tages behørigt i betragtning i hele deres
    livscyklus og langs hele forsyningskæden, f.eks. med hensyn til anvendelse af ressourcer til tilpasning
    af algoritmer og lagring af data.
    3
    COM(2020) 66 final.
    4
    Kunstig intelligens og digitalisering generelt er afgørende forudsætninger for Europas ambitioner om en grøn pagt. IKT-
    sektorens nuværende miljøaftryk anslås imidlertid til at udgøre mere end 2 % af de samlede emissioner på verdensplan. I
    EU's digitale strategi, der ledsager denne hvidbog, foreslås der grønne omstillingsforanstaltninger for den digitale sektor.
    5
    Værktøjer baseret på kunstig intelligens giver mulighed for at beskytte EU-borgerne bedre mod kriminalitet og
    terrorhandlinger.
    Sådanne værktøjer kan f.eks. bidrage til at identificere terrorrelateret indhold på nettet, opdage mistænkelige transaktioner i
    forbindelse med salg af farlige produkter, identificere farlige skjulte genstande eller ulovlige stoffer eller produkter, yde
    bistand til borgere i nødsituationer og vejlede redningsarbejdere.
    6
    COM(2019) 640 final.
    3
    En fælles europæisk tilgang til kunstig intelligens er nødvendig for at opnå en tilstrækkelig
    gennemslagskraft og undgå en opsplitning af det indre marked. Hvis der i stedet indføres nationale
    initiativer i de enkelte lande, kan det bringe retssikkerheden i fare, svække borgernes tillid og
    forhindre, at den europæiske industri udvikler sig dynamisk.
    Denne hvidbog indeholder en række politiske valgmuligheder, som skal muliggøre en pålidelig og
    sikker udvikling af kunstig intelligens i Europa under fuld overholdelse af EU-borgernes værdier og
    rettigheder. De vigtigste bestanddele i denne hvidbog er:
     Den politiske ramme for foranstaltninger til at ensrette indsatsen på europæisk, nationalt og
    regionalt plan. Rammen har i partnerskab mellem den private og offentlige sektor til formål at
    mobilisere ressourcer til at oprette et "ekspertisemiljø" i hele værdikæden, der begynder med
    forskning og innovation, og skabe de rette incitamenter til at fremskynde ibrugtagningen af
    løsninger baseret på kunstig intelligens, herunder hos små og mellemstore virksomheder
    (SMV'er).
     De centrale elementer i en fremtidig lovramme for kunstig intelligens i Europa, der skal skabe
    et unikt "tillidsmiljø". Med henblik herpå skal rammen sikre overholdelse af EU-reglerne,
    herunder reglerne for beskyttelse af grundlæggende rettigheder og forbrugerrettigheder,
    navnlig for systemer med kunstig intelligens, der anvendes i EU, og som udgør en stor risiko7
    .
    At opbygge et tillidsmiljø er i sig selv en politisk målsætning, der skal give borgerne tillid til
    anvendelsen af kunstig intelligens og give virksomheder og offentlige organisationer den
    fornødne retssikkerhed til at innovere med kunstig intelligens. Kommissionen støtter i høj
    grad en menneskecentreret tilgang baseret på meddelelsen om opbygning af tillid til
    menneskecentreret kunstig intelligens8
    og vil også tage hensyn til de input, der blev indsamlet
    i løbet af pilotfasen for de etiske retningslinjer, som Ekspertgruppen på Højt Niveau
    vedrørende Kunstig Intelligens har udarbejdet.
    Den europæiske strategi for data, som ledsager denne hvidbog, har til formål at sætte Europa i stand til
    at blive den mest attraktive, sikre og dynamiske data-agile økonomi i verden — Europa skal bruge
    data til at forbedre sine beslutningsprocesser og tilværelsen for alle sine borgere. Strategien indeholder
    en række politiske tiltag, der er nødvendige for at nå dette mål, herunder mobilisering af private og
    offentlige investeringer. I Kommissionens rapport, der ledsager denne hvidbog, analyseres derudover
    konsekvenserne af kunstig intelligens, tingenes internet og andre digitale teknologier for lovgivningen
    om sikkerhed og ansvar.
    2. UDNYTTELSE AF STYRKER PÅ INDUSTRI- OG ERHVERVSMARKEDERNE
    Europa har gode forudsætninger for at drage fordel af kunstig intelligens, ikke blot som bruger, men
    også som udvikler og producent af denne teknologi. Det har fremragende forskningscentre, innovative
    opstartsvirksomheder, en førende position inden for robotteknologi samt konkurrencedygtige
    fremstillings- og servicesektorer, fra bilindustrien til sundhedspleje, energi, finansielle tjenesteydelser
    og landbrug. Europa har udviklet en stærk databehandlingsinfrastruktur (f.eks. højtydende computere),
    som er afgørende for, at kunstig intelligens kan fungere. Desuden råder Europa over store offentlige og
    industrielle data, hvis potentiale i øjeblikket ikke udnyttes fuldt ud. Det har velanerkendte industrielle
    7
    Selv om der kan blive behov for yderligere ordninger for at forebygge og modvirke misbrug af kunstig intelligens til
    kriminelle formål, falder dette uden for rammerne af denne hvidbog.
    8
    COM(2019) 168.
    4
    styrker inden for sikre digitale systemer med lavt strømforbrug, hvilke har afgørende betydning for
    videreudviklingen af kunstig intelligens.
    Udnyttelse af EU's kapacitet til at investere i næstegenerationsteknologier og -infrastrukturer samt
    digitale kompetencer såsom datafærdigheder vil øge Europas teknologiske suverænitet inden for
    centrale støtteteknologier og -infrastrukturer i dataøkonomien. Infrastrukturerne bør understøtte
    oprettelsen af europæiske datapuljer, der muliggør pålidelig kunstig intelligens, f.eks. kunstig
    intelligens baseret på europæiske værdier og regler.
    Europa bør udnytte sine styrker til at udvide sin indflydelse i økosystemerne og langs værdikæden,
    lige fra visse hardwarefremstillingssektorer gennem software og hele vejen til tjenesteydelser. Dette er
    allerede i et vist omfang ved at ske. Europa fremstiller over en fjerdedel af industriens og
    erhvervslivets servicerobotter (f.eks. til præcisionslandbrug, sikkerhed, sundhed og logistik) og spiller
    en vigtig rolle i udviklingen og udnyttelsen af softwareapplikationer til virksomheder og
    organisationer (applikationer til brug mellem virksomheder såsom software til virksomhedsstyring
    (ERP), design og konstruktion) samt applikationer til digital forvaltning og "intelligent virksomhed".
    Europa baner vejen for udbredelsen af kunstig intelligens inden for produktion. Over halvdelen af
    de største producenter har indført kunstig intelligens i mindst én fase af deres produktionsforløb9
    .
    En af grundene til, at Europa har indtaget en stærk position inden for forskning, er EU's
    finansieringsprogram, der har spillet en afgørende rolle i at samle indsatsen, undgå dobbeltarbejde og
    opnå en løftestangseffekt med offentlige og private investeringer i medlemsstaterne. I løbet af de sidste
    tre år er EU-midlerne til forskning og innovation inden for kunstig intelligens steget til 1,5 mia. EUR,
    dvs. en stigning på 70 % i forhold til den foregående periode.
    Investeringer i forskning og innovation i Europa er dog stadig kun en brøkdel af de offentlige og
    private investeringer i andre regioner i resten af verden. Der blev investeret ca. 3,2 mia. EUR i kunstig
    intelligens i Europa i 2016 sammenlignet med ca. 12,1 mia. EUR i Nordamerika og 6,5 mia. EUR i
    Asien10
    . Som modsvar er Europa nødt til at øge sit investeringsniveau betydeligt. Den koordinerede
    plan for kunstig intelligens11
    , der er udviklet i samarbejde med medlemsstaterne, har vist sig at være et
    godt springbræt til at opbygge et stærkere samarbejde om kunstig intelligens i Europa og skabe
    synergier for at maksimere investeringerne i værdikæden for kunstig intelligens.
    3. UDNYTTELSE AF FREMTIDIGE MULIGHEDER: DEN NÆSTE DATABØLGE
    Europa har i øjeblikket en svagere stilling inden for forbrugerapplikationer og onlineplatforme, hvilket
    er en konkurrencemæssig ulempe i forbindelse med adgang til data, men der er vigtige ændringer på
    vej i samtlige sektorer med hensyn til datas værdi og genanvendelse. Den mængde data, der genereres
    i verden, stiger hurtigt: fra 33 zettabytes i 2018 til en forventet mængde på 175 zettabytes i 202512
    .
    Hver ny databølge medfører lige så mange muligheder for, at Europa kan placere sig fordelagtigt i den
    data-agile økonomi og blive førende i verden på dette område. Desuden vil måden, hvorpå data lagres
    og behandles ændre sig drastisk i løbet af de kommende fem år. I dag sker 80 % af den databehandling
    og -analyse, der finder sted i skyen, i datacentre og centraliserede databehandlingsfaciliteter og 20 % i
    intelligente forbundne objekter, såsom biler, husholdningsapparater eller produktionsrobotter, og i
    9
    Efterfulgt af Japan (30 %) og USA (28 %). Kilde: CapGemini (2019).
    10
    "10 imperatives for Europe in the age of AI and automation" ("10 imperativer for Europa i den kunstige intelligens' og
    automatiseringens tidsalder"), McKinsey, 2017.
    11
    COM(2018) 795.
    12
    IDC, 2019.
    5
    databehandlingsfaciliteter tæt på brugeren ("edge computing"). Inden 2025 vil dette forhold
    sandsynligvis have ændret sig markant13
    .
    Europa er blandt de førende på verdensplan inden for elektronik med lavt strømforbrug, som er
    afgørende for den næste generation af specialiserede processorer til kunstig intelligens. Dette marked
    domineres i øjeblikket af aktører uden for EU. Dette kan ændres ved hjælp af initiativer som f.eks. det
    europæiske processor-initiativ, hvor der fokuseres på udviklingen af energibesparende
    computersystemer til både edge computing og den næste generation af højtydende databehandling,
    eller fællesforetagendet "Key Digital Technology Joint Undertaking", der foreslås påbegyndt i 2021.
    Europa er desuden førende inden for neuromorfiske løsninger14
    , der er velegnede til automatisering af
    industriprocesser (industri 4.0) og transport. Disse løsninger kan fordoble energieffektiviteten indtil
    flere gange.
    Den seneste udvikling inden for kvantedatabehandling vil medføre eksponentielle stigninger i
    databehandlingskapaciteten15
    . Europa kan blive førende inden for denne teknologi takket være sine
    akademiske styrker inden for kvantedatabehandling samt den europæiske industris stærke position
    inden for kvantesimulatorer og programmeringsmiljøer for kvantedatabehandling. Europæiske
    initiativer, der har til formål at øge tilgængeligheden af test- og forsøgsfaciliteter til
    kvantedatabehandling, vil bidrage til anvendelsen af disse nye kvanteløsninger inden for en række
    industrielle og akademiske sektorer.
    Sideløbende hermed vil Europa fortsat være på forkant med fremskridtet på algoritmegrundlaget for
    kunstig intelligens og bygge videre på sin egen videnskabelige ekspertise. Der er behov for at bygge
    bro mellem discipliner, der i øjeblikket benyttes separat, såsom maskinindlæring og dyb læring
    (karakteriseret ved at være vanskelige at fortolke, behovet for store mængder data til brug for
    modellerne og læring gennem korrelationer) og symbolske tilgange (hvor mennesker fastsætter regler
    direkte). Ved at kombinere symbolske tankelove med dybe neurale net kan vi opnå kunstig intelligens
    med bedre forklarlighed.
    4. ET VERDENSKLASSEMILJØ
    For at opbygge et ekspertisemiljø, der kan støtte udviklingen og udbredelsen af kunstig intelligens i
    hele EU's økonomi og offentlige forvaltning, er der behov for at optrappe indsatsen på flere niveauer.
    A. SAMARBEJDE MED MEDLEMSSTATERNE
    Kommissionen fremlagde i december 2018 en koordineret plan, der er udarbejdet i samarbejde med
    medlemsstaterne, og som har til formål at fremme udviklingen og anvendelsen af kunstig intelligens i
    Europa16
    , og gennemfører dermed sin strategi for kunstig intelligens, der blev vedtaget i april 201817
    .
    Denne plan indeholder forslag til 70 fælles aktioner med henblik på et tættere og mere effektivt
    samarbejde mellem medlemsstaterne og Kommissionen på centrale områder såsom forskning,
    investering, markedsudbredelse, færdigheder og talenter, data og internationalt samarbejde. Planen
    forventes at vare frem til 2027 og vil blive overvåget og revideret regelmæssigt.
    13
    Gartner, 2017.
    14
    Ved neuromorfiske løsninger forstås meget store systemer af integrerede kredsløb, der efterligner nervesystemets
    neurobiologiske strukturer.
    15
    Kvantecomputere vil på kortere tid kunne behandle mange gange større datasæt, end de bedste computere kan i dag,
    hvilket vil gøre det muligt at udvikle nye anvendelsesmuligheder inden for kunstig intelligens på tværs af sektorer.
    16
    Koordineret plan for kunstig intelligens, COM (2018) 795.
    17
    Kunstig intelligens for Europa, COM(2018) 237.
    6
    Formålet er at maksimere virkningen af investeringer i forskning, innovation og udbredelse, vurdere
    de nationale strategier for kunstig intelligens og bygge på og udvide den koordinerede plan for kunstig
    intelligens sammen med medlemsstaterne:
     Foranstaltning 1: Kommissionen vil under hensyntagen til resultaterne af den offentlige
    høring om hvidbogen foreslå medlemsstaterne en revision af den koordinerede plan, der skal
    vedtages senest ved udgangen af 2020.
    Finansiering på EU-plan af kunstig intelligens bør tiltrække og samle investeringerne på områder, hvor
    der kræves en indsats ud over, hvad en enkelt medlemsstat kan opnå. Målet er at tiltrække mere end 20
    mia. EUR18
    i samlede investeringer om året i kunstig intelligens i EU i løbet af det næste årti. For at
    stimulere private og offentlige investeringer vil EU stille midler til rådighed fra programmet for et
    digitalt Europa, Horisont Europa og de europæiske struktur- og investeringsfonde for at imødekomme
    landdistrikternes og de mindre udviklede regioners behov.
    Den koordinerede plan kan også tage fat på samfundsmæssig og miljømæssig velfærd som et centralt
    princip for kunstig intelligens. Systemer med kunstig intelligens forventes at kunne hjælpe med at
    tackle de mest presserende problemer, herunder klimaændringer og miljøforringelse. Det er netop også
    vigtigt, at dette sker på en miljøvenlig måde. Kunstig intelligens kan og bør i sig selv foretage en
    kritisk undersøgelse af ressource- og energiforbruget og være tilpasset til at træffe valg, der er
    gavnlige for miljøet. Kommissionen vil sammen med medlemsstaterne overveje mulighederne for at
    tilskynde til og fremme løsninger med kunstig intelligens, der gør dette.
    B. FOKUS PÅ FORSKNINGS- OG INNOVATIONSSAMFUNDETS INDSATS
    Europa har ikke råd til at opretholde det nuværende landskab med spredte kompetencecentre, hvor
    ingen af dem har nået det omfang, der skal til for at konkurrere med de førende institutter på globalt
    plan. Det er bydende nødvendigt at skabe flere synergier og netværk mellem de forskellige europæiske
    forskningscentre, der beskæftiger sig med kunstig intelligens, og ensrette deres bestræbelser på at
    forbedre ekspertisen, fastholde og tiltrække de bedste forskere og udvikle den bedste teknologi.
    Europa har brug for et centrum for forskning, innovation og ekspertise, som skal koordinere denne
    indsats og udgøre et forbillede i verdensklasse inden for kunstig intelligens, og som kan tiltrække
    investeringer og de bedste talenter på området.
    Centrene og netværkene bør fokusere på de sektorer, hvor Europa har potentialet til at blive verdens
    førende, såsom industri, sundhed, transport, finans, fødevareværdikæder, energi/miljø, skovbrug,
    jordobservation og rumfart. På alle disse områder er kapløbet om førstepladsen på verdensplan
    allerede skudt i gang, og Europa kan byde ind med et betydeligt potentiale samt stor viden og
    ekspertise19
    . Lige så vigtigt er det at oprette test- og forsøgsfaciliteter til at støtte udviklingen og den
    efterfølgende anvendelse af nye anvendelsesmuligheder inden for kunstig intelligens.
     Foranstaltning 2: Kommissionen vil fremme oprettelsen af ekspertisecentre og testfaciliteter,
    der kan kombinere europæiske, nationale og private investeringer, eventuelt med et nyt
    retsinstrument. Som led i den flerårige finansielle ramme for 2021-2027 har Kommissionen
    fremsat forslag om at afsætte et ambitiøst beløb til støtte for europæiske testfaciliteter i
    18
    COM(2018) 237.
    19
    Den kommende Europæiske Forsvarsfond og det permanente strukturerede samarbejde (PESCO) vil også skabe
    muligheder for forskning og udvikling inden for kunstig intelligens. Disse projekter bør synkroniseres med EU's bredere
    civile programmer om kunstig intelligens.
    7
    verdensklasse under programmet for et digitalt Europa, om nødvendigt suppleret af Horisont
    Europas forsknings- og innovationsforanstaltninger.
    C. FÆRDIGHEDER
    Den europæiske tilgang til kunstig intelligens skal understøttes af et stærkt fokus på færdigheder for at
    udfylde eventuelle kompetencemangler 20
    . Kommissionen vil snart fremlægge en optrapning af
    dagsordenen for færdigheder, som skal sikre, at alle i Europa kan drage fordel af de grønne og digitale
    omstillinger af EU's økonomi. De dertil hørende initiativer kan også omfatte støtte til sektorspecifikke
    tilsynsmyndigheder for at forbedre deres færdigheder inden for kunstig intelligens og dermed
    gennemføre de relevante regler på virkningsfuld og effektiv vis. Den ajourførte handlingsplan for
    digital uddannelse vil bidrage til at gøre bedre brug af data og teknologier inden for kunstig intelligens
    (såsom læring og prædiktive analyser) med henblik på at forbedre uddannelsessystemerne og gøre
    dem parate til den digitale tidsalder. Handlingsplanen vil også øge kendskabet til kunstig intelligens på
    alle uddannelsesniveauer, således at borgerne forberedes på informeret beslutningstagning, der i
    stigende grad vil blive påvirket af kunstig intelligens.
    I den reviderede koordinerede plan for kunstig intelligens, der skal udvikles sammen med
    medlemsstaterne, prioriteres udviklingen af de færdigheder, der er nødvendige for at arbejde med
    kunstig intelligens, og opkvalificering af arbejdsstyrken, så den bliver tilpasset den digitale omstilling.
    Som led heri kunne evalueringslisten i de etiske retningslinjer omformes til et vejledende "pensum"
    for udviklere af kunstig intelligens, der så ville blive stillet til rådighed som en ressource for
    uddannelsesinstitutioner. Der bør gøres en særlig indsats for at øge antallet af kvinder, der er uddannet
    og beskæftiget på dette område.
    Desuden vil et fyrtårn for forskning og innovation vedrørende kunstig intelligens i Europa tiltrække
    talenter fra hele verden som følge af de muligheder, der kan tilbydes. Det vil også bidrage til
    udviklingen og udbredelsen af ekspertfærdigheder i hele Europa.
     Foranstaltning 3: Gennem søjlen for avancerede færdigheder i programmet for et digitalt
    Europa skal netværk af førende universiteter og højere uddannelsesinstitutioner etableres og
    understøttes for at tiltrække de bedste lærere og videnskabsfolk og tilbyde
    kandidatuddannelser inden for kunstig intelligens i verdensklasse.
    Ud over opkvalificering påvirkes både arbejdstagere og arbejdsgivere direkte af udformningen og
    anvendelsen af systemer med kunstig intelligens på arbejdspladsen. Inddragelsen af arbejdsmarkedets
    parter vil være en afgørende faktor i at sikre en menneskecentreret tilgang til kunstig intelligens på
    arbejdspladsen.
    D. FOKUS PÅ SMV'ER
    Det vil også være vigtigt at sikre, at SMV'er kan få adgang til og anvende kunstig intelligens. Med
    henblik herpå bør de digitale innovationsknudepunkter 21
    og on-demand-platformen 22
    for kunstig
    intelligens styrkes yderligere for at fremme samarbejdet mellem SMV'er. Programmet for et digitalt
    Europa vil være af afgørende betydning for at opnå dette. Selv om alle digitale
    innovationsknudepunkter bør yde støtte til SMV'er til at forstå og anvende kunstig intelligens, vil det
    20
    https://ec.europa.eu/jrc/en/publication/academic-offer-and-demand-advanced-profiles-eu
    21
    ec.europe.eu/digital-single-market/en/news/digital-innovation-hubs-helping-companies-across-economy-make-most-
    digital-opportunities.
    22
    www.Ai4eu.eu.
    8
    være vigtigt at have mindst ét innovationsknudepunkt i hver medlemsstat med en høj grad af
    specialisering inden for kunstig intelligens.
    SMV'er og nystartede virksomheder skal have adgang til finansiering med henblik på at tilpasse deres
    processer eller innovere ved hjælp af kunstig intelligens. Med udgangspunkt i den kommende
    pilotinvesteringsfond på 100 mio. EUR til kunstig intelligens og blockchain vil Kommissionen
    yderligere øge adgangen til finansiering af kunstig intelligens inden for rammerne af InvestEU23
    .
    Kunstig intelligens nævnes udtrykkeligt blandt de områder, der er støtteberettigede i forbindelse med
    InvestEU-garantien.
     Foranstaltning 4: Kommissionen vil samarbejde med medlemsstaterne for at sikre, at der er
    mindst ét digitalt innovationsknudepunkt i hver medlemsstat med en høj grad af specialisering
    inden for kunstig intelligens. Digitale innovationsknudepunkter kan støttes under programmet
    for et digitalt Europa.
     Kommissionen og Den Europæiske Investeringsfond vil iværksætte en pilotordning med 100
    mio. EUR i første kvartal af 2020, der skal tilvejebringe egenkapitalfinansiering af innovativ
    udvikling inden for kunstig intelligens. Kommissionen har fra 2021 til hensigt at optrappe
    dette i betydelig grad gennem InvestEU under forudsætning af, at der kan opnås endelig
    enighed herom i den flerårige finansielle ramme.
    E. PRIVATSEKTOREN SOM PARTNER
    Det er også afgørende at sikre, at den private sektor inddrages fuldt ud i fastlæggelsen af forsknings-
    og innovationsdagsordenen og bidrager med saminvesteringer i det nødvendige omfang. Dette vil
    kræve, at der etableres et stort offentligt-privat partnerskab, og at virksomhedernes øverste ledelse
    engagerer sig.
     Foranstaltning 5: I forbindelse med Horisont Europa vil Kommissionen etablere et nyt
    offentlig-privat partnerskab inden for kunstig intelligens, data og robotteknologi med henblik
    på at kombinere indsatsen, sikre koordinering af forskning og innovation inden for kunstig
    intelligens og samarbejde med andre offentlig-private partnerskaber i Horisont Europa, de
    ovennævnte testfaciliteter og de digitale innovationsknudepunkter.
    F. FREMME AF ANVENDELSEN AF KUNSTIG INTELLIGENS I DEN OFFENTLIGE SEKTOR
    Det er vigtigt, at offentlige forvaltninger, hospitaler, forsynings- og transporttjenester, finansielle
    tilsynsmyndigheder og andre områder af offentlig interesse hurtigt begynder at anvende produkter og
    tjenester, der benytter kunstig intelligens. Der vil især blive fokuseret på sundhedspleje og transport,
    hvor teknologien er moden til udbredelse i stor målestok.
     Foranstaltning 6: Kommissionen vil indlede åbne og gennemsigtige sektordialoger, hvor
    sundhedstjenester, forvaltninger i landdistrikter og operatører af offentlige tjenester
    prioriteres, med henblik på at fremlægge en handlingsplan, der skal lette udvikling af, forsøg
    med og ibrugtagning af kunstig intelligens. Sektordialogerne vil blive brugt til at udarbejde et
    specifikt "brug kunstig intelligens"-program, der skal støtte offentlige organers anskaffelse af
    23
    Europe.eu/investeu.
    9
    systemer med kunstig intelligens og bidrage til at ændre selve procedurerne for offentlige
    udbud.
    G. SIKRING AF ADGANG TIL DATA OG DATABEHANDLINGSINFRASTRUKTUR
    De indsatsområder, der er beskrevet i denne hvidbog, supplerer den plan, der sideløbende fremlægges
    i forbindelse med den europæiske datastrategi. Det er afgørende at forbedre datastyringen og adgangen
    til data. Uden data er det ikke muligt at udvikle kunstig intelligens eller andre digitale applikationer.
    De enorme mængder af nye data, der vil blive genereret i fremtiden, vil gøre det muligt for Europa at
    indtage en førerposition inden for omstillingen til en datadreven økonomi med kunstig intelligens.
    Fremme af ansvarlig dataforvaltningspraksis og dataenes overensstemmelse med FAIR-principperne
    vil bidrage til at opbygge tillid og sikre, at data kan videreanvendes24
    . Investeringer i centrale
    databehandlingsteknologier og -infrastrukturer er ligeledes vigtige.
    Kommissionen har foreslået at afsætte over 4 mia. EUR under programmet for et digitalt Europa til
    støtte for højtydende databehandling og kvantedatabehandling, herunder edge computing og kunstig
    intelligens samt data- og cloudinfrastruktur. Den europæiske datastrategi videreudvikler disse
    prioriteter.
    H. INTERNATIONALE ASPEKTER
    Europa er godt rustet til at udvise globalt lederskab i forbindelse med opbygningen af alliancer
    omkring fælles værdier og fremme af etisk anvendelse af kunstig intelligens. EU's arbejde med
    kunstig intelligens har allerede haft indflydelse på den internationale debat. Med udarbejdelsen af sine
    etiske retningslinjer har ekspertgruppen på højt plan inddraget en række organisationer uden for EU og
    observatører fra en række regeringer. Sideløbende hermed var EU tæt involveret i udviklingen af
    OECD's etiske principper for kunstig intelligens25
    . G20 godkendte efterfølgende disse principper i sin
    ministererklæring fra juni 2019 om handel og den digitale økonomi.
    Sideløbende hermed anerkender EU, at der udføres vigtigt arbejde med kunstig intelligens i andre
    multilaterale fora, herunder Europarådet, De Forenede Nationers Organisation for Uddannelse,
    Videnskab og Kultur (UNESCO), Organisationen for Økonomisk Samarbejde og Udvikling (OECD),
    Verdenshandelsorganisationen (WTO) og Den Internationale Telekommunikationsunion (ITU). I FN
    er EU involveret i opfølgningen af rapporten fra højniveaupanelet om digitalt samarbejde, herunder
    henstillingen om kunstig intelligens.
    EU vil fortsat samarbejde med ligesindede lande, men også med globale aktører, om kunstig
    intelligens med en tilgang baseret på EU's regler og værdier (f.eks. støtte til opadgående
    regelkonvergens, adgang til centrale ressourcer, herunder data, og lige konkurrencevilkår).
    Kommissionen vil nøje overvåge de politikker i tredjelande, der begrænser datastrømme, og vil
    behandle uberettigede begrænsninger i bilaterale handelsforhandlinger og gennem foranstaltninger
    inden for rammerne af Verdenshandelsorganisationen. Kommissionen er overbevist om, at det
    internationale samarbejde om kunstig intelligens skal baseres på en tilgang, der fremmer respekten for
    de grundlæggende rettigheder, herunder menneskelig værdighed, pluralisme, inklusion,
    24
    "Findable, Accessible, Interoperable and Reusable" (data der kan findes og er tilgængelige, interoperable og
    videreanvendelige) som det fremgår af den endelige rapport og handlingsplan fra Kommissionens ekspertgruppe
    vedrørende FAIR data, 2018, https://ec.europa.eu/info/sites/info/files/turning_fair_into_reality_1.pdf.
    25
    https://www.oecd.org/going-digital/ai/principles/
    10
    ikkeforskelsbehandling og beskyttelse af privatlivets fred og personoplysninger26
    , og den vil bestræbe
    sig på at eksportere sine værdier til hele verden27
    . Det står også klart, at ansvarlig udvikling og
    anvendelse af kunstig intelligens kan være en drivkraft til at nå målene for bæredygtig udvikling og
    fremme 2030-dagsordenen.
    5. ET TILLIDSMILJØ: LOVRAMMEN FOR KUNSTIG INTELLIGENS
    Som med al ny teknologi er der både muligheder og risici forbundet med anvendelsen af kunstig
    intelligens. Borgerne frygter, at de bliver ude af stand til at forsvare deres rettigheder og sikkerhed, når
    de står over for informationsasymmetrierne forbundet med algoritmisk beslutningstagning, og
    virksomhederne er bekymrede over manglende retssikkerhed. Selv om kunstig intelligens kan bidrage
    til at beskytte borgernes sikkerhed og sætte dem i stand til at udøve deres grundlæggende rettigheder,
    er borgerne også bekymrede for, om kunstig intelligens kan få utilsigtede virkninger eller endda
    anvendes til ondsindede formål. Disse bekymringer bør der tages højde for. Ud over manglende
    investeringer og færdigheder er manglende tillid desuden en vigtig faktor, der bremser udbredelsen af
    kunstig intelligens.
    Derfor har Kommissionen den 25. april 2018 udarbejdet en strategi for kunstig intelligens28
    , som tager
    fat på de socioøkonomiske aspekter parallelt med en forøgelse af investeringerne i forskning,
    innovation og kapacitet for kunstig intelligens i hele EU. Den har vedtaget en koordineret plan29
    med
    medlemsstaterne for at ensrette strategierne og har også oprettet en ekspertgruppe på højt niveau, som
    i april 2019 offentliggjorde et sæt retningslinjer for pålidelig kunstig intelligens30
    .
    Kommissionen har offentliggjort en meddelelse31
    , hvori den bifaldt de syv centrale krav i
    retningslinjerne fra ekspertgruppen på højt niveau:
     menneskelige aktiviteter og tilsyn udført af mennesker
     teknologisk robusthed og sikkerhed
     privatlivets fred og datastyring
     gennemsigtighed
     mangfoldighed, ikkediskrimination og retfærdighed
     social og miljømæssig velfærd, samt
     ansvarlighed.
    Retningslinjerne indeholder desuden en evalueringsliste, der skal anvendes af virksomhederne i
    praksis. I andet halvår af 2019 har over 350 organisationer afprøvet denne evalueringsliste og indsendt
    feedback. Ekspertgruppen på højt niveau er i færd med at revidere sine retningslinjer i lyset af denne
    feedback og vil afslutte dette arbejde inden juni 2020. Et vigtigt resultat af feedback-processen er, at
    selv om en række af kravene allerede er afspejlet i eksisterende retlige eller lovgivningsmæssige
    ordninger, er dem, der vedrører gennemsigtighed, sporbarhed og menneskeligt tilsyn, ikke specifikt
    omfattet af den nuværende lovgivning i mange økonomiske sektorer.
    26
    Inden for rammerne af partnerskabsinstrumentet vil Kommissionen finansiere et projekt til en værdi af 2,5 mio. EUR,
    som skal lette samarbejdet med ligesindede partnere med henblik på at fremme EU's etiske retningslinjer for kunstig
    intelligens og vedtage fælles principper og praktiske konklusioner.
    27
    Kommissionsformand Ursula von der Leyen, En mere ambitiøs Union — Min dagsorden for Europa, side 17.
    28
    COM(2018) 237.
    29
    COM(2018) 795.
    30
    https://ec.europa.eu/futurium/en/ai-alliance-consultation/guidelines#Top
    31
    COM(2019) 168.
    11
    Ud over dette sæt ikkebindende retningslinjer fra ekspertgruppen på højt niveau og i
    overensstemmelse med formandens politiske retningslinjer vil en klar europæisk lovramme skabe tillid
    til kunstig intelligens blandt forbrugere og virksomheder og dermed fremskynde udbredelsen af
    teknologien. En sådan lovramme bør være i overensstemmelse med andre tiltag til fremme af Europas
    innovationskapacitet og konkurrenceevne på dette område. Derudover skal den sikre socialt,
    miljømæssigt og økonomisk optimale resultater og overholdelse af EU's lovgivning, principper og
    værdier. Dette er særlig relevant på områder, hvor borgernes rettigheder kan blive mest direkte berørt,
    f.eks. i forbindelse med anvendelse af kunstig intelligens til retshåndhævelse og retsvæsenet.
    Udviklere og udbydere af kunstig intelligens er allerede omfattet af EU-lovgivningen om
    grundlæggende rettigheder (f.eks. databeskyttelse, privatlivets fred og ikkeforskelsbehandling),
    forbrugerbeskyttelse og produktsikkerheds- og ansvarsregler. Forbrugerne forventer samme
    sikkerhedsniveau og respekt for deres rettigheder, uanset om et produkt eller et system anvender
    kunstig intelligens eller ej. Visse særlige træk ved kunstig intelligens (f.eks. uigennemsigtighed) kan
    imidlertid vanskeliggøre anvendelsen og håndhævelsen af denne lovgivning. Det er derfor nødvendigt
    at undersøge, om den nuværende lovgivning er i stand til at håndtere de risici, der er forbundet med
    kunstig intelligens, om den kan håndhæves effektivt, og om der er behov for tilpasninger af
    lovgivningen eller helt ny lovgivning.
    I betragtning af, at kunstig intelligens er under hastig udvikling, bør lovrammen give plads til
    yderligere udvikling. Eventuelle ændringer bør begrænses til klart konstaterede problemer, som der
    findes gennemførlige løsninger på.
    Medlemsstaterne peger på den nuværende mangel på en fælles europæisk ramme. Tysklands
    kommission for dataetik har opfordret til et risikobaseret system med fem niveauer, der går fra ingen
    regulering af de mest tilforladelige systemer med kunstig intelligens til et fuldstændigt forbud mod de
    farligste systemer. Danmark har netop lanceret prototypen til en mærkningsordning for dataetik. Malta
    har indført et frivilligt system til certificering af kunstig intelligens. Hvis EU ikke bringer en EU-
    dækkende tilgang på banen, er der en reel risiko for fragmentering i det indre marked, hvilket vil
    undergrave målsætningerne for tillid, retssikkerhed og markedsudbredelse.
    En solid europæisk lovramme for pålidelig kunstig intelligens vil beskytte alle europæiske borgere og
    bidrage til at skabe et gnidningsløst indre marked for den videre udvikling og udbredelse af kunstig
    intelligens samt styrke Europas industrielle grundlag inden for kunstig intelligens.
    A. PROBLEMFORMULERING
    Kunstig intelligens kan skabe mange fordele, herunder ved at føre til sikrere produkter og processer,
    men kan også gøre skade. Skaderne kan både være fysiske (enkeltpersoners sikkerhed og sundhed, tab
    af menneskeliv eller tingsskade) og immaterielle (brud på privatlivets fred, begrænsning af
    ytringsfriheden, tab af menneskelig værdighed eller forskelsbehandling inden for f.eks. adgang til
    beskæftigelse) og kan stamme fra en lang række risici. Lovrammen bør være fokuseret på, hvordan
    man kan minimere de forskellige risici for eventuelle skader, især de mest betydelige risici.
    De største risici i forbindelse med anvendelsen af kunstig intelligens vedrører anvendelsen af regler,
    der har til formål at beskytte grundlæggende rettigheder (herunder beskyttelse af personoplysninger og
    privatlivets fred og ikkeforskelsbehandling), samt sikkerheds- og ansvarsrelaterede spørgsmål32
    .
    32
    Dette omfatter spørgsmål om cybersikkerhed, spørgsmål om anvendelsesmuligheder for kunstig intelligens i kritiske
    infrastrukturer og spørgsmål om ondsindet brug af kunstig intelligens.
    12
    Risici for grundlæggende rettigheder, herunder beskyttelse af personoplysninger og privatlivets fred
    og ikkeforskelsbehandling
    Brugen af kunstig intelligens kan påvirke de værdier, som EU bygger på, og føre til krænkelser af de
    grundlæggende rettigheder33
    , herunder ytringsfriheden, forsamlingsfriheden, menneskelig værdighed,
    ikkeforskelsbehandling på grundlag af køn, race eller etnisk oprindelse, religion eller tro, handicap,
    alder eller seksuel orientering, alt efter hvad der er relevant på visse områder, beskyttelse af
    personoplysninger og privatlivets fred34
    , retten til effektive retsmidler og en retfærdig rettergang samt
    forbrugerbeskyttelse. Disse risici kan opstå som følge af mangler i den overordnede udformning af
    systemer med kunstig intelligens (herunder med hensyn til menneskeligt tilsyn) eller ved anvendelse
    af data uden udbedring af eventuelle skævheder (f.eks. hvis systemet kun er oplært med data fra mænd,
    hvilket dermed fører til suboptimale resultater for kvinder).
    Kunstig intelligens kan udføre mange funktioner, som tidligere kun kunne varetages af mennesker.
    Som følge heraf vil borgere og juridiske personer i stadig højere grad blive påvirket af handlinger og
    beslutninger truffet af eller med bistand fra systemer med kunstig intelligens, som undertiden kan være
    vanskelige at forstå og om nødvendigt anfægte. Desuden øger kunstig intelligens mulighederne for at
    spore og analysere folks daglige vaner. Der er f.eks. en potentiel risiko for, at kunstig intelligens i strid
    med EU's regler om databeskyttelse og andre regler anvendes af statslige myndigheder eller andre
    enheder til masseovervågning og af arbejdsgivere til at observere deres ansattes adfærd. Ved at
    analysere store mængder data og konstatere forbindelser mellem dem kan kunstig intelligens også
    anvendes til at opspore og deanonymisere data om personer, hvorved der opstår nye risici for
    beskyttelsen af personoplysninger, selv med hensyn til datasæt, der ikke som sådan indeholder
    personoplysninger. Kunstig intelligens bruges også af onlineformidlere til at prioritere information til
    deres brugere og til at moderere indhold. De behandlede data, udformningen af anvendelsesmetoderne
    og mulighederne for menneskelig indgriben kan påvirke retten til ytringsfrihed, beskyttelse af
    personoplysninger, privatlivets fred og politiske frihedsrettigheder.
    Forudindtagethed og diskrimination udgør iboende risici for enhver samfundsmæssig eller økonomisk
    aktivitet. Fejl og forudindtagethed kan stadig forekomme, når det er mennesker, der træffer
    beslutningerne. Når samme forudindtagethed forekommer i kunstig intelligens, kan den dog have en
    33
    Europarådets forskning viser, at mange af de grundlæggende rettigheder kunne blive påvirket af anvendelsen af kunstig
    intelligens: https://rm.coe.int/algorithms-and-human-rights-en-rev/16807956b5.
    34
    Den generelle forordning om databeskyttelse og e-databeskyttelsesdirektivet (en ny forordning om e-databeskyttelse er til
    forhandling) afhjælper disse risici, men det kan være nødvendigt at undersøge, om systemer med kunstig intelligens
    medfører yderligere risici. Kommissionen vil løbende overvåge og vurdere anvendelsen af den generelle forordning om
    databeskyttelse.
    Visse algoritmer kan, når de benyttes til at forudsige tilbagefald til kriminel adfærd, være påvirket af
    forudindtagethed i forbindelse med køn og race og dermed udvise forskellige sandsynligheder for tilbagefald
    for kvinder i forhold til mænd eller for statsborgere i forhold til udlændinge. Kilde: Tolan S., Miron M.,
    Gomez E. og Castillo C. "Why Machine Learning May Lead to Unfairness: Evidence from Risk Assessment
    for Juvenile Justice in Catalonia" (Hvorfor maskinindlæring kan føre til uretfærdighed: Dokumentation fra
    risikovurdering i ungdomsretten i Catalonien), pris for bedste artikel, International Conference on AI and
    Law, 2019.
    Visse programmer med kunstig intelligens til ansigtsanalyse udviser forudindtagethed med hensyn til køn og
    race, idet de udviser en lav fejlprocent i bestemmelsen af køn på mænd med lys hud, men udviser en høj
    fejlprocent i bestemmelsen af køn på kvinder med mørk hud. Kilde: Joy Buolamwini, Timnit Gebru,
    Proceedings of the 1st Conference on Fairness, Accountability and Transparency, PMLR bind 81, s. 77-91,
    2018.
    13
    langt større virkning, som kan føre til diskrimination mod mange mennesker uden de sociale
    kontrolmekanismer, der styrer menneskets adfærd35
    . Dette kan også ske, når systemet med kunstig
    intelligens "lærer", mens det er i drift. I sådanne tilfælde, hvor resultatet ikke kunne være blevet
    forhindret eller forudset i planlægningsfasen, skyldes risiciene ikke fejl i systemets oprindelige
    udformning, men opstår snarere af de praktiske konsekvenser af de korrelationer eller mønstre, som
    systemet konstaterer i et stort datasæt.
    De særlige karakteristika ved mange teknologier inden for kunstig intelligens, herunder
    uigennemsigtighed ("sort boks"-effekten), kompleksitet, uforudsigelighed og en delvis autonom
    adfærd, kan gøre det vanskeligt at kontrollere, om reglerne overholdes, og de kan lægge hindringer i
    vejen for en effektiv håndhævelse af gældende EU-lovgivning, der har til formål at beskytte de
    grundlæggende rettigheder. Håndhævende myndigheder og berørte personer kan mangle midler til at
    kontrollere et givent beslutningsforløb, hvori kunstig intelligens blev benyttet, og dermed om de
    relevante regler blev overholdt. Enkeltpersoner og juridiske personer kan have svært ved at få effektiv
    adgang til domstolsprøvelse i situationer, hvor sådanne afgørelser påvirker dem negativt.
    Risici for sikkerheden og for erstatningsordningers effektivitet
    Når teknologier inden for kunstig intelligens indgår i produkter og tjenester, kan de udgøre nye
    sikkerhedsrisici for brugerne. Eksempelvis kan en selvkørende bil som følge af en eventuel fejl i
    billedteknologien fejlagtigt identificere en genstand på vejen og forårsage en ulykke med personskade
    og tingsskade til følge. Som i forbindelse med risiciene for de grundlæggende rettigheder kan disse
    risici være forbundet med problemer med teknologiens udformning, med tilgængeligheden og
    kvaliteten af data eller med andre problemer i forbindelse med maskinindlæring. Visse af disse risici er
    ikke begrænset til produkter og tjenesteydelser, der er afhængige af kunstig intelligens, men
    anvendelsen af kunstig intelligens kan øge eller forværre risiciene.
    Manglen på klare sikkerhedsbestemmelser, der imødegår disse risici, kan ud over risiciene for de
    berørte enkeltpersoner skabe usikkerhed om retstilstanden for virksomheder, der markedsfører deres
    produkter med kunstig intelligens i EU. Markedsovervågnings- og håndhævelsesmyndighederne kan
    komme i en situation, hvor de er usikre, om hvorvidt de kan gribe ind, fordi de måske ikke har de rette
    beføjelser eller ikke har tilstrækkelig teknisk kapacitet til at inspicere systemerne36
    . Usikkerhed om
    retstilstanden kan derfor mindske det generelle sikkerhedsniveau og underminere konkurrenceevnen
    hos europæiske virksomheder.
    35
    Kommissionens Rådgivende Udvalg for Ligestilling mellem Kvinder og Mænd er i færd med at udarbejde en udtalelse
    om kunstig intelligens, hvori det bl.a. analyserer følgevirkningerne af kunstig intelligens for ligestillingen mellem
    kønnene, og som forventes at blive vedtaget af udvalget i begyndelsen af 2020. EU's ligestillingsstrategi for 2020-2024
    omhandler også forbindelsen mellem kunstig intelligens og ligestilling mellem kønnene. Det europæiske netværk af
    ligestillingsorganer (Equinet) vil offentliggøre en rapport (af Robin Allen og Dee Masters) med titlen "Regulating AI: the
    new role for Equality Bodies – Meeting the new challenges to equality and non-discrimination from increased
    digitalisation and the use of AI" (Regulering af kunstig intelligens: Ligestillingsorganernes nye rolle — De nye
    udfordringer for lighed og ikkeforskelsbehandling ved den stigende digitalisering og anvendelse af kunstig intelligens),
    som forventes fremlagt i begyndelsen af 2020.
    36
    Smarture til børn er et eksempel på dette. Dette produkt vil sandsynligvis ikke være til direkte skade for det barn, der
    bærer det, men hvis uret ikke har indbygget basale sikkerhedsfunktioner, kan det nemt bruges som et redskab til at få adgang
    til barnet. Markedsovervågningsmyndighederne kan få svært ved at gribe i tilfælde, hvor risikoen ikke er knyttet til selve
    produktet.
    14
    Hvis sikkerhedsrisiciene manifesterer sig, vil manglen på klare krav og de karakteristika ved
    teknologier med kunstig intelligens, der er nævnt ovenfor, gøre det vanskeligt at spore potentielt
    problematiske beslutninger i forbindelse med anvendelsen af systemer med kunstig intelligens. Dette
    kan dermed gøre det vanskeligt for personer, der har lidt skade, at opnå erstatning i henhold til EU's
    gældende lovgivning om erstatningsansvar37
    .
    Derfor gælder det også for sikkerheds- og ansvarsmæssige anliggender, at det er vanskeligt at spore
    potentielt problematiske beslutninger, der er blevet truffet af systemer med kunstig intelligens, som
    nævnt ovenfor i forbindelse med grundlæggende rettigheder. Det kan være, at skadelidte f.eks. ikke
    har effektiv adgang til de beviser, der er nødvendige for at indbringe et søgsmål for domstolen, og har
    mindre effektive klagemuligheder i forhold til situationer, hvor skaden er forårsaget af traditionelle
    teknologier. Disse risici vil stige, efterhånden som anvendelsen af kunstig intelligens bliver mere
    udbredt.
    B. MULIGE TILPASNINGER AF EU'S EKSISTERENDE LOVRAMME VEDRØRENDE KUNSTIG
    INTELLIGENS
    Meget af den eksisterende EU-lovgivning om produktsikkerhed og produktansvar 38
    , herunder
    sektorspecifikke regler, der yderligere suppleres af national lovgivning, er relevant for og muligvis
    anvendelig på en række nye anvendelser af kunstig intelligens.
    For så vidt angår beskyttelsen af grundlæggende rettigheder og forbrugerrettigheder, omfatter EU's
    lovramme bl.a. direktivet om racelighed39
    , direktivet om ligebehandling med hensyn til beskæftigelse
    og erhverv40
    , direktiverne om ligebehandling af mænd og kvinder i forbindelse med beskæftigelse og
    adgang til varer og tjenesteydelser41
    samt en række retsakter om forbrugerbeskyttelse42
    og beskyttelse
    af personoplysninger og privatlivets fred, herunder navnlig den generelle forordning om
    databeskyttelse og anden sektorspecifik lovgivning vedrørende beskyttelse af personoplysninger
    såsom direktivet om databeskyttelse på retshåndhævelsesområdet 43
    . Desuden vil reglerne om
    37
    I Kommissionens rapport, der ledsager denne hvidbog, analyseres konsekvenserne af kunstig intelligens, tingenes internet
    og andre digitale teknologier for sikkerheds- og ansvarslovgivningen.
    38
    EU's lovramme for produktsikkerhed består af direktivet om produktsikkerhed i almindelighed (direktiv 2001/95/EF) som
    sikkerhedsnet sammen med en række sektorspecifikke regler for forskellige kategorier af produkter, fra maskiner, fly og biler
    til legetøj og medicinsk udstyr, der har til formål at sikre et højt sundheds- og sikkerhedsniveau. Produktansvarslovgivningen
    suppleres af forskellige ordninger for civilretligt ansvar for skader forårsaget af produkter eller tjenester.
    39
    Direktiv 2000/43/EF.
    40
    Direktiv 2000/78/EF.
    41
    Direktiv 2004/113/EF, Direktiv 2006/54/EF.
    42
    F.eks. direktivet om urimelig handelspraksis (direktiv 2005/29/EF) og direktivet om forbrugerrettigheder (direktiv
    2011/83/EF).
    43
    Europa-Parlamentets og Rådets direktiv (EU) 2016/680 af 27. april 2016 om beskyttelse af fysiske personer i forbindelse
    med kompetente myndigheders behandling af personoplysninger med henblik på at forebygge, efterforske, afsløre eller
    retsforfølge strafbare handlinger eller fuldbyrde strafferetlige sanktioner og om fri udveksling af sådanne oplysninger.
    I henhold til produktansvarsdirektivet er en fabrikant ansvarlig for skader forårsaget af et defekt produkt. I
    forbindelse med et system baseret på kunstig intelligens, f.eks. selvkørende biler, kan det være vanskeligt at
    bevise, at produktet er defekt, at der er sket en skade, og at der er en årsagssammenhæng mellem de to.
    Desuden er der en vis usikkerhed med hensyn til, hvordan og i hvilket omfang produktansvarsdirektivet
    gælder for visse typer defekter, f.eks. hvis disse skyldes svagheder i produktets cybersikkerhed.
    15
    tilgængelighedskrav for produkter og tjenester, der er fastsat i den europæiske retsakt om
    tilgængelighed44
    , finde anvendelse fra 2025. De grundlæggende rettigheder skal desuden respekteres i
    forbindelse med gennemførelsen af anden EU-lovgivning, herunder inden for finansielle
    tjenesteydelser, migration eller ansvar hos onlineformidlere.
    Selv om EU-lovgivningen i princippet fortsat finder fuld anvendelse, uanset om kunstig intelligens er
    involveret eller ej, er det vigtigt at vurdere, om den kan håndhæves tilstrækkeligt for at imødegå de
    risici, som systemer med kunstig intelligens medfører, eller om der er behov for tilpasninger af
    specifikke retlige instrumenter.
    For eksempel er økonomiske aktører fortsat fuldt ansvarlige for, at deres systemer med kunstig
    intelligens overholder de eksisterende regler om forbrugerbeskyttelse. Enhver form for algoritmisk
    udnyttelse af forbrugeradfærd i strid med de gældende regler er forbudt og straffes derefter.
    Kommissionen er af den opfattelse, at lovrammen kan forbedres med henblik på at tage højde for
    følgende risici og situationer:
     Effektiv anvendelse og håndhævelse af eksisterende EU-lovgivning og national lovgivning: De
    centrale egenskaber ved kunstig intelligens skaber udfordringer med hensyn til at sikre korrekt
    anvendelse og håndhævelse af EU-lovgivning og national lovgivning. Den manglende
    gennemsigtighed (ved uigennemsigtig kunstig intelligens) gør det vanskeligt at konstatere og
    påvise mulige lovovertrædelser (herunder af retlige bestemmelser, der beskytter de
    grundlæggende rettigheder), pålægge ansvar og opfylde betingelserne for at kræve erstatning.
    For at sikre effektiv anvendelse og håndhævelse kan det derfor være nødvendigt at tilpasse
    eller præcisere eksisterende lovgivning på visse områder, f.eks. om ansvar som nærmere
    beskrevet i den rapport, der ledsager denne hvidbog.
     Begrænsninger af anvendelsesområdet for eksisterende EU-lovgivning: Et væsentligt
    fokusområde i EU's produktsikkerhedslovgivning er, når produkter bringes i omsætning. Når
    software indgår i et endeligt produkt, skal det i henhold til EU's produktsikkerhedslovgivning
    overholde de relevante produktsikkerhedsregler, men det er et åbent spørgsmål, om
    enkeltstående software uden for visse sektorer med udtrykkelige regler45
    er omfattet af EU's
    produktsikkerhedslovgivning. EU's gældende generelle sikkerhedslovgivning finder
    anvendelse på produkter og ikke på tjenesteydelser og derfor i princippet ikke på tjenester
    baseret på kunstig intelligens (f.eks. sundhedstjenester, finansielle tjenester, transporttjenester).
     Funktionsændringer i systemer med kunstig intelligens: Integration af software, herunder
    kunstig intelligens, i produkter kan ændre funktionen af sådanne produkter og systemer i løbet
    af deres livscyklus. Dette gælder især systemer, der kræver hyppige softwareopdateringer,
    eller som bygger på maskinindlæring. Disse egenskaber kan give anledning til nye risici, som
    ikke var til stede, da systemet i første omgang blev bragt i omsætning. Disse risici behandles
    ikke i tilstrækkelig grad i den eksisterende lovgivning, som hovedsagelig fokuserer på de
    sikkerhedsrisici, der er til stede på det tidspunkt, hvor systemet blev bragt i omsætning.
    44
    Direktiv (EU) 2019/882 om tilgængelighedskrav for produkter og tjenester.
    45
    F.eks. betragtes software, som af fabrikanten er beregnet til medicinske formål, som medicinsk udstyr i henhold til
    forordningen om medicinsk udstyr (forordning (EU) 2017/745) .
    16
     Usikkerhed med hensyn til ansvarsfordelingen mellem forskellige økonomiske aktører i
    forsyningskæden: I henhold til EU's produktsikkerhedslovgivning er det almindeligvis
    producenten, der pålægges ansvaret for det produkt, der bringes i omsætning, herunder alle
    dets komponenter såsom systemer med kunstig intelligens. Men reglerne kan f.eks. blive
    uklare, hvis der tilføjes kunstig intelligens, efter produktet er blevet bragt i omsætning af en
    anden part end producenten. Derudover fastsætter EU's produktansvarslovgivning
    producenternes ansvar og overlader det til de nationale regler om erstatningsansvar at regulere
    det ansvar, som andre i forsyningskæden har.
     Ændringer af begrebet sikkerhed: Anvendelsen af kunstig intelligens i produkter og
    tjenesteydelser kan give anledning til risici, som EU-lovgivningen på nuværende tidspunkt
    ikke udtrykkeligt omhandler. Disse risici kan være forbundet med cybertrusler, risici for den
    personlige sikkerhed (f.eks. i forbindelse med nye anvendelser af kunstig intelligens såsom i
    husholdningsapparater), risici som følge af manglende forbindelse osv. Disse risici kan
    forekomme på det tidspunktet, hvor et givent produkt blev bragt i omsætning, eller opstå som
    følge af softwareopdateringer eller selvoplæring, når produktet anvendes. EU bør gøre fuld
    brug af sine til rådighed stående redskaber for at øge sit evidensgrundlag for potentielle risici i
    forbindelse med anvendelser af kunstig intelligens, herunder ved at udnytte erfaringerne fra
    EU's Agentur for Cybersikkerhed (ENISA) til at vurdere trusselsbilledet vedrørende kunstig
    intelligens.
    Som tidligere nævnt er flere medlemsstater allerede i færd med at undersøge mulighederne for national
    lovgivning for at imødegå udfordringerne forbundet med kunstig intelligens. Dette øger risikoen for, at
    det indre marked fragmenteres. Forskelligartede nationale regler vil sandsynligvis skabe hindringer for
    virksomheder, der ønsker at sælge og anvende systemer med kunstig intelligens i det indre marked. En
    fælles tilgang på EU-plan vil give europæiske virksomheder uhindret adgang til det indre marked og
    støtte deres konkurrenceevne på de globale markeder.
    17
    Rapport om de konsekvenser, som kunstig intelligens, tingenes internet og robotteknologi vil have for
    sikkerhed og erstatningsansvar
    I rapporten, der ledsager denne hvidbog, analyseres den relevante lovramme. Der konstateres usikkerhed med
    hensyn til anvendelsen af denne ramme med hensyn til de specifikke risici, der er forbundet med systemer
    med kunstig intelligens og andre digitale teknologier.
    Det konkluderes, at den nuværende produktsikkerhedslovgivning allerede støtter et udvidet sikkerhedsbegreb,
    der værner mod alle former for risici i forbindelse med produkters anvendelse. Der vil dog kunne indføres
    bestemmelser, der udtrykkeligt omfatter nye risici i forbindelse med nye digitale teknologier, for at skabe
    større retssikkerhed.
     Visse systemer med kunstig intelligens kan i løbet af deres livscyklus udvise autonom adfærd, der
    kan medføre vigtige produktændringer med indvirkning på sikkerheden, hvilket kan kræve en ny
    risikovurdering. Desuden kan det være nødvendigt med en sikkerhedsforanstaltning i form af
    menneskeligt tilsyn med produkter og systemer med kunstig intelligens lige fra produktets
    udformning og frem gennem hele dets livscyklus.
     Producenternes udtrykkelige forpligtelser kan også overvejes i forbindelse med mentale
    sikkerhedsrisici for brugerne, når dette er hensigtsmæssigt (f.eks. samarbejde med menneskelignende
    robotter).
     EU's produktsikkerhedslovgivning kan udvides til at omfatte specifikke krav, der har til formål at
    håndtere de sikkerhedsrisici, som følger af mangelfulde data i udformningsfasen, samt mekanismer
    til at sikre, at datakvaliteten opretholdes i hele det tidsrum, hvor produkter og systemer med kunstig
    intelligens anvendes.
     Uigennemsigtigheden af systemer, der er baseret på algoritmer, kan afhjælpes med krav om
    gennemsigtighed.
     Eksisterende regler kan eventuelt tilpasses og præciseres i tilfælde, der påvirker sikkerheden i
    forbindelse med enkeltstående software, der bringes i omsætning, eller software, der downloades til
    et produkt, efter at dette er bragt i omsætning.
     I betragtning af forsyningskædernes stigende kompleksitet, for så vidt angår nye teknologier, kan
    retssikkerheden øges via bestemmelser, der specifikt omhandler samarbejde mellem
    forsyningskædens økonomiske aktører og brugerne.
    Egenskaberne ved nye digitale teknologier såsom kunstig intelligens, tingenes internet og robotteknologi kan
    skabe udfordringer for forskellige aspekter af rammerne for erstatningsansvar og har potentialet til at mindske
    deres effektivitet. Nogle af disse egenskaber kan gøre det svært at koble skaden til en person, hvilket er
    påkrævet med henblik på culpa-baserede krav i henhold til de fleste nationale lovgivninger. Dette kan øge
    skadelidtes omkostninger betydeligt og medføre, at erstatningskrav mod andre end producenter kan være
    vanskelige at fremføre eller bevise.
     Personer, der har lidt skade som følge af inddragelsen af systemer med kunstig intelligens, skal have
    samme beskyttelsesniveau som personer, der har lidt skade som følge af andre teknologier, mens den
    teknologiske innovation fortsat bør have mulighed for at udvikle sig.
     Samtlige muligheder for at nå dette mål bør vurderes nøje, herunder mulige ændringer af
    produktansvarsdirektivet og eventuel yderligere målrettet harmonisering af nationale regler om
    erstatningsansvar. Kommissionen er f.eks. interesseret i synspunkter angående hvor vidt og i hvilket
    omfang det kan blive nødvendigt at afbøde konsekvenserne af kompleksitet ved at tilpasse den
    bevisbyrde, der kræves i henhold til nationale regler om erstatningsansvar i forbindelse med skader
    forårsaget af anvendelse af kunstig intelligens.
    18
    På grundlag af ovenstående overvejelser konkluderer Kommissionen, at der ud over eventuelle
    tilpasninger af eksisterende lovgivning kan være behov for en ny lovgivning, der specifikt vedrører
    kunstig intelligens, for at tilpasse EU's lovramme til den aktuelle og forventede teknologiske og
    kommercielle udvikling.
    C. ANVENDELSESOMRÅDE FOR EN FREMTIDIG EU-LOVGIVNINGSRAMME
    Et centralt spørgsmål i forbindelse med den fremtidige specifikke lovramme for kunstig intelligens er
    at fastlægge anvendelsesområdet. Det er en arbejdshypotese, at lovrammen vil gælde for produkter og
    tjenester, der er afhængige af kunstig intelligens. Kunstig intelligens bør derfor defineres klart i denne
    hvidbog og i ethvert fremtidigt initiativ med henblik på fastsættelse af politikken på området.
    Kommissionen gav i sin meddelelse om kunstig intelligens for Europa en første definition af kunstig
    intelligens46
    . Denne definition blev yderligere præciseret af ekspertgruppen på højt niveau47
    .
    I ethvert nyt retligt instrument skal definitionen af kunstig intelligens være tilstrækkelig fleksibel til, at
    den kan tage hensyn til den tekniske udvikling, samtidig med at den er tilstrækkelig præcis til at
    tilvejebringe den nødvendige retssikkerhed.
    I forbindelse med denne hvidbog og
    eventuelle fremtidige drøftelser vedrørende
    politiktiltag synes det vigtigt at skabe
    klarhed om hovedbestanddelene i kunstig
    intelligens, som er "data" og "algoritmer".
    Kunstig intelligens kan integreres i
    hardware. Hvad angår
    maskinlæringsteknikker, som er en form
    for kunstig intelligens, oplæres algoritmer
    til at udlede visse mønstre på grundlag af
    et datasæt med henblik på at fastlægge,
    hvilke handlinger der kræves for at nå et bestemt mål. Algoritmer kan fortsætte med at lære, når de
    anvendes. Mens produkter baseret på kunstig intelligens kan handle selvstændigt ved at observere
    deres miljø og uden at følge et på forhånd fastlagt sæt instrukser, defineres og begrænses deres adfærd
    i vid udstrækning af produktudviklerne. Mennesker fastlægger og programmerer de mål, som et
    system baseret på kunstig intelligens bør optimeres til at nå.
    EU har indført en streng retlig ramme, der bl.a. skal sikre forbrugerbeskyttelse, bekæmpe urimelig
    handelspraksis og beskytte personoplysninger og privatlivets fred. Desuden indeholder EU-retten
    særlige regler for visse sektorer (f.eks. sundhedspleje og transport). Disse eksisterende bestemmelser i
    EU-retten vil fortsat gælde for kunstig intelligens, selv om visse ajourføringer af denne ramme kan
    46
    COM(2018) 237 final, s. 1: "Med kunstig intelligens menes der systemer, der udviser intelligent adfærd ved at analysere
    omgivelserne og handle — med en vis grad af autonomi — for at opnå specifikke mål.
    AI-systemer kan være rent softwarebaserede og agere i den virtuelle verden (f.eks. taleassistenter,
    billedanalyseprogrammer, søgemaskiner, tale- og ansigtsgenkendelsessystemer), eller AI kan indlejres i hardwareudstyr
    (f.eks. avancerede robotter, autonome biler, droner eller applikationer til tingenes internet)".
    47
    Ekspertgruppen på højt niveau, En definition af AI, s. 8: "AI-systemer er softwaresystemer (og evt. også
    hardwaresystemer), der er designet af mennesker, som ud fra et komplekst mål fungerer i den fysiske eller digitale dimension,
    hvor de opfatter deres miljø ved at indhente data, fortolker de indsamlede strukturerede eller ustrukturerede data, ræsonnerer
    ud fra forholdene eller behandler de oplysninger, der er udledt af disse data, og vælger den handling, der bedst kan opfylde
    det angivne mål. AI-systemer kan enten bruge symbolske regler eller lære en numerisk model, og de kan tilpasse deres
    adfærd ved at analysere, hvordan miljøet blev påvirket af deres tidligere handlinger."
    Ved autonom kørsel f.eks. anvender algoritmen i realtid
    dataene fra bilen (hastighed, motorforbrug, støddæmpere
    osv.) og fra sensorerne, der scanner alle bilens omgivelser
    (vej, skilte, andre køretøjer, fodgængere osv.), for deraf at
    udlede, hvilken retning, acceleration og hastighed bilen
    skal have for at nå en bestemt destination. På grundlag af
    de observerede data tilpasser algoritmen sig til
    køreforholdene og de omkringliggende forhold, herunder
    andre chaufførers adfærd, med henblik på deraf at udlede
    den mest komfortable og sikre kørsel.
    19
    være nødvendige for at tage hensyn til den digitale omstilling og anvendelsen af kunstig intelligens (se
    afsnit B). Som følge heraf vil aspekter, der allerede er omfattet af eksisterende horisontal eller
    sektorspecifik lovgivning (f.eks. om medicinsk udstyr48
    og transportsystemer), fortsat være omfattet af
    denne lovgivning.
    Principielt bør den nye lovramme for kunstig intelligens effektivt kunne nå sine mål uden at være alt
    for præskriptiv, så den kan medføre en uforholdsmæssig stor byrde, især for SMV'er. For at nå den
    rette balance er Kommissionen af den opfattelse, at den bør følge en risikobaseret tilgang.
    En risikobaseret tilgang er vigtig for at sikre, at reguleringen står i et rimeligt forhold til målet. Det
    forudsætter imidlertid klare kriterier at skelne mellem de forskellige anvendelser af kunstig intelligens,
    navnlig med hensyn til spørgsmålet om, hvorvidt de indebærer "høj risiko"49
    . Fastlæggelsen af,
    hvornår en anvendelse indebærer høj risiko, bør være tydelig og let forståelig og kunne anvendes af
    alle berørte parter. Selv hvis en anvendelse af kunstig intelligens ikke karakteriseres som indebærende
    høj risiko, er den ikke desto mindre fuldt ud underlagt gældende EU-regler.
    Kommissionen er af den opfattelse, at vurderingen af, om en given anvendelse af kunstig intelligens
    bør betragtes som indebærende høj risiko, afhænger af, hvad der er på spil, under hensyntagen til om
    både sektoren og den tiltænkte anvendelse indebærer betydelige risici, navnlig med hensyn til
    beskyttelse af sikkerhed, forbrugerrettigheder og grundlæggende rettigheder. Mere specifikt bør en
    anvendelse af kunstig intelligens betragtes som indebærende en høj risiko, hvis den opfylder følgende
    to kumulative kriterier:
     For det første at anvendelsen af kunstig intelligens finder sted i en sektor, hvor der på grund af
    de typiske aktiviteters karakteristika kan forventes betydelige risici. Dette første kriterium
    sikrer, at reguleringsindsatsen målrettes de områder, hvor risici generelt betragtes som
    havende størst sandsynlighed for at opstå. De omfattede sektorer bør være specifikt og
    udtømmende opført i den nye lovramme. F.eks. sundhedspleje, transport, energi og dele af den
    offentlige sektor50
    . Listen bør revideres regelmæssigt og ændres, hvor det er nødvendigt,
    afhængigt af den relevante udvikling i praksis.
     For det andet at anvendelsen af kunstig intelligens i den pågældende sektor desuden finder
    sted på en sådan måde, at der sandsynligvis vil opstå betydelige risici. Dette andet kriterium
    afspejler en erkendelse af, at det ikke er enhver anvendelse af kunstig intelligens i de udvalgte
    sektorer, der nødvendigvis indebærer betydelige risici. Selv om sundhedspleje generelt godt
    kan være en relevant sektor, vil en fejl i tidsbestillingssystemet på et hospital normalt ikke
    indebære risici af en sådan betydning, at et lovgivningsmæssigt indgreb er berettiget.
    Vurderingen af risikoniveauet for en given anvendelse kan baseres på konsekvenserne for de
    berørte parter. F.eks. anvendelser af kunstig intelligens, der medfører juridiske eller
    tilsvarende væsentlige virkninger for en persons eller et selskabs rettigheder, der udgør en
    risiko for personskade, død eller væsentlig materiel eller immateriel skade, eller som har
    virkninger, der ikke med rimelighed kan undgås af fysiske eller juridiske personer.
    48
    F.eks. er der forskellige overvejelser om sikkerhed og retlige konsekvenser vedrørende systemer baseret på kunstig
    intelligens, der benyttes til indsamling af specialiserede sundhedsoplysninger til læger, ligesom der er systemer, der benyttes
    til indsamling af sundhedsoplysninger direkte til patienten, eller som selv udfører lægelige opgaver direkte på patienter.
    Kommissionen er i færd med at undersøge disse udfordringer vedrørende sikkerhed og ansvar, som er særlige for
    sundhedsområdet.
    49
    I EU-lovgivningen kan "risici" være kategoriseret på en anden måde end den her beskrevne, alt efter hvilket område der er
    tale om, f.eks. produktsikkerhed.
    50
    Den offentlige sektor kan omfatte områder som asyl, migration, grænsekontrol og retsvæsen, social sikring og
    arbejdsformidling.
    20
    Anvendelsen af de to kumulative kriterier vil sikre, at anvendelsesområdet for lovrammerne er
    målrettet og giver retssikkerhed. De obligatoriske krav i de nye rammebestemmelser for kunstig
    intelligens (se afsnit D) vil i princippet kun gælde for de anvendelser, der er identificeret som
    indebærende høj risiko, i overensstemmelse med disse to kumulative kriterier.
    Uanset ovenstående kan der også være helt særlige tilfælde, hvor anvendelsen af kunstig intelligens til
    visse formål på grund af de risici, der er tale om, i sig selv skal betragtes som indebærende høj risiko
    — dvs., uanset hvilken sektor der er tale om, og hvor nedenstående krav stadig vil være gældende51
    .
    Som eksempel kan navnlig nævnes følgende:
     I betragtning af dens betydning for enkeltpersoner og gældende EU-ret vedrørende
    ligebehandling på beskæftigelsesområdet vil brugen af kunstig intelligens i forbindelse med
    ansættelsesprocedurer og i situationer, der påvirker arbejdstagernes rettigheder, altid blive
    betragtet som indebærende høj risiko, og derfor vil nedenstående krav til enhver tid finde
    anvendelse. Yderligere specifikke anvendelser, der påvirker forbrugernes rettigheder, kan
    overvejes.
     Anvendelser af kunstig intelligens til biometrisk fjernidentificering52
    og andre indgribende
    overvågningsteknologier vil altid blive betragtet som indebærende "høj risiko", og derfor vil
    nedenstående krav altid gælde.
    D. TYPER AF KRAV
    Ved udformningen af den fremtidige lovramme for kunstig intelligens vil det være nødvendigt at
    træffe afgørelse om, hvilke typer obligatoriske lovkrav der skal pålægges de relevante aktører. Disse
    krav kan præciseres nærmere ved hjælp af standarder. Som anført i afsnit C og ud over allerede
    eksisterende lovgivning vil disse krav kun finde anvendelse på anvendelser af kunstig intelligens
    indebærende høj risiko, og således sikres det, at regulerende indgreb er målrettede og står i et rimeligt
    forhold til målet.
    Under hensyntagen til retningslinjerne fra ekspertgruppen på højt plan, og hvad der er blevet redegjort
    for i det foregående, kan kravene til anvendelser af kunstig intelligens indebærende høj risiko bestå af
    følgende centrale elementer, som behandles nærmere i nedenstående underafsnit:
     oplæringsdata
     data og registrering
     oplysninger, der skal udleveres
     robusthed og nøjagtighed
     menneskeligt tilsyn
     specifikke krav til visse særlige anvendelser af kunstig intelligens, såsom dem, der bruges til
    biometrisk fjernidentificering.
    51
    Det er vigtigt at understrege, at andre EU-retsakter også kan finde anvendelse. Når en anvendelse af kunstig intelligens
    f.eks. indgår i et forbrugerprodukt, kan direktivet om produktsikkerhed finde anvendelse på denne anvendelses sikkerhed.
    52
    Der bør skelnes mellem biometrisk fjernidentificering og biometrisk autentificering (sidstnævnte er en sikkerhedsproces,
    der med udgangspunkt i en persons unikke biologiske karakteristika benyttes til at kontrollere, at vedkommende er den,
    vedkommende siger at være). Biometrisk fjernidentificering består i at flere personer på afstand identificeres ved hjælp af
    biometriske identifikatorer (fingeraftryk, ansigtsbillede, iris, åremønstre osv.), i et offentligt rum og kontinuerligt eller
    løbende ved at sammenligne de indsamlede data med data lagret i en database.
    21
    For at sikre retssikkerheden vil disse krav blive yderligere præciseret, så de er klare for alle de aktører,
    der skal leve op til dem.
    a) Oplæringsdata
    Det er vigtigere end nogensinde at fremme, styrke og forsvare EU's værdier og regler og navnlig de
    rettigheder, som borgerne har i henhold til EU-retten. Disse bestræbelser omfatter utvivlsomt også de
    anvendelser af kunstig intelligens, der indebærer høj risiko, som markedsføres og anvendes i EU, og
    som er omhandlet i dette dokument.
    Som fremhævet ovenfor er der ingen kunstig intelligens uden data. Funktionsmåden for mange
    systemer, der bygger på kunstig intelligens, og de handlinger og beslutninger, som de kan medføre,
    afhænger i høj grad af de datasæt, som systemerne er blevet oplært ved hjælp af. Der bør derfor træffes
    de nødvendige foranstaltninger for at sikre, at de data, der anvendes til at oplære systemer, der bygger
    på kunstig intelligens, lever op til og overholder EU's værdier og regler, navnlig med hensyn til
    sikkerhed og eksisterende lovgivningsmæssige bestemmelser om beskyttelse af grundlæggende
    rettigheder. Man kunne forestille sig følgende krav til de datasæt, der anvendes til oplæring af
    systemer, der bygger på kunstig intelligens:
     Krav, der har til formål at give rimelig sikkerhed for, at den efterfølgende anvendelse af de
    produkter eller tjenester, som systemet, der bygger på kunstig intelligens, muliggør, er sikker,
    idet den lever op til de standarder, der er fastsat i de gældende EU-regler om sikkerhed
    (eksisterende og eventuelle supplerende regler). F.eks. krav, der sikrer, at systemer, der bygger
    på kunstig intelligens, er oplært ved brug af datasæt, der er tilstrækkeligt favnende og omfatter
    alle relevante scenarier, der er nødvendige for at undgå farlige situationer.
     Krav om at træffe rimelige foranstaltninger med henblik på at sikre, at en sådan efterfølgende
    anvendelse af systemer, der bygger på kunstig intelligens, ikke medfører forbudt
    forskelsbehandling. Disse krav kan navnlig medføre forpligtelser til at anvende datasæt, der er
    tilstrækkeligt repræsentative, navnlig til at sikre, at alle relevante aspekter af køn, etnisk
    oprindelse og andre mulige grunde til forbudt forskelsbehandling afspejles på passende vis i
    disse datasæt.
     Krav, der har til formål at sikre, at privatlivets fred og personoplysninger beskyttes på
    passende vis under brugen af produkter og tjenester, der kan benytte kunstig intelligens.
    Forhold, der falder ind under anvendelsesområdet for henholdsvis den generelle forordning
    om databeskyttelse og retshåndhævelsesdirektivet, reguleres efter disse.
    b) Registrering og data
    Grundet bl.a. kompleksiteten og uigennemsigtigheden af mange systemer, der bygger på kunstig
    intelligens, og de dertil knyttede problemer, der kan være med effektivt at kontrollere overholdelsen
    og håndhævelsen af gældende regler, er der behov for krav vedrørende registrering i forbindelse med
    programmeringen af algoritmen, de data, der anvendes til at oplære systemer, der bygger på kunstig
    intelligens, og som indebærer høj risiko, og i visse tilfælde selve opbevaringen af data. Disse krav gør
    det samlet set muligt at spore og kontrollere potentielt problematiske tiltag eller beslutninger foretaget
    af systemer, der bygger på kunstig intelligens. Dette bør ikke kun lette tilsyn og håndhævelse; det kan
    også øge incitamentet for de berørte økonomiske aktører til på et tidligt tidspunkt at tage hensyn til
    behovet for at overholde disse regler.
    Med henblik herpå kunne lovrammen indeholde bestemmelser om, at følgende skal bevares:
    22
     nøjagtige optegnelser om de datasæt, der anvendes til at oplære og teste systemer, der bygger
    på kunstig intelligens, herunder en beskrivelse af de væsentlige karakteristika og af, hvordan
    datasættet er udvalgt
     i visse begrundede tilfælde selve datasættene
     Dokumentation for programmerings53
    - og uddannelsesmetoder, processer og teknikker, der
    anvendes til at opbygge, teste og validere systemerne, der bygger på kunstig intelligens,
    herunder i givet fald for så vidt angår sikkerhed og undgåelse af forudindtagethed, der kan
    medføre forbudt forskelsbehandling.
    Optegnelserne, dokumentationen og, hvor det er relevant, datasættene skal opbevares i et begrænset,
    rimeligt tidsrum for at sikre effektiv håndhævelse af den relevante lovgivning. Der bør træffes
    foranstaltninger for at sikre, at de stilles til rådighed efter anmodning, navnlig med henblik på test eller
    inspektion foretaget af de kompetente myndigheder. Om nødvendigt bør der træffes foranstaltninger til
    at sikre, at fortrolige oplysninger såsom forretningshemmeligheder beskyttes.
    c) Udlevering af oplysninger
    Der kræves gennemsigtighed, også ud over de registreringskrav, der behandles i punkt c) ovenfor. For
    at nå de efterstræbte mål – navnlig fremme af en ansvarlig anvendelse af kunstig intelligens,
    tillidsopbygning og lettet klageadgang, hvor det er nødvendigt – er det vigtigt, at der på en proaktiv
    måde gives fyldestgørende oplysninger om brugen af systemer, der bygger på kunstig intelligens, som
    indebærer høj risiko.
    Derfor kunne følgende krav overvejes:
     Sikre klare oplysninger om systemet, der bygger på kunstig intelligens, hvad angår dets
    muligheder og begrænsninger, navnlig det formål, som det er beregnet til, de betingelser,
    under hvilke de kan forventes at fungere efter hensigten, og den forventede nøjagtighed med
    hensyn til det angivne formål. Disse oplysninger er især vigtige for dem, der udbreder
    systemerne, men kan også være relevante for kompetente myndigheder og berørte parter.
     Borgerne bør særskilt informeres tydeligt, når de interagerer med et system, der bygger på
    kunstig intelligens, og ikke et menneske. Selv om EU's databeskyttelseslovgivning allerede
    indeholder visse regler af denne art54
    , kan der være behov for yderligere krav for at nå
    ovennævnte mål. Unødvendige byrder bør i så fald undgås. Derfor er det f.eks. ikke
    nødvendigt at give sådanne oplysninger i situationer, hvor det umiddelbart er indlysende for
    borgerne, at de interagerer med systemer, der bygger på kunstig intelligens. Det er desuden
    vigtigt, at oplysningerne er objektive, kortfattede og let forståelige. Den måde, hvorpå
    oplysningerne skal gives, bør tilpasses den specifikke situation.
    d) Robusthed og nøjagtighed
    Systemer, der bygger på kunstig intelligens, skal være teknisk robuste og nøjagtige for at være
    pålidelige, og dette gælder afgjort anvendelser af kunstig intelligens indebærende høj risiko. Det
    53
    F.eks. dokumentation vedrørende algoritmen, herunder om modellens optimeringsmål, hvilke vægte der som udgangspunkt
    er udformet til visse parametre osv.
    54
    De dataansvarlige skal i medfør af artikel 13, stk. 2, litra f), i GDPR på det tidspunkt, hvor personoplysningerne indhentes,
    give de registrerede yderligere oplysninger, der er nødvendige for at sikre en retfærdig og gennemsigtig behandling, om
    eventuel automatiseret beslutningstagning og visse yderligere oplysninger.
    23
    betyder, at sådanne systemer skal udvikles på en ansvarlig måde og under forudgående behørig
    hensyntagen til de risici, de kan medføre. Deres udvikling og funktion skal være af en sådan art, at der
    er sikkerhed for, at systemer, der bygger på kunstig intelligens, fungerer pålideligt efter hensigten. Der
    bør træffes alle rimelige foranstaltninger for at minimere risikoen for, at der forvoldes skade.
    Derfor kunne følgende forhold overvejes:
     Krav, der sikrer, at systemer, der bygger på kunstig intelligens, er robuste og nøjagtige eller i
    det mindste korrekt viser deres nøjagtighedsgrad i alle faser af livscyklussen
     Krav, der sikrer, at resultaterne er reproducerbare
     Krav, der sikrer, at systemer, der bygger på kunstig intelligens, på passende vis kan håndtere
    fejl eller uoverensstemmelser i alle faser af livscyklussen.
     Krav, der sikrer, at systemer, der bygger på kunstig intelligens, er modstandsdygtige over for
    både åbenlyse angreb og mere subtile forsøg på at manipulere de enkelte data eller algoritmer,
    og at der træffes afhjælpende foranstaltninger i sådanne tilfælde.
    e) Menneskeligt tilsyn
    Menneskeligt tilsyn hjælper med at sikre, at et system, der bygger på kunstig intelligens, ikke
    undergraver menneskers autonomi eller har andre negative virkninger. Målet om pålidelig, etisk og
    menneskecentreret kunstig intelligens kan kun nås ved at sikre en passende inddragelse af mennesker i
    forbindelse med anvendelser af kunstig intelligens indebærende høj risiko.
    Selv om alle de anvendelser af kunstig intelligens, der omhandles i denne hvidbog med henblik på en
    særlig retlig ordning, anses for at indebære høj risiko, kan den passende type og grad af menneskeligt
    tilsyn variere fra sag til sag. Den afhænger navnlig af den påtænkte anvendelse af systemerne og af de
    virkninger, som anvendelsen kan have for berørte borgere og juridiske enheder. Den berører heller
    ikke de juridiske rettigheder, der er fastsat i GDPR, når systemet, der bygger på kunstig intelligens,
    behandler personoplysninger. F.eks. kan menneskeligt tilsyn foregå på følgende ikke-udtømmende
    måder:
     De resultater, som systemet, der bygger på kunstig intelligens, genererer, bruges ikke,
    medmindre de forudgående er blevet gennemset og valideret af et menneske (f.eks. kan en
    beslutning om afslag på en ansøgning om social sikring kun træffes af et menneske)
     De resultater, som systemet, der bygger på kunstig intelligens, genererer, bruges umiddelbart,
    men der sikres efterfølgende menneskelig indgriben (f.eks. kan et system, der bygger på
    kunstig intelligens, generere et afslag på en ansøgning om et kreditkort, men det skal være
    muligt, at et menneske efterfølgende gennemgår beslutningen)
     Overvågning af systemet, der bygger på kunstig intelligens, mens det er i drift, og evnen til at
    gribe ind i realtid og deaktivere (f.eks. findes der en stopknap eller -procedure i en førerløs bil,
    når et menneske afgør, at bilens kørsel ikke er sikker)
     I designfasen ved at indføre operationelle begrænsninger for systemet, der bygger på kunstig
    intelligens (f.eks. skal en førerløs bil standse under visse forhold med lav sigtbarhed, når
    24
    sensorerne være mindre pålidelige, eller til enhver tid opretholde en vis afstand fra det foran
    kørende køretøj).
    f) Særlige krav vedrørende biometrisk fjernidentificering
    Indsamling og brug af biometriske data55
    til biometrisk fjernidentificering56
    , f.eks. gennem udbredelse
    af ansigtsgenkendelse i det offentlige rum, medfører særlige risici, hvad angår grundlæggende
    rettigheder 57
    . Konsekvenserne for fundamentale rettigheder af at bruge systemer til biometrisk
    fjernidentificering, der bygger på kunstig intelligens, kan variere betydeligt afhængigt af formålet,
    konteksten og brugens omfang.
    EU's databeskyttelsesregler indeholder i princippet forbud mod behandling af biometriske data med
    det formål entydigt at identificere en fysisk person, undtagen på særlige betingelser58
    . Nærmere
    bestemt kan en sådan behandling i henhold til GDPR kun finde sted med henvisning til et begrænset
    antal grunde, hvoraf den vigtigste er hensynet til væsentlige samfundsinteresser. Foreligger en sådan
    situation, skal behandlingen finde sted på grundlag af EU-retten eller national ret, under forbehold af
    kravene om proportionalitet, respekt for det væsentligste indhold af retten til databeskyttelse og
    passende sikkerhedsforanstaltninger. Efter retshåndhævelsesdirektivet skal der være forhold, der gør
    det strengt nødvendigt med en sådan behandling, i princippet en tilladelse i henhold til EU-retten eller
    national ret samt passende sikkerhedsforanstaltninger. Da behandling af biometriske data med det
    formål entydigt at identificere en fysisk person falder ind under en undtagelse fra et forbud i EU-retten,
    er den omfattet af EU's charter om grundlæggende rettigheder.
    Det følger heraf, at kunstig intelligens i overensstemmelse med EU's nuværende databeskyttelsesregler
    og chartret om grundlæggende rettigheder kun kan anvendes til biometrisk fjernidentificering, hvis en
    sådan anvendelse er behørigt begrundet, står i et rimeligt forhold til formålet og er omfattet af
    passende sikkerhedsforanstaltninger.
    For at imødegå eventuelle samfundsmæssige betænkeligheder i forbindelse med anvendelsen af
    kunstig intelligens til sådanne formål på offentlige steder og for at undgå fragmentering af det indre
    marked vil Kommissionen lancere en bred europæisk debat om eventuelle særlige omstændigheder,
    der kan berettige en sådan anvendelse, og om fælles sikkerhedsforanstaltninger.
    55
    Biometriske data defineres som "personoplysninger, der som følge af specifik teknisk behandling vedrørende en fysisk
    persons fysiske, fysiologiske eller adfærdsmæssige karakteristika muliggør eller bekræfter en entydig identifikation af
    vedkommende, f.eks. ansigtsbillede eller fingeraftryksoplysninger."
    (Retshåndhævelsesdirektivet, artikel 3, stk. 13, GDPR, artikel 4, stk. 14, forordning (EU) 2018/1725, artikel 3, stk. 18).
    56
    I forbindelse med ansigtsgenkendelse forstås der ved identificering, at skabelonen for en persons ansigtsbillede
    sammenlignes med mange andre skabeloner, der er lagret i en database, for at finde ud af, om vedkommendes billede er
    Lagret dér. Autentificering (eller verifikation) omtales derimod ofte som én-til-én-matchning.
    Den gør det muligt at sammenligne to biometriske skabeloner, der normalt antages at høre til samme person.
    Der foretages en sammenligning af to biometriske skabeloner for at fastslå, om den person, der vises på de to billeder, er den
    samme person. En sådan fremgangsmåde benyttes f.eks. ved automatiserede grænsekontrolposter til grænsekontrol i
    lufthavne.
    57
    F.eks. med hensyn til menneskers værdighed. Tilsvarende står retten til respekt for privatliv og beskyttelse af
    personoplysninger centralt i bekymringerne for de grundlæggende rettigheder i forbindelse med
    ansigtsgenkendelsesteknologi. Ikke-diskrimination og rettighederne for særlige grupper, såsom børn, ældre og personer med
    handicap, kan potentielt også blive påvirket. Desuden må ytrings-, forenings- og forsamlingsfriheden ikke undermineres af
    brugen af teknologi. Se Facial recognition technology: fundamental rights considerations in the context of law enforcement
    (Ansigtsgenkendelsesteknologi: fundamentale rettigheder i retshåndhævelsessammenhæng),
    https://fra.europa.eu/en/publication/2019/facial-recognition.
    58
    Artikel 9 i GDPR, artikel 10 i retshåndhævelsesdirektivet. Se også artikel 10 i forordning (EU) 2018/1725 (gælder for EU's
    institutioner og organer ).
    25
    E. HVEM ER OMFATTET?
    Med hensyn til de aktører, der vil være omfattet af de retlige krav, der skal gælde i forbindelse med de
    ovennævnte anvendelser af kunstig intelligens, der indebærer høj risiko, er der to vigtige spørgsmål,
    der skal behandles.
    For det første er der spørgsmålet om, hvordan forpligtelserne skal fordeles mellem de berørte
    økonomiske aktører. Der er mange aktører involveret i et livscyklussen for et system, der bygger på
    kunstig intelligens. Disse omfatter udvikleren, udbrederen (den person, der bruger et produkt eller en
    tjenesteydelse, der er udstyret med kunstig intelligens) og potentielt andre (producent, distributør eller
    importør, tjenesteyder, professionel eller privat bruger).
    Kommissionen er af den holdning, at hver forpligtelse i en fremtidig lovramme bør pålægges den eller
    de aktører, der er bedst i stand til at imødegå potentielle risici. F.eks. kan udviklere af kunstig
    intelligens være bedst placeret til at håndtere risici i udviklingsfasen, men deres evne til at kontrollere
    risici i brugsfasen kan være mere begrænset. I så fald bør udbrederen være omfattet af den relevante
    forpligtelse. Dette berører ikke spørgsmålet om, hvad enten det angår ansvar over for slutbrugere eller
    andre parter, der lider skade, og for at sikre effektiv adgang til domstolene, hvilken part der skal være
    ansvarlig for eventuelle skader. I henhold til EU's bestemmelser om produktansvar gives producenten
    ansvar for defekte produkter, med mindre andet er fastsat i nationale love, som også kan give
    mulighed for inddrivelse hos andre parter.
    For det andet er der spørgsmålet om det geografiske anvendelsesområde af den lovgivningsmæssige
    indgriben. Efter Kommissionens opfattelse er det af afgørende betydning, at kravene finder anvendelse
    på alle relevante økonomiske aktører, der leverer produkter eller tjenesteydelser, som kan benytte
    kunstig intelligens, i EU, uanset om de er etableret i EU eller ej. Ellers kan målene med den tidligere
    nævnte lovgivningsmæssige indgriben ikke opfyldes fuldt ud.
    F. OVERHOLDELSE OG HÅNDHÆVELSE
    For at sikre, at kunstig intelligens er pålidelig, sikker og i overensstemmelse med europæiske værdier
    og regler, skal de gældende lovkrav overholdes i praksis og håndhæves effektivt af både de
    kompetente nationale og europæiske myndigheder og de berørte parter. De kompetente myndigheder
    bør være i stand til at undersøge individuelle sager, men også til at vurdere indvirkningen på
    samfundet.
    I betragtning af den høje risiko, som visse anvendelser af kunstig intelligens indebærer for borgerne og
    vores samfund (se afsnit A), finder Kommissionen på nuværende tidspunkt, at det er nødvendigt at
    foretage en objektiv, forudgående overensstemmelsesvurdering for at kontrollere og sikre, at visse af
    de ovennævnte obligatoriske krav til anvendelser, der indebærer høj risiko (se afsnit D),
    overholdes. Den forudgående overensstemmelsesvurdering kunne omfatte procedurer for testning,
    inspektion eller certificering59
    . Den kunne omfatte kontrol af algoritmerne og af de datasæt, der
    anvendes i udviklingsfasen.
    Overensstemmelsesvurderinger for anvendelser af kunstig intelligens, der indebærer høj risiko, bør
    indgå i de overensstemmelsesvurderingsmekanismer, der allerede findes for et stort antal produkter,
    der bringes i omsætning på EU's indre marked. Hvis ingen sådanne eksisterende mekanismer kan
    59
    Systemet ville skulle baseres på overensstemmelsesvurderingsprocedurer i EU, se afgørelse 768/2008/EF eller forordning
    (EU) 2019/881 (forordningen om cybersikkerhed) under hensyntagen til de særlige forhold, der gør sig gældende for
    kunstig intelligens. Se den blå vejledning om gennemførelsen af EU's produktregler fra 2014.
    26
    benyttes, kan det være nødvendigt at indføre lignende mekanismer på grundlag af bedste praksis og
    eventuelle bidrag fra interessenter og europæiske standardiseringsorganisationer. En sådan ny
    mekanisme bør stå i et rimeligt forhold til målet og være ikke-diskriminerende og gøre brug af
    gennemsigtige og objektive kriterier i overensstemmelse med internationale forpligtelser.
    Ved udformningen og gennemførelsen af et system, der bygger på forudgående
    overensstemmelsesvurdering, bør der navnlig tages hensyn til følgende:
     Alle de krav, der er beskrevet ovenfor, er ikke nødvendigvis egnede til verificering ved en
    forudgående overensstemmelsesvurdering. F.eks. er kravet om, at oplysninger skal stilles til
    rådighed, generelt ikke godt egnet til verificering ved en sådan vurdering.
     Der bør tages særligt hensyn til muligheden for, at visse systemer, der bygger på kunstig
    intelligens, udvikler sig og lærer af erfaringer, hvilket kan medføre, at det er nødvendigt at
    gentage vurderingen i de pågældende systemers levetid.
     Behovet for at kontrollere de data, der anvendes til oplæring, og de relevante programmerings-
    og oplæringsmetoder, processer og teknikker, der anvendes til at opbygge, teste og validere
    systemer, der bygger på kunstig intelligens.
     Hvis overensstemmelsesvurderingen viser, at et system, der bygger på kunstig intelligens, ikke
    opfylder kravene til f.eks. de data, der anvendes til at oplære det, skal de konstaterede mangler
    afhjælpes, f.eks. ved at genoplære systemet i EU på en sådan måde, at det sikres, at alle
    gældende krav opfyldes.
    Overensstemmelsesvurderingerne vil være obligatoriske for alle økonomiske aktører, der er omfattet
    af kravene, uanset hvor de er etableret60
    . For at begrænse byrden for SMV'er kan det overvejes at
    etablere en støttestruktur, herunder gennem digitale innovationsknudepunkter. Desuden kan standarder
    og særlige onlineværktøjer fremme overholdelsen.
    Enhver forudgående overensstemmelsesvurdering bør ikke berøre de kompetente nationale
    myndigheders overholdelse af overvågningsforpligtelser og efterfølgende håndhævelse. Dette gælder
    for anvendelser af kunstig intelligens, der indebærer høj risiko, men også for andre anvendelser af
    kunstig intelligens, der er underlagt lovkrav, også selv om den høje risiko, som de pågældende
    anvendelser måtte indebære, kan være årsag for de kompetente nationale myndigheder til i særlig grad
    at være opmærksomme på de førstnævnte. Det bør være muligt at gennemføre efterfølgende kontrol
    ved hjælp af passende dokumentation vedrørende den relevante anvendelse af kunstig intelligens (se
    afsnit E) og, hvor det er relevant, bør det være muligt for tredjeparter såsom kompetente myndigheder
    at teste sådanne anvendelser. Dette kan især være vigtigt, hvis der opstår risici for grundlæggende
    rettigheder, som er kontekstafhængige. En sådan overvågning af overholdelsen bør indgå i en
    kontinuerlig markedsovervågningsordning. Forvaltningsrelaterede aspekter behandles yderligere i
    afsnit H.
    Desuden bør der sikres en effektiv domstolsprøvelse for parter, der påvirkes negativt, både for
    anvendelser, der indebærer høj risiko, og for andre anvendelser af kunstig intelligens. Spørgsmål
    vedrørende ansvar drøftes yderligere i rapporten om rammerne for sikkerhed og ansvar, der ledsager
    denne hvidbog.
    60
    Hvad angår den relevante forvaltningsstruktur, herunder organer til udførelse af overensstemmelsesvurderingerne, se afsnit
    H.
    27
    G. FRIVILLIG MÆRKNING AF ANVENDELSER AF KUNSTIG INTELLIGENS, DER IKKE INDEBÆRER HØJ
    RISIKO
    For anvendelser af kunstig intelligens, der ikke kan betegnes som indebærende høj risiko (se afsnit C),
    og som derfor ikke er omfattet af de ovenfor omhandlede obligatoriske krav (se afsnit D, E og F), vil
    en valgmulighed ud over den gældende lovgivning være at indføre en frivillig mærkningsordning.
    Under ordningen kunne interesserede økonomiske aktører, der ikke er omfattet af de obligatoriske
    krav, beslutte på frivillig basis enten at underkaste sig disse krav eller et specifikt sæt af lignende krav,
    der er fastsat med særligt henblik på den frivillige ordning. De berørte økonomiske operatører ville så
    blive tildelt et kvalitetsmærke for deres anvendelser, der bygger på kunstig intelligens.
    Den frivillige mærkning ville gøre det muligt for de berørte økonomiske aktører at signalere, at deres
    produkter og tjenester, der kan benytte kunstig intelligens, er pålidelige. En sådan ordning ville gøre
    det let for brugerne at se, at de pågældende produkter og tjenester er i overensstemmelse med bestemte
    mål og standardiserede EU-dækkende benchmarks, der går ud over de normalt gældende retlige
    forpligtelser. Dette ville bidrage til at øge brugernes tillid til AI-systemer og fremme den generelle
    udbredelse af teknologien.
    Til brug for mærkningsordningen ville der skulle skabes et nyt retligt instrument, hvori rammerne for
    den frivillige mærkning af systemer, der bygger på kunstig intelligens, som ikke indebærer høj risiko,
    ville skulle fastlægges for systemernes udviklere og/eller udbredere. Mens det ville være frivilligt at
    deltage i mærkningsordningen, ville kravene være bindende, når udvikleren eller udbrederen først har
    valgt at anvende mærket. Kombinationen af forudgående og efterfølgende håndhævelse ville skulle
    sikre, at alle krav overholdes.
    H. FORVALTNING
    Det er nødvendigt med en europæisk forvaltningsstruktur for kunstig intelligens i form af en ramme
    for samarbejde mellem nationale kompetente myndigheder for at undgå en opsplitning af ansvaret, øge
    kapaciteten i medlemsstaterne og sikre, at Europa giver sig selv den kapacitet, der er nødvendig for at
    teste og certificere produkter og tjenester, der kan benytte kunstig intelligens. I den forbindelse vil det
    være nyttigt at støtte de kompetente nationale myndigheder for at sætte dem i stand til at opfylde deres
    mandat, hvor kunstig intelligens anvendes.
    En europæisk forvaltningsstruktur kan have en række forskellige opgaver og fungere som et forum for
    regelmæssig udveksling af oplysninger og bedste praksis, hvor nye tendenser identificeres, og der
    gives råd om standardisering og certificering. Den bør også spille en central rolle med hensyn til at
    lette gennemførelsen af de retlige rammer, f.eks. gennem udformning af retningslinjer, udtalelser og
    ekspertise. Med henblik herpå bør den bygge på et netværk af nationale myndigheder samt
    sektornetværk og regulerende myndigheder på nationalt plan og EU-plan. Desuden kunne et
    ekspertudvalg yde Kommissionen bistand.
    Forvaltningsstrukturen bør sikre maksimal deltagelse af interessenter. Interessenter –
    forbrugerorganisationer og arbejdsmarkedets parter, virksomheder, forskere og
    civilsamfundsorganisationer – bør høres om rammens gennemførelse og videreudvikling.
    Der findes allerede strukturer, f.eks. inden for finansiering, lægemidler, luftfart, medicinsk udstyr,
    forbrugerbeskyttelse og databeskyttelse, og den foreslåede forvaltningsstruktur bør ikke overlappe
    med eksisterende funktioner. I stedet bør der etableres tætte forbindelser med andre kompetente EU-
    myndigheder og nationale myndigheder i de forskellige sektorer for at supplere den eksisterende
    ekspertise og hjælpe eksisterende myndigheder med overvågning og tilsyn med de aktiviteter, der
    28
    udføres af økonomiske aktører, og som omfatter systemer, produkter og tjenester, der bygger på
    kunstig intelligens.
    Hvis det besluttes at gå videre med dette, kan det desuden betros bemyndigede organer, der er udpeget
    af medlemsstaterne, at udføre overensstemmelsesvurderinger. Testcentre bør muliggøre uafhængig
    revision og vurdering af systemer, der bygger på kunstig intelligens, i overensstemmelse med
    ovenstående krav. Uafhængig vurdering vil øge tilliden og sikre objektivitet. Relevante kompetente
    myndigheders arbejde ville også nyde godt heraf.
    EU har fremragende test- og vurderingscentre og bør også udvikle sin kapacitet inden for kunstig
    intelligens. Økonomiske aktører, der er etableret i tredjelande, og som ønsker at komme ind på det
    indre marked, ville enten kunne gøre brug af udpegede organer, der er etableret i EU, eller, hvis de er
    omfattet af aftaler om gensidig anerkendelse med tredjelande, benytte tredjelandes organer, der er
    udpeget til at foretage en sådan vurdering.
    Forvaltningsstrukturen vedrørende kunstig intelligens og de her omhandlede mulige
    overensstemmelsesvurderinger ville ikke berøre de relevante kompetente myndigheders beføjelser og
    ansvar under eksisterende EU-lovgivning inden for specifikke sektorer eller problemstillinger
    (finansiering, lægemidler, luftfart, medicinsk udstyr, forbrugerbeskyttelse, databeskyttelse osv.).
    6. KONKLUSION
    Kunstig intelligens er en strategisk teknologi, der medfører mange fordele for borgere, virksomheder
    og samfundet som helhed, forudsat at den er menneskecentreret, etisk, bæredygtig og anvendt under
    overholdelse af og med respekt for de grundlæggende rettigheder og værdier. Kunstig intelligens giver
    mulighed for store effektivitets- og produktivitetsgevinster, som kan styrke det europæiske
    erhvervslivs konkurrenceevne og forbedre borgernes velfærd. Kunstig intelligens kan også bidrage til
    at finde løsninger på nogle af de mest presserende samfundsudfordringer, herunder bekæmpelse af
    klimaændringer og miljøforringelser, udfordringer i forbindelse med bæredygtighed og demografiske
    ændringer samt beskyttelse af vores demokratier og, hvor det er nødvendigt og står i et rimeligt
    forhold til målet, bekæmpelse af kriminalitet.
    For fuldt ud at kunne udnytte de muligheder, som kunstig intelligens giver, skal Europa udvikle og
    styrke den nødvendige industrielle og teknologiske kapacitet. Som det fremgår af den ledsagende
    europæiske strategi for data, kræver dette også foranstaltninger, der kan give EU mulighed for at blive
    et globalt dataknudepunkt.
    Den europæiske tilgang til kunstig intelligens har til formål at fremme Europas innovationskapacitet
    inden for kunstig intelligens og samtidig støtte udviklingen og udbredelsen af etisk og pålidelig
    kunstig intelligens i hele EU's økonomi. Kunstig intelligens bør tjene mennesker og udgøre en positiv
    kraft i samfundet.
    29
    Med denne hvidbog og den ledsagende rapport om rammerne for sikkerhed og ansvar iværksætter
    Kommissionen en bred høring af medlemsstaternes civilsamfund, erhvervslivet og forskningsmiljø om
    konkrete forslag til en europæisk tilgang til kunstig intelligens. Disse omfatter både politiske midler til
    at sætte skub i investeringer i forskning og innovation, fremme udviklingen af færdigheder og støtte
    SMV'ers brug af kunstig intelligens samt forslag til centrale elementer i en fremtidig lovramme. Denne
    høring vil give mulighed for en omfattende dialog med alle berørte parter, som vil danne grundlag for
    Kommissionens næste skridt.
    Kommissionen opfordrer til at fremsætte bemærkninger til forslagene i hvidbogen gennem en åben
    offentlig høring på https://ec.europa.eu/info/consultations_en. Der kan indgives bemærkninger i
    forbindelse med høringen frem til den 19. maj 2020.
    Det er Kommissionens faste praksis at offentliggøre de bemærkninger, den modtager som led i en
    offentlig høring. Der er imidlertid mulighed for at anmode om, at bemærkningerne eller dele heraf
    forbliver fortrolige. Skulle De nære ønske herom, bedes De på forsiden af bemærkningerne klart
    angive, at de ikke må offentliggøres, og også fremsende en ikke-fortrolig version af Deres
    bemærkninger til Kommissionen til offentliggørelse.