HVIDBOG om kunstig intelligens - en europæisk tilgang til ekspertise og tillid
Tilhører sager:
- Hovedtilknytning: HVIDBOG om kunstig intelligens - en europæisk tilgang til ekspertise og tillid ()
- Hovedtilknytning: HVIDBOG om kunstig intelligens - en europæisk tilgang til ekspertise og tillid ()
- Hovedtilknytning: HVIDBOG om kunstig intelligens - en europæisk tilgang til ekspertise og tillid ()
Aktører:
1_EN_ACT_part1_v12.pdf
https://www.ft.dk/samling/20201/kommissionsforslag/kom(2020)0065/forslag/1634988/2152139.pdf
EN EN EUROPEAN COMMISSION Brussels, 19.2.2020 COM(2020) 65 final WHITE PAPER On Artificial Intelligence - A European approach to excellence and trust Europaudvalget 2020 KOM (2020) 0065 Offentligt 1 White Paper on Artificial Intelligence A European approach to excellence and trust Artificial Intelligence is developing fast. It will change our lives by improving healthcare (e.g. making diagnosis more precise, enabling better prevention of diseases), increasing the efficiency of farming, contributing to climate change mitigation and adaptation, improving the efficiency of production systems through predictive maintenance, increasing the security of Europeans, and in many other ways that we can only begin to imagine. At the same time, Artificial Intelligence (AI) entails a number of potential risks, such as opaque decision-making, gender-based or other kinds of discrimination, intrusion in our private lives or being used for criminal purposes. Against a background of fierce global competition, a solid European approach is needed, building on the European strategy for AI presented in April 20181 . To address the opportunities and challenges of AI, the EU must act as one and define its own way, based on European values, to promote the development and deployment of AI. The Commission is committed to enabling scientific breakthrough, to preserving the EU’s technological leadership and to ensuring that new technologies are at the service of all Europeans – improving their lives while respecting their rights. Commission President Ursula von der Leyen announced in her political Guidelines2 a coordinated European approach on the human and ethical implications of AI as well as a reflection on the better use of big data for innovation. Thus, the Commission supports a regulatory and investment oriented approach with the twin objective of promoting the uptake of AI and of addressing the risks associated with certain uses of this new technology. The purpose of this White Paper is to set out policy options on how to achieve these objectives. It does not address +the development and use of AI for military purposes.The Commission invites Member States, other European institutions, and all stakeholders, including industry, social partners, civil society organisations, researchers, the public in general and any interested party, to react to the options below and to contribute to the Commission’s future decision-making in this domain. 1. INTRODUCTION As digital technology becomes an ever more central part of every aspect of people’s lives, people should be able to trust it. Trustworthiness is also a prerequisite for its uptake. This is a chance for Europe, given its strong attachment to values and the rule of law as well as its proven capacity to build safe, reliable and sophisticated products and services from aeronautics to energy, automotive and medical equipment. Europe’s current and future sustainable economic growth and societal wellbeing increasingly draws on value created by data. AI is one of the most important applications of the data economy. Today most data are related to consumers and are stored and processed on central cloud-based infrastructure. By contrast a large share of tomorrow’s far more abundant data will come from industry, business and the public sector, and will be stored on a variety of systems, notably on computing devices working at the edge of the network. This opens up new opportunities for Europe, which has a strong position in 1 AI for Europe, COM/2018/237 final 2 https://ec.europa.eu/commission/sites/beta-political/files/political-guidelines-next-commission_en.pdf. 2 digitised industry and business-to-business applications, but a relatively weak position in consumer platforms. Simply put, AI is a collection of technologies that combine data, algorithms and computing power. Advances in computing and the increasing availability of data are therefore key drivers of the current upsurge of AI. Europe can combine its technological and industrial strengths with a high-quality digital infrastructure and a regulatory framework based on its fundamental values to become a global leader in innovation in the data economy and its applications as set out in the European data strategy3 . On that basis, it can develop an AI ecosystem that brings the benefits of the technology to the whole of European society and economy: for citizens to reap new benefits for example improved health care, fewer breakdowns of household machinery, safer and cleaner transport systems, better public services; for business development, for example a new generation of products and services in areas where Europe is particularly strong (machinery, transport, cybersecurity, farming, the green and circular economy, healthcare and high-value added sectors like fashion and tourism); and for services of public interest, for example by reducing the costs of providing services (transport, education, energy and waste management), by improving the sustainability of products4 and by equipping law enforcement authorities with appropriate tools to ensure the security of citizens5 , with proper safeguards to respect their rights and freedoms. Given the major impact that AI can have on our society and the need to build trust, it is vital that European AI is grounded in our values and fundamental rights such as human dignity and privacy protection. Furthermore, the impact of AI systems should be considered not only from an individual perspective, but also from the perspective of society as a whole. The use of AI systems can have a significant role in achieving the Sustainable Development Goals, and in supporting the democratic process and social rights. With its recent proposals on the European Green Deal6 , Europe is leading the way in tackling climate and environmental-related challenges. Digital technologies such as AI are a critical enabler for attaining the goals of the Green Deal. Given the increasing importance of AI, the environmental impact of AI systems needs to be duly considered throughout their lifecycle and across the entire supply chain, e.g. as regards resource usage for the training of algorithms and the storage of data. A common European approach to AI is necessary to reach sufficient scale and avoid the fragmentation of the single market. The introduction of national initiatives risks to endanger legal certainty, to weaken citizens’ trust and to prevent the emergence of a dynamic European industry. This White Paper presents policy options to enable a trustworthy and secure development of AI in Europe, in full respect of the values and rights of EU citizens. The main building blocks of this White Paper are: 3 COM(2020) 66 final. 4 AI and digitalisation in general are critical enablers of Europe’s Green deal ambitions. However, the current environmental footprint of the ICT sector is estimated at more than 2% of all global emissions. The European digital strategy accompanying this White Paper proposes green transformation measures for digital. 5 AI tools can provide an opportunity for better protecting EU citizens from crime and acts of terrorism. Such tools could, for example, help identify online terrorist propaganda, discover suspicious transactions in the sales of dangerous products, identify dangerous hidden objects or illicit substances or products, offer assistance to citizens in emergencies and help guide first responders. 6 COM(2019) 640 final. 3 The policy framework setting out measures to align efforts at European, national and regional level. In partnership between the private and the public sector, the aim of the framework is to mobilise resources to achieve an ‘ecosystem of excellence’ along the entire value chain, starting in research and innovation, and to create the right incentives to accelerate the adoption of solutions based on AI, including by small and medium-sized enterprises (SMEs). The key elements of a future regulatory framework for AI in Europe that will create a unique ‘ecosystem of trust’. To do so, it must ensure compliance with EU rules, including the rules protecting fundamental rights and consumers’ rights, in particular for AI systems operated in the EU that pose a high risk7 . Building an ecosystem of trust is a policy objective in itself, and should give citizens the confidence to take up AI applications and give companies and public organisations the legal certainty to innovate using AI. The Commission strongly supports a human-centric approach based on the Communication on Building Trust in Human-Centric AI8 and will also take into account the input obtained during the piloting phase of the Ethics Guidelines prepared by the High-Level Expert Group on AI. The European strategy for data, which accompanies this White Paper, aims to enable Europe to become the most attractive, secure and dynamic data-agile economy in the world – empowering Europe with data to improve decisions and better the lives of all its citizens. The strategy sets out a number of policy measures, including mobilising private and public investments, needed to achieve this goal. Finally, the implications of AI, Internet of Things and other digital technologies for safety and liability legislation are analysed in the Commission Report accompanying this White Paper. 2. CAPITALISING ON STRENGTHS IN INDUSTRIAL AND PROFESSIONAL MARKETS Europe is well placed to benefit from the potential of AI, not only as a user but also as a creator and a producer of this technology. It has excellent research centres, innovative start-ups, a world-leading position in robotics and competitive manufacturing and services sectors, from automotive to healthcare, energy, financial services and agriculture. Europe has developed a strong computing infrastructure (e.g. high-performance computers), essential to the functioning of AI. Europe also holds large volumes of public and industrial data, the potential of which is currently under-used. It has well- recognised industrial strengths in safe and secure digital systems with low-power consumption that are essential for the further development of AI. Harnessing the capacity of the EU to invest in next generation technologies and infrastructures, as well as in digital competences like data literacy, will increase Europe’s technological sovereignty in key enabling technologies and infrastructures for the data economy. The infrastructures should support the creation of European data pools enabling trustworthy AI, e.g. AI based on European values and rules. Europe should leverage its strengths to expand its position in the ecosystems and along the value chain, from certain hardware manufacturing sectors to software all the way to services. This is already happening to an extent. Europe produces more than a quarter of all industrial and professional service robots (e.g. for precision farming, security, health, logistics.), and plays an important role in developing and using software applications for companies and organisations (business-to-business applications such as Enterprise Resource Planning, design and engineering software) as well as applications to support e-government and the "intelligent enterprise". 7 Although further arrangements may need to be put in place to prevent and counter misuse of AI for criminal purposes, this is outside the scope of this white paper. 8 COM(2019) 168. 4 Europe leads the way in deploying AI in manufacturing. Over half of the top manufacturers implement at least one instance of AI in manufacturing operations9 . One reason for Europe’s strong position in terms of research is the EU funding programme that has proven instrumental in pooling action, avoiding duplications, and leveraging public and private investments in the Member States. Over the past three years, EU funding for research and innovation for AI has risen to €1.5 billion, i.e. a 70% increase compared to the previous period. However, investment in research and innovation in Europe is still a fraction of the public and private investment in other regions of the world. Some €3.2 billion were invested in AI in Europe in 2016, compared to around €12.1 billion in North America and €6.5 billion in Asia10 . In response, Europe needs to increase its investment levels significantly. The Coordinated plan on AI11 developed with Member States is proving to be a good starting point in building closer cooperation on AI in Europe and in creating synergies to maximise investment in the AI value chain. 3. SEIZING THE OPPORTUNITIES AHEAD: THE NEXT DATA WAVE Although Europe currently is in a weaker position in consumer applications and on online platforms, which results in a competitive disadvantage in data access, major shifts in the value and re-use of data across sectors are underway. The volume of data produced in the world is growing rapidly, from 33 zettabytes in 2018 to an expected 175 zettabytes in 2025 12 . Each new wave of data brings opportunities for Europe to position itself in the data-agile economy and to become a world leader in this area. Furthermore, the way in which data are stored and processed will change dramatically over the coming five years. Today 80% of data processing and analysis that takes place in the cloud occurs in data centres and centralised computing facilities, and 20% in smart connected objects, such as cars, home appliances or manufacturing robots, and in computing facilities close to the user (“edge computing”). By 2025 these proportions are set to change markedly13 . Europe is a global leader in low-power electronics which is key for the next generation of specialised processors for AI. This market is currently dominated by non-EU players. This could change with the help of initiatives such as the European Processor Initiative, which focuses on developing low-power computing systems for both edge and next generation high-performance computing, and the work of the Key Digital Technology Joint Undertaking, proposed to start in 2021. Europe also leads in neuromorphic solutions14 that are ideally suited to automating industrial processes (industry 4.0) and transport modes. They can improve energy efficiency by several orders of magnitude. Recent advances in quantum computing will generate exponential increases in processing capacity15 . Europe can be at the forefront of this technology thanks to its academic strengths in quantum computing, as well as European industry’s strong position in quantum simulators and programming environments for quantum computing. European initiatives that aim to increase the availability of quantum testing and experimentation facilities will help apply these new quantum solutions to a number of industrial and academic sectors. 9 Followed by Japan (30%) and the US (28%). Source: CapGemini (2019). 10 10 imperatives for Europe in the age of AI and automation, McKinsey (2017). 11 COM(2018) 795. 12 IDC (2019). 13 Gartner (2017). 14 Neuromorphic solutions means any very large-scale system of integrated circuits that mimic neuro-biological architectures present in the nervous system. 15 Quantum computers will have the capacity to process in less than seconds many fold larger data sets than today’s highest performance computers allowing for the development of new AI applications across sectors. 5 In parallel, Europe will continue to lead progress in the algorithmic foundations of AI, building on its own scientific excellence. There is a need to build bridges between disciplines that currently work separately, such as machine learning and deep learning (characterised by limited interpretability, the need for a large volume of data to train the models and learn through correlations) and symbolic approaches (where rules are created through human intervention). Combining symbolic reasoning with deep neural networks may help us improve explainability of AI outcomes. 4. AN ECOSYSTEM OF EXCELLENCE To build an ecosystem of excellence that can support the development and uptake of AI across the EU economy and public administration, there is a need to step up action at multiple levels. A. WORKING WITH MEMBER STATES Delivering on its strategy on AI adopted in April 2018,16 in December 2018 the Commission presented a Coordinated Plan - prepared together with the Member States - to foster the development and use of AI in Europe17 . This plan proposes some 70 joint actions for closer and more efficient cooperation between Member States, and the Commission in key areas, such as research, investment, market uptake, skills and talent, data and international cooperation. The plan is scheduled to run until 2027, with regular monitoring and review. The aim is to maximise the impact of investment in research, innovation and deployment, assess national AI strategies and build on and extend the Coordinated Plan on AI with Member States: Action 1: The Commission, taking into account the results of the public consultation on the White Paper, will propose to the Member States a revision of the Coordinated Plan to be adopted by end 2020 EU-level funding in AI should attract and pool investment in areas where the action required goes beyond what any single Member State can achieve. The objective is to attract over €20 billion18 of total investment in the EU per year in AI over the next decade. To stimulate private and public investment, the EU will make available resources from the Digital Europe Programme, Horizon Europe as well as from the European Structural and Investment Funds to address the needs of less- developed regions as well as rural areas. The Coordinated Plan could also address societal and environmental well-being as a key principle for AI. AI systems promise to help tackling the most pressing concerns, including climate change and environmental degradation. It is also important that this happens in an environmentally friendly manner. AI can and should itself critically examine resource usage and energy consumption and be trained to make choices that are positive for the environment. The Commission will consider options to encourage and promote AI solutions that do this together with the Member States. 16 Artificial Intelligence for Europe, COM(2018) 237. 17 Coordinated Plan on Artificial Intelligence, COM(2018) 795. 18 COM(2018) 237. 6 B. FOCUSING THE EFFORTS OF THE RESEARCH AND INNOVATION COMMUNITY Europe cannot afford to maintain the current fragmented landscape of centres of competence with none reaching the scale necessary to compete with the leading institutes globally. It is imperative to create more synergies and networks between the multiple European research centres on AI and to align their efforts to improve excellence, retain and attract the best researchers and develop the best technology. Europe needs a lighthouse centre of research, innovation and expertise that would coordinate these efforts and be a world reference of excellence in AI and that can attract investments and the best talents in the field. The centres and the networks should concentrate in sectors where Europe has the potential to become a global champion such as industry, health, transport, finance, agrifood value chains, energy/environment, forestry, earth observation and space. In all these domains, the race for global leadership is ongoing, and Europe offers significant potential, knowledge and expertise19 . Equally important is to create testing and experimentation sites to support the development and subsequent deployment of novel AI applications. Action 2: the Commission will facilitate the creation of excellence and testing centres that can combine European, national and private investments, possibly including a new legal instrument. The Commission has proposed an ambitious and dedicated amount to support world reference testing centres in Europe under the Digital Europe Programme and complemented where appropriate by research and innovation actions of Horizon Europe as part of the Multiannual Financial Framework for 2021 to 2027. C. SKILLS The European approach to AI will need to be underpinned by a strong focus on skills to fill competence shortages.20 The Commission will soon present a reinforcement of the Skills Agenda, which aims to ensure that everyone in Europe can benefit from the green and digital transformations of the EU economy. Initiatives could also include the support of sectoral regulators to enhance their AI skills in order to effectively and efficiently implement relevant rules. The updated Digital Education Action Plan will help make better use of data and AI-based technologies such as learning and predictive analytics with the aim to improve education and training systems and make them fit for the digital age. The Plan will also increase awareness of AI at all levels of education in order to prepare citizens for informed decisions that will be increasingly affected by AI. Developing the skills necessary to work in AI and upskilling the workforce to become fit for the AI- led transformation will be a priority of the revised Coordinated Plan on AI to be developed with Member States. This could include transforming the assessment list of the ethical guidelines into an indicative “curriculum” for developers of AI that will be made available as a resource for training institutions. Particular efforts should be undertaken to increase the number of women trained and employed in this area. In addition, a lighthouse centre of research and innovation for AI in Europe would attract talent from all over the world due to the possibilities it could offer. It would also develop and spread excellence in skills that take root and grow across Europe. 19 The future European Defence Fund and Permanent Structured Cooperation (PESCO) will also provide opportunities for research and development in AI. These projects should be synchronized with the wider EU civilian programmes devoted to AI. 20 https://ec.europa.eu/jrc/en/publication/academic-offer-and-demand-advanced-profiles-eu 7 Action 3: Establish and support through the advanced skills pillar of the Digital Europe Programme networks of leading universities and higher education institutes to attract the best professors and scientists and offer world-leading masters programmes in AI. Beyond upskilling, workers and employers are directly affected by the design and use of AI systems in the workplace. The involvement of social partners will be a crucial factor in ensuring a human-centred approach to AI at work. D. FOCUS ON SMES It will also be important to ensure that SMEs can access and use AI. To this end, the Digital Innovation Hubs 21 and the AI-on-demand platform 22 should be strengthened further and foster collaboration between SMEs. The Digital Europe Programme will be instrumental in achieving this. While all Digital Innovation Hubs should provide support to SMEs to understand and adopt AI, it will be important that at least one innovation hub per Member State has a high degree of specialisation in AI. SMEs and start-ups will need access to finance in order to adapt their processes or to innovate using AI. Building on the forthcoming pilot investment fund of €100 million in AI and blockchain, the Commission plans to further scale up access to finance in AI under InvestEU23 . AI is explicitly mentioned among the eligible areas for the use of the InvestEU guarantee. Action 4: the Commission will work with Member States to ensure that at least one digital innovation hub per Member State has a high degree of specialisation on AI. Digital Innovation Hubs can be supported under the Digital Europe Programme. The Commission and the European Investment Fund will launch a pilot scheme of €100 million in Q1 2020 to provide equity financing for innovative developments in AI. Subject to final agreement on the MFF, the Commission’s intention is to scale it up significantly from 2021 through InvestEU. E. PARTNERSHIP WITH THE PRIVATE SECTOR It is also essential to make sure that the private sector is fully involved in setting the research and innovation agenda and provides the necessary level of co-investment. This requires setting up a broad- based public private partnership, and securing the commitment of the top management of companies. Action 5: In the context of Horizon Europe, the Commission will set up a new public private partnership in AI, data and robotics to combine efforts, ensure coordination of research and innovation in AI, collaborate with other public-private partnerships in Horizon Europe and work together with the testing facilities and the Digital Innovation Hubs mentioned above. 21 ec.europe.eu/digital-single-market/en/news/digital-innovation-hubs-helping-companies-across-economy-make-most- digital-opportunities. 22 www.Ai4eu.eu. 23 Europe.eu/investeu. 8 F. PROMOTING THE ADOPTION OF AI BY THE PUBLIC SECTOR It is essential that public administrations, hospitals, utility and transport services, financial supervisors, and other areas of public interest rapidly begin to deploy products and services that rely on AI in their activities. A specific focus will be in the areas of healthcare and transport where technology is mature for large-scale deployment. Action 6: The Commission will initiate open and transparent sector dialogues giving priority to healthcare, rural administrations and public service operators in order to present an action plan to facilitate development, experimentation and adoption. The sector dialogues will be used to prepare a specific ‘Adopt AI programme’ that will support public procurement of AI systems, and help to transform public procurement processes themselves. G. SECURING ACCESS TO DATA AND COMPUTING INFRASTRUCTURES The areas for action set out in this White Paper are complementary to the plan presented in parallel under the European data strategy. Improving access to and the management of data is fundamental. Without data, the development of AI and other digital applications is not possible. The enormous volume of new data yet to be generated constitutes an opportunity for Europe to position itself at the forefront of the data and AI transformation. Promoting responsible data management practices and compliance of data with the FAIR principles will contribute to build trust and ensure re-usability of data24 . Equally important is investment in key computing technologies and infrastructures. The Commission has proposed more than €4 billion under the Digital Europe Programme to support high-performance and quantum computing, including edge computing and AI, data and cloud infrastructure. The European data strategy develops these priorities further. H. INTERNATIONAL ASPECTS Europe is well positioned to exercise global leadership in building alliances around shared values and promoting the ethical use of AI. The EU's work on AI has already influenced international discussions. When developing its ethical guidelines, the High-Level Expert Group involved a number of non-EU organisations and several governmental observers. In parallel, the EU was closely involved in developing the OECD’s ethical principles for AI25 . The G20 subsequently endorsed these principles in its June 2019 Ministerial Statement on Trade and Digital Economy. In parallel, the EU recognises that important work on AI is ingoing in other multilateral fora, including the Council of Europe, the United Nations Educational Scientific and Cultural Organization (UNESCO), the Organisation for Economic Co-operation and Development’s (OECD), the World Trade Organisation and the International Telecommunications Union (ITU). At the UN, the EU is involved in the follow-up of the report of the High-Level Panel on Digital Cooperation, including its recommendation on AI. The EU will continue to cooperate with like-minded countries, but also with global players, on AI, based on an approach based on EU rules and values (e.g. supporting upward regulatory convergence, accessing key resources including data, creating a level playing field). The Commission will closely monitor the policies of third countries that limit data flows and will address undue restrictions in 24 Findable, Accessible, Interoperable and Reusable as stated in the Final Report and Action Plan from the Commission Expert Group on FAIR data, 2018, https://ec.europa.eu/info/sites/info/files/turning_fair_into_reality_1.pdf. 25 https://www.oecd.org/going-digital/ai/principles/ 9 bilateral trade negotiations and through action in the context of the World Trade Organization. The Commission is convinced that international cooperation on AI matters must be based on an approach that promotes the respect of fundamental rights, including human dignity, pluralism, inclusion, non- discrimination and protection of privacy and personal data26 and it will strive to export its values across the world27 . It is also clear that the responsible development and use of AI can be a driving force to achieve the Sustainable Development Goals and advance the 2030 Agenda. 5. AN ECOSYSTEM OF TRUST: REGULATORY FRAMEWORK FOR AI As with any new technology, the use of AI brings both opportunities and risks. Citizens fear being left powerless in defending their rights and safety when facing the information asymmetries of algorithmic decision-making, and companies are concerned by legal uncertainty. While AI can help protect citizens' security and enable them to enjoy their fundamental rights, citizens also worry that AI can have unintended effects or even be used for malicious purposes. These concerns need to be addressed. Moreover, in addition to a lack of investment and skills, lack of trust is a main factor holding back a broader uptake of AI. That is why the Commission set out an AI strategy28 on 25 April 2018 addressing the socioeconomic aspects in parallel with an increase in investment in research, innovation and AI-capacity across the EU. It agreed a Coordinated Plan29 with the Member States to align strategies. The Commission also established a High-Level Expert Group that published Guidelines on trustworthy AI in April 201930 . The Commission published a Communication31 welcoming the seven key requirements identified in the Guidelines of the High-Level Expert Group: Human agency and oversight, Technical robustness and safety, Privacy and data governance, Transparency, Diversity, non-discrimination and fairness, Societal and environmental wellbeing, and Accountability. In addition, the Guidelines contain an assessment list for practical use by companies. During the second half of 2019, over 350 organisations have tested this assessment list and sent feedback. The High-Level Group is in the process of revising its guidelines in light of this feedback and will finalise this work by June 2020. A key result of the feedback process is that while a number of the requirements are already reflected in existing legal or regulatory regimes, those regarding transparency, traceability and human oversight are not specifically covered under current legislation in many economic sectors. On top of this set of non-binding Guidelines of the High-Level Expert Group, and in line with the President’s political guidelines, a clear European regulatory framework would build trust among 26 Under the Partnership Instrument, the Commission will finance a €2.5 million project that will facilitate cooperation with like-minded partners, in order to promote the EU AI ethical guidelines and to adopt common principles and operational conclusions. 27 President Von der Leyen, A Union that strives for more – My agenda for Europe, page 17. 28 COM(2018) 237. 29 COM(2018) 795. 30 https://ec.europa.eu/futurium/en/ai-alliance-consultation/guidelines#Top 31 COM(2019) 168. 10 consumers and businesses in AI, and therefore speed up the uptake of the technology. Such a regulatory framework should be consistent with other actions to promote Europe’s innovation capacity and competitiveness in this field. In addition, it must ensure socially, environmentally and economically optimal outcomes and compliance with EU legislation, principles and values. This is particularly relevant in areas where citizens’ rights may be most directly affected, for example in the case of AI applications for law enforcement and the judiciary. Developers and deployers of AI are already subject to European legislation on fundamental rights (e.g. data protection, privacy, non-discrimination), consumer protection, and product safety and liability rules. Consumers expect the same level of safety and respect of their rights whether or not a product or a system relies on AI. However, some specific features of AI (e.g. opacity) can make the application and enforcement of this legislation more difficult. For this reason, there is a need to examine whether current legislation is able to address the risks of AI and can be effectively enforced, whether adaptations of the legislation are needed, or whether new legislation is needed. Given how fast AI is evolving, the regulatory framework must leave room to cater for further developments. Any changes should be limited to clearly identified problems for which feasible solutions exist. Member States are pointing at the current absence of a common European framework. The German Data Ethics Commission has called for a five-level risk-based system of regulation that would go from no regulation for the most innocuous AI systems to a complete ban for the most dangerous ones. Denmark has just launched the prototype of a Data Ethics Seal. Malta has introduced a voluntary certification system for AI. If the EU fails to provide an EU-wide approach, there is a real risk of fragmentation in the internal market, which would undermine the objectives of trust, legal certainty and market uptake. A solid European regulatory framework for trustworthy AI will protect all European citizens and help create a frictionless internal market for the further development and uptake of AI as well as strengthening Europe’s industrial basis in AI. A. PROBLEM DEFINITION While AI can do much good, including by making products and processes safer, it can also do harm. This harm might be both material (safety and health of individuals, including loss of life, damage to property) and immaterial (loss of privacy, limitations to the right of freedom of expression, human dignity, discrimination for instance in access to employment), and can relate to a wide variety of risks. A regulatory framework should concentrate on how to minimise the various risks of potential harm, in particular the most significant ones. The main risks related to the use of AI concern the application of rules designed to protect fundamental rights (including personal data and privacy protection and non-discrimination), as well as safety32 and liability-related issues. 32 This includes issues of cybersecurity, issues associated with AI applications in critical infrastructures, or malicious use of AI. 11 Risks for fundamental rights, including personal data and privacy protection and non- discrimination The use of AI can affect the values on which the EU is founded and lead to breaches of fundamental rights33 , including the rights to freedom of expression, freedom of assembly, human dignity, non- discrimination based on sex, racial or ethnic origin, religion or belief, disability, age or sexual orientation, as applicable in certain domains, protection of personal data and private life, 34 or the right to an effective judicial remedy and a fair trial, as well as consumer protection. These risks might result from flaws in the overall design of AI systems (including as regards human oversight) or from the use of data without correcting possible bias (e.g. the system is trained using only or mainly data from men leading to suboptimal results in relation to women). AI can perform many functions that previously could only be done by humans. As a result, citizens and legal entities will increasingly be subject to actions and decisions taken by or with the assistance of AI systems, which may sometimes be difficult to understand and to effectively challenge where necessary. Moreover, AI increases the possibilities to track and analyse the daily habits of people. For example, there is a potential risk that AI may be used, in breach of EU data protection and other rules, by state authorities or other entities for mass surveillance and by employers to observe how their employees behave. By analysing large amounts of data and identifying links among them, AI may also be used to retrace and de-anonymise data about persons, creating new personal data protection risks even in respect to datasets that per se do not include personal data. AI is also used by online intermediaries to prioritise information for their users and to perform content moderation. The processed data, the way applications are designed and the scope for human intervention can affect the rights to free expression, personal data protection, privacy, and political freedoms. Bias and discrimination are inherent risks of any societal or economic activity. Human decision- making is not immune to mistakes and biases. However, the same bias when present in AI could have a much larger effect, affecting and discriminating many people without the social control mechanisms that govern human behaviour35 . This can also happen when the AI system ‘learns’ while in operation. 33 Council of Europe research shows that a large number of fundamental rights could be impacted from the use of AI, https://rm.coe.int/algorithms-and-human-rights-en-rev/16807956b5. 34 The General Data Protection Regulation and the ePrivacy Directive (new ePrivacy Regulation under negotiation) address these risks but there might be a need to examine whether AI systems pose additional risks. The Commission will be monitoring and assessing the application of the GDPR on a continuous basis. 35 The Commission’s Advisory Committee on Equal Opportunities for Women and Men is currently preparing an “Opinion on Artificial Intelligence” analysing inter alia the impacts of Artificial Intelligence on gender equality which is expected Certain AI algorithms, when exploited for predicting criminal recidivism, can display gender and racial bias, demonstrating different recidivism prediction probability for women vs men or for nationals vs foreigners. Source: Tolan S., Miron M., Gomez E. and Castillo C. "Why Machine Learning May Lead to Unfairness: Evidence from Risk Assessment for Juvenile Justice in Catalonia", Best Paper Award, International Conference on AI and Law, 2019 Certain AI programmes for facial analysis display gender and racial bias, demonstrating low errors for determining the gender of lighter-skinned men but high errors in determining gender for darker-skinned women. Source: Joy Buolamwini, Timnit Gebru; Proceedings of the 1st Conference on Fairness, Accountability and Transparency, PMLR 81:77-91, 2018. 12 In such cases, where the outcome could not have been prevented or anticipated at the design phase, the risks will not stem from a flaw in the original design of the system but rather from the practical impacts of the correlations or patterns that the system identifies in a large dataset. The specific characteristics of many AI technologies, including opacity (‘black box-effect’), complexity, unpredictability and partially autonomous behaviour, may make it hard to verify compliance with, and may hamper the effective enforcement of, rules of existing EU law meant to protect fundamental rights. Enforcement authorities and affected persons might lack the means to verify how a given decision made with the involvement of AI was taken and, therefore, whether the relevant rules were respected. Individuals and legal entities may face difficulties with effective access to justice in situations where such decisions may negatively affect them. Risks for safety and the effective functioning of the liability regime AI technologies may present new safety risks for users when they are embedded in products and services. For example, as result of a flaw in the object recognition technology, an autonomous car can wrongly identify an object on the road and cause an accident involving injuries and material damage. As with the risks to fundamental rights, these risks can be caused by flaws in the design of the AI technology, be related to problems with the availability and quality of data or to other problems stemming from machine learning. While some of these risks are not limited to products and services that rely on AI , the use of AI may increase or aggravate the risks. A lack of clear safety provisions tackling these risks may, in addition to risks for the individuals concerned, create legal uncertainty for businesses that are marketing their products involving AI in the EU. Market surveillance and enforcement authorities may find themselves in a situation where they are unclear as to whether they can intervene, because they may not be empowered to act and/or don’t have the appropriate technical capabilities for inspecting systems36 . Legal uncertainty may therefore reduce overall levels of safety and undermine the competitiveness of European companies. If the safety risks materialise, the lack of clear requirements and the characteristics of AI technologies mentioned above make it difficult to trace back potentially problematic decisions made with the involvement of AI systems. This in turn may make it difficult for persons having suffered harm to obtain compensation under the current EU and national liability legislation.37 to be adopted by the Committee in early 2020. The EU Gender Equality Strategy 2020-2024 also addresses the link between AI on gender equality; The European Network of Equality Bodies (Equinet) will publish a report (by Robin Allen and Dee Masters) on “Regulating AI: the new role for Equality Bodies – Meeting the new challenges to equality and non-discrimination from increased digitalisation and the use of AI”, expected early 2020. 36 An example may be the smart watch for children. This product may cause no direct harm to the child wearing it, but lacking a minimum level of security, it can be easily used as a tool to have access to the child. Market surveillance authorities may find it difficult to intervene in cases where the risk is not linked to the product as such. 37 The implications of AI, Internet of Things and other digital technologies for safety and liability legislation are analysed in the Commission Report accompanying this White Paper. 13 Thus, the difficulty of tracing back potentially problematic decisions taken by AI systems and referred to above in relation to fundamental rights applies equally to safety and liability-related issues. Persons having suffered harm may not have effective access to the evidence that is necessary to build a case in court, for instance, and may have less effective redress possibilities compared to situations where the damage is caused by traditional technologies. These risks will increase as the use of AI becomes more widespread. B. POSSIBLE ADJUSTMENTS TO EXISTING EU LEGISLATIVE FRAMEWORK RELATING TO AI An extensive body of existing EU product safety and liability legislation38 , including sector-specific rules, further complemented by national legislation, is relevant and potentially applicable to a number of emerging AI applications. As regards the protection of fundamental rights and consumer rights, the EU legislative framework includes legislation such as the Race Equality Directive39 , the Directive on equal treatment in employment and occupation40 , the Directives on equal treatment between men and women in relation to employment and access to goods and services41 , a number of consumer protection rules42 , as well as rules on personal data protection and privacy, notably the General Data Protection Regulation and other sectorial legislation covering personal data protection, such as the Data Protection Law Enforcement Directive43 . In addition, as from 2025, the rules on accessibility requirements for goods and services, set out in the European Accessibility Act will apply44 . In addition, fundamental rights need to be respected when implementing other EU legislation, including in the field of financial services, migration or responsibility of online intermediaries. While the EU legislation remains in principle fully applicable irrespective of the involvement of AI, it is important to assess whether it can be enforced adequately to address the risks that AI systems create, or whether adjustments are needed to specific legal instruments. For example, economic actors remain fully responsible for the compliance of AI to existing rules that protects consumers, any algorithmic exploitation of consumer behaviour in violation of existing rules shall be not permitted and violations shall be accordingly punished. The Commission is of the opinion that the legislative framework could be improved to address the following risks and situations: 38 The EU legal framework for product safety consists of the General Product Safety Directive (Directive 2001/95/EC), as a safety net, and a number of sector-specific rules covering different categories of products ranging from machines, planes and cars to toys and medical devices aiming to provide a high level of health and safety. Product liability law is complemented by different systems of civil liability for damages caused by products or services. 39 Directive 2000/43/EC. 40 Directive 2000/78/EC. 41 Directive 2004/113/EC; Directive 2006/54/EC. 42 Such as the Unfair Commercial Practices Directive (Directive 2005/29/EC) and the Consumer Rights Directive (Directive 2011/83/EC). 43 Directive (EU) 2016/680 of the European Parliament and of the Council of 27 April 2016 on the protection of natural persons with regard to the processing of personal data by competent authorities for the purposes of the prevention, investigation, detection or prosecution of criminal offences or the execution of criminal penalties, and on the free movement of such data. 44 Directive (EU) 2019/882 on the accessibility requirements for products and services. Under the Product Liability Directive, a manufacturer is liable for damage caused by a defective product. However, in the case of an AI based system such as autonomous cars, it may be difficult to prove that there is a defect in the product, the damage that has occurred and the causal link between the two. In addition, there is some uncertainty about how and to what extent the Product Liability Directive applies in the case of certain types of defects, for example if these result from weaknesses in the cybersecurity of the product. 14 Effective application and enforcement of existing EU and national legislation: the key characteristics of AI create challenges for ensuring the proper application and enforcement of EU and national legislation. The lack of transparency (opaqueness of AI) makes it difficult to identify and prove possible breaches of laws, including legal provisions that protect fundamental rights, attribute liability and meet the conditions to claim compensation. Therefore, in order to ensure an effective application and enforcement, it may be necessary to adjust or clarify existing legislation in certain areas, for example on liability as further detailed in the Report, which accompanies this White Paper. Limitations of scope of existing EU legislation: an essential focus of EU product safety legislation is on the placing of products on the market. While in EU product safety legislation software, when is part of the final product, must comply with the relevant product safety rules, it is an open question whether stand-alone software is covered by EU product safety legislation, outside some sectors with explicit rules45 . General EU safety legislation currently in force applies to products and not to services, and therefore in principle not to services based on AI technology either (e.g. health services, financial services, transport services). Changing functionality of AI systems: the integration of software, including AI, into products can modify the functioning of such products and systems during their lifecycle. This is particularly true for systems that require frequent software updates or which rely on machine learning. These features can give rise to new risks that were not present when the system was placed on the market. These risks are not adequately addressed in the existing legislation which predominantly focuses on safety risks present at the time of placing on the market. Uncertainty as regards the allocation of responsibilities between different economic operators in the supply chain: in general, EU legislation on product safety allocates the responsibility to the producer of the product placed on the market, including all components e.g. AI systems. But the rules can for example become unclear if AI is added after the product is placed on the market by a party that is not the producer. In addition, EU product liability legislation provides for liability of producers and leaves national liability rules to govern liability of others in the supply chain. Changes to the concept of safety: the use of AI in products and services can give rise to risks that EU legislation currently does not explicitly address. These risks may be linked to cyber threats, personal security risks (linked for example to new applications of AI such as to home appliances), risks that result from loss of connectivity, etc. These risks may be present at the time of placing products on the market or arise as a result of software updates or self-learning when the product is being used. The EU should make full use of the tools at its disposal to enhance its evidence base on potential risks linked to AI applications, including using the experience of the EU Cybersecurity Agency (ENISA) for assessing the AI threat landscape. 45 For instance software intended by the manufacturer to be used for medical purposes is considered a medical device under the Medical Device Regulation (Regulation (EU) 2017/745). 15 As indicated earlier, several Member States are already exploring options for national legislation to address the challenges created by AI. This raises the risk that the single market may be fragmented. Divergent national rules are likely to create obstacles for companies that want to sell and operate AI systems in the single market. Ensuring a common approach at EU level would enable European companies to benefit from smooth access to the single market and support their competitiveness on global markets. Report on the safety and liability implications of Artificial Intelligence, the Internet of Things and robotics The Report, which accompanies this White Paper, analyses the relevant legal framework. It identifies uncertainties as to the application of this framework with respect to the specific risks posed by AI systems and other digital technologies. It concludes that the current product safety legislation already supports an extended concept of safety protecting against all kind of risks arising from the product according to its use. However, provisions explicitly covering new risks presented by the emerging digital technologies could be introduced to provide more legal certainty. The autonomous behaviour of certain AI systems during its life cycle may entail important product changes having an impact on safety, which may require a new risk assessment. In addition, human oversight from the product design and throughout the lifecycle of the AI products and systems may be needed as a safeguard. Explicit obligations for producers could be considered also in respect of mental safety risks of users when appropriate (ex. collaboration with humanoid robots). Union product safety legislation could provide for specific requirements addressing the risks to safety of faulty data at the design stage as well as mechanisms to ensure that quality of data is maintained throughout the use of the AI products and systems. The opacity of systems based on algorithms could be addressed through transparency requirements. Existing rules may need to be adapted and clarified in the case of a stand-alone software placed as it is on the market or downloaded into a product after its placing on the market, when having an impact on safety. Given the increasing complexity of supply chains as regards new technologies, provisions specifically requesting cooperation between the economic operators in the supply chain and the users could provide legal certainty. The characteristics of emerging digital technologies like AI, the IoT and robotics may challenge aspects of the liability frameworks and could reduce their effectiveness. Some of these characteristics could make it hard to trace the damage back to a person, which would be necessary for a fault-based claim in accordance with most national rules. This could significantly increase the costs for victims and means that liability claims against others than producers may be difficult to make or prove. Persons having suffered harm caused with the involvement of AI systems need to enjoy the same level of protection as persons having suffered harm caused by other technologies, whilst technological innovation should be allowed to continue to develop. All options to ensure this objective should be carefully assessed, including possible amendments to the Product Liability Directive and possible further targeted harmonisation of national liability rules. For example, the Commission is seeking views whether and to what extent it may be needed to mitigate the consequences of complexity by adapting the burden of proof required by national liability rules for damage caused by the operation of AI applications. 16 From the discussion above, the Commission concludes that – in addition to the possible adjustments to existing legislation – a new legislation specifically on AI may be needed in order to make the EU legal framework fit for the current and anticipated technological and commercial developments. C. SCOPE OF A FUTURE EU REGULATORY FRAMEWORK A key issue for the future specific regulatory framework on AI intelligence is to determine the scope of its application. The working assumption is that the regulatory framework would apply to products and services relying on AI. AI should therefore be clearly defined for the purposes of this White Paper, as well as any possible future policy-making initiative. In its Communication on AI for Europe the Commission provided a first definition of AI46 . This definition was further refined by the High Level Expert Group47 . In any new legal instrument, the definition of AI will need to be sufficiently flexible to accommodate technical progress while being precise enough to provide the necessary legal certainty. For the purposes of this White Paper, as well as of any possible future discussions on policy initiatives, it seems important to clarify the main elements that compose AI, which are “data” and “algorithms”. AI can be integrated in hardware. In case of machine learning techniques, which constitute a subset of AI, algorithms are trained to infer certain patterns based on a set of data in order to determine the actions needed to achieve a given goal. Algorithms may continue to learn when in use. While AI-based products can act autonomously by perceiving their environment and without following a pre-determined set of instructions, their behaviour is largely defined and constrained by its developers. Humans determine and programme the goals, which an AI system should optimise for. The EU has a strict legal framework in place to ensure inter alia consumer protection, to address unfair commercial practices and to protect personal data and privacy. In addition, the acquis contains specific rules for certain sectors (e.g. healthcare, transport). These existing provisions of EU law will continue to apply in relation to AI, although certain updates to that framework may be necessary to reflect the digital transformation and the use of AI (see section B). As a consequence, those aspects that are 46 COM(2018) 237 final, p. 1: “Artificial intelligence (AI) refers to systems that display intelligent behaviour by analysing their environment and taking actions – with some degree of autonomy – to achieve specific goals. AI-based systems can be purely software-based, acting in the virtual world (e.g. voice assistants, image analysis software, search engines, speech and face recognition systems) or AI can be embedded in hardware devices (e.g. advanced robots, autonomous cars, drones or Internet of Things applications).” 47 High Level Expert Group, A definition of AI, p. 8: “Artificial intelligence (AI) systems are software (and possibly also hardware) systems designed by humans that, given a complex goal, act in the physical or digital dimension by perceiving their environment through data acquisition, interpreting the collected structured or unstructured data, reasoning on the knowledge, or processing the information, derived from this data and deciding the best action(s) to take to achieve the given goal. AI systems can either use symbolic rules or learn a numeric model, and they can also adapt their behaviour by analysing how the environment is affected by their previous actions.” In autonomous driving for example, the algorithm uses, in real time, the data from the car (speed, engine consumption, shock-absorbers, etc..) and from the sensors scanning the whole environment of the car (road, signs, other vehicles, pedestrians etc..) to derive which direction, acceleration and speed the car should take to reach a certain destination. Based on the data observed, the algorithm adapts to the situation of the road and to the outside conditions, including other drivers’ behaviour, to derive the most comfortable and safest drive. 17 already addressed by existing horizontal or sectoral legislation (e.g. on medical devices48 , in transport systems) will continue to be governed by this legislation. As a matter of principle, the new regulatory framework for AI should be effective to achieve its objectives while not being excessively prescriptive so that it could create a disproportionate burden, especially for SMEs. To strike this balance, the Commission is of the view that it should follow a risk- based approach. A risk-based approach is important to help ensure that the regulatory intervention is proportionate. However, it requires clear criteria to differentiate between the different AI applications, in particular in relation to the question whether or not they are ‘high-risk’49 . The determination of what is a high-risk AI application should be clear and easily understandable and applicable for all parties concerned. Nevertheless even if an AI application is not qualified as high-risk, it remains entirely subject to already existing EU-rules. The Commission is of the opinion that a given AI application should generally be considered high-risk in light of what is at stake, considering whether both the sector and the intended use involve significant risks, in particular from the viewpoint of protection of safety, consumer rights and fundamental rights. More specifically, an AI application should be considered high-risk where it meets the following two cumulative criteria: First, the AI application is employed in a sector where, given the characteristics of the activities typically undertaken, significant risks can be expected to occur. This first criterion ensures that the regulatory intervention is targeted on the areas where, generally speaking, risks are deemed most likely to occur. The sectors covered should be specifically and exhaustively listed in the new regulatory framework. For instance, healthcare; transport; energy and parts of the public sector.50 The list should be periodically reviewed and amended where necessary in function of relevant developments in practice; Second, the AI application in the sector in question is, in addition, used in such a manner that significant risks are likely to arise. This second criterion reflects the acknowledgment that not every use of AI in the selected sectors necessarily involves significant risks. For example, whilst healthcare generally may well be a relevant sector, a flaw in the appointment scheduling system in a hospital will normally not pose risks of such significance as to justify legislative intervention. The assessment of the level of risk of a given use could be based on the impact on the affected parties. For instance, uses of AI applications that produce legal or similarly significant effects for the rights of an individual or a company; that pose risk of injury, death or significant material or immaterial damage; that produce effects that cannot reasonably be avoided by individuals or legal entities. The application of the two cumulative criteria would ensure that the scope of the regulatory framework is targeted and provides legal certainty. The mandatory requirements contained in the new regulatory framework on AI (see section D below) would in principle apply only to those applications identified as high-risk in accordance with these two cumulative criteria. 48 For example, there are different safety considerations and legal implications concerning AI systems that provide specialized medical information to physicians, AI systems providing medical information directly to the patient and AI systems performing medical tasks themselves directly on a patient. The Commission is examining these safety and liability challenges that are distinct to healthcare. 49 EU legislation may categorise “risks” differently to what is described here, depending on the area, such as for example, product safety 50 The public sector could include areas like asylum, migration, border controls and judiciary, social security and employment services. 18 Notwithstanding the foregoing, there may also be exceptional instances where, due to the risks at stake, the use of AI applications for certain purposes is to be considered as high-risk as such – that is, irrespective of the sector concerned and where the below requirements would still apply.51 As an illustration, one could think in particular of the following: In light of its significance for individuals and of the EU acquis addressing employment equality, the use of AI applications for recruitment processes as well as in situations impacting workers’ rights would always be considered “high-risk” and therefore the below requirements would at all times apply. Further specific applications affecting consumer rights could be considered. the use of AI applications for the purposes of remote biometric identification52 and other intrusive surveillance technologies, would always be considered “high-risk” and therefore the below requirements would at all times apply. D. TYPES OF REQUIREMENTS When designing the future regulatory framework for AI, it will be necessary to decide on the types of mandatory legal requirements to be imposed on the relevant actors. These requirements may be further specified through standards. As noted in section C above and in addition to already existing legislation, those requirements would apply to high-risk AI applications only, thus ensuring that any regulatory intervention is focused and proportionate. Taking into account the guidelines of the High Level Expert Group and what has been set out in the foregoing, the requirements for high-risk AI applications could consist of the following key features, which are discussed in further detail in the subsections below: training data; data and record-keeping; information to be provided; robustness and accuracy; human oversight; specific requirements for certain particular AI applications, such as those used for purposes of remote biometric identification. To ensure legal certainty, these requirements will be further specified to provide a clear benchmark for all the actors who need to comply with them. a) Training data It is more important than ever to promote, strengthen and defend the EU’s values and rules, and in particular the rights that citizens derive from EU law. These efforts undoubtedly also extend to the high-risk AI applications marketed and used in the EU under consideration here. 51 It is important to highlight that other pieces of EU legislation may also apply. For example, when incorporated into a consumer product, the General Product Safety Directive may apply to the safety of AI applications. 52 Remote biometric identification should be distinguished from biometric authentication (the latter is a security process that relies on the unique biological characteristics of an individual to verify that he/she is who he/she says he/she is). Remote biometric identification is when the identities of multiple persons are established with the help of biometric identifiers (fingerprints, facial image, iris, vascular patterns, etc.) at a distance, in a public space and in a continuous or ongoing manner by checking them against data stored in a database. 19 As discussed earlier, without data, there is no AI. The functioning of many AI systems, and the actions and decisions to which they may lead, very much depend on the data set on which the systems have been trained. The necessary measures should therefore be taken to ensure that, where it comes to the data used to train AI systems, the EU’s values and rules are respected, specifically in relation to safety and existing legislative rules for the protection of fundamental rights. The following requirements relating to the data set used to train AI systems could be envisaged: Requirements aimed at providing reasonable assurances that the subsequent use of the products or services that the AI system enables is safe, in that it meets the standards set in the applicable EU safety rules (existing as well as possible complementary ones). For instance, requirements ensuring that AI systems are trained on data sets that are sufficiently broad and cover all relevant scenarios needed to avoid dangerous situations. Requirements to take reasonable measures aimed at ensuring that such subsequent use of AI systems does not lead to outcomes entailing prohibited discrimination. These requirements could entail in particular obligations to use data sets that are sufficiently representative, especially to ensure that all relevant dimensions of gender, ethnicity and other possible grounds of prohibited discrimination are appropriately reflected in those data sets; Requirements aimed at ensuring that privacy and personal data are adequately protected during the use of AI-enabled products and services. For issues falling within their respective scope, the General Data Protection Regulation and the Law Enforcement Directive regulate these matters. b) Keeping of records and data Taking into account elements such as the complexity and opacity of many AI systems and the related difficulties that may exist to effectively verify compliance with and enforce the applicable rules, requirements are called for regarding the keeping of records in relation to the programming of the algorithm, the data used to train high-risk AI systems, and, in certain cases, the keeping of the data themselves. These requirements essentially allow potentially problematic actions or decisions by AI systems to be traced back and verified. This should not only facilitate supervision and enforcement; it may also increase the incentives for the economic operators concerned to take account at an early stage of the need to respect those rules. To this aim, the regulatory framework could prescribe that the following should be kept: accurate records regarding the data set used to train and test the AI systems, including a description of the main characteristics and how the data set was selected; in certain justified cases, the data sets themselves; documentation on the programming53 and training methodologies, processes and techniques used to build, test and validate the AI systems, including where relevant in respect of safety and avoiding bias that could lead to prohibited discrimination. The records, documentation and, where relevant, data sets would need to be retained during a limited, reasonable time period to ensure effective enforcement of the relevant legislation. Measures should be 53 For instance, documentation on the algorithm including what the model shall optimise for, which weights are designed to certain parameters at the outset etc. 20 taken to ensure that they are made available upon request, in particular for testing or inspection by competent authorities. Where necessary, arrangements should be made to ensure that confidential information, such as trade secrets, is protected. c) Information provision Transparency is required also beyond the record-keeping requirements discussed in point c) above. In order to achieve the objectives pursued – in particular promoting the responsible use of AI, building trust and facilitating redress where needed – it is important that adequate information is provided in a proactive manner about the use of high-risk AI systems. Accordingly, the following requirements could be considered: Ensuring clear information to be provided as to the AI system’s capabilities and limitations, in particular the purpose for which the systems are intended, the conditions under which they can be expected to function as intended and the expected level of accuracy in achieving the specified purpose. This information is important especially for deployers of the systems, but it may also be relevant to competent authorities and affected parties. Separately, citizens should be clearly informed when they are interacting with an AI system and not a human being. Whilst EU data protection legislation already contain certain rules of this kind 54 , additional requirements may be called for to achieve the abovementioned objectives. If so, unnecessary burdens should be avoided. Therefore, no such information needs to be provided, for instance, in situations where it is immediately obvious to citizens that they are interacting with AI systems. It is furthermore important that the information provided is objective, concise and easily understandable. The manner in which the information is to be provided should be tailored to the particular context. d) Robustness and accuracy AI systems – and certainly high-risk AI applications – must be technically robust and accurate in order to be trustworthy. That means that such systems need to be developed in a responsible manner and with an ex-ante due and proper consideration of the risks that they may generate. Their development and functioning must be such to ensure that AI systems behave reliably as intended. All reasonable measures should be taken to minimise the risk of harm being caused. Accordingly, the following elements could be considered: Requirements ensuring that the AI systems are robust and accurate, or at least correctly reflect their level of accuracy, during all life cycle phases; Requirements ensuring that outcomes are reproducible; Requirements ensuring that AI systems can adequately deal with errors or inconsistencies during all life cycle phases. 54 In particular, pursuant to Art. 13(2)(f) GDPR, controllers must, at the time when the personal data are obtained, provide the data subjects with further information necessary to ensure fair and transparent processing about the existence of automated decision-making and certain additional information. 21 Requirements ensuring that AI systems are resilient against both overt attacks and more subtle attempts to manipulate data or algorithms themselves, and that mitigating measures are taken in such cases. e) Human oversight Human oversight helps ensuring that an AI system does not undermine human autonomy or cause other adverse effects. The objective of trustworthy, ethical and human-centric AI can only be achieved by ensuring an appropriate involvement by human beings in relation to high-risk AI applications. Even though the AI applications considered in this White paper for a specific legal regime are all considered high-risk, the appropriate type and degree of human oversight may vary from one case to another. It shall depend in particular on the intended use of the systems and the effects that the use could have for affected citizens and legal entities. It shall also be without prejudice to the legal rights established by the GDPR when the AI system processes personal data. For instance, human oversight could have the following, non-exhaustive, manifestations: the output of the AI system does not become effective unless it has been previously reviewed and validated by a human (e.g. the rejection of an application for social security benefits may be taken by a human only); the output of the AI system becomes immediately effective, but human intervention is ensured afterwards (e.g. the rejection of an application for a credit card may be processed by an AI system, but human review must be possible afterwards); monitoring of the AI system while in operation and the ability to intervene in real time and deactivate (e.g. a stop button or procedure is available in a driverless car when a human determines that car operation is not safe); in the design phase, by imposing operational constraints on the AI system (e.g. a driverless car shall stop operating in certain conditions of low visibility when sensors may become less reliable or shall maintain a certain distance in any given condition from the preceding vehicle). f) Specific requirements for remote biometric identification The gathering and use of biometric data55 for remote identification56 purposes, for instance through deployment of facial recognition in public places, carries specific risks for fundamental rights57 . The 55 Biometric data is defined as “personal data resulting from specific technical processing relating to the physical, physiological or behavioural characteristics of a natural person, which allow or confirm the unique authentification or identification of that natural person, such as facial images or dactyloscopic [fingerprint] data.” (Law Enforcement Directive, Art. 3 (13); GDPR, Art. 4 (14); Regulation (EU) 2018/1725, Art. 3 (18). 56 In connection to facial recognition, identification means that the template of a person’s facial image is compared to many other templates stored in a database to find out if his or her image is stored there. Authentication (or verification) on the other hand is often referred to as one-to-one matching. It enables the comparison of two biometric templates, usually assumed to belong to the same individual. Two biometric templates are compared to determine if the person shown on the two images is the same person. Such a procedure is, for example, used at Automated Border Control (ABC) gates used for border checks at airports. 57 For example on people’s dignity. Relatedly, the rights to respect for private life and protection of personal data are at the core of fundamental rights concerns when using facial recognition technology. There is also a potential impact on non- discrimination and rights of special groups, such as children, older persons and persons with disabilities. Moreover, freedom of expression, association and assembly must not be undermined by the use of the technology. See: Facial recognition technology: fundamental rights considerations in the context of law enforcement, https://fra.europa.eu/en/publication/2019/facial-recognition. 22 fundamental rights implications of using remote biometric identification AI systems can vary considerably depending on the purpose, context and scope of the use. EU data protection rules prohibit in principle the processing of biometric data for the purpose of uniquely identifying a natural person, except under specific conditions58 . Specifically, under the GDPR, such processing can only take place on a limited number of grounds, the main one being for reasons of substantial public interest. In that case, the processing must take place on the basis of EU or national law, subject to the requirements of proportionality, respect for the essence of the right to data protection and appropriate safeguards. Under the Law Enforcement Directive, there must be a strict necessity for such processing, in principle an authorisation by EU or national law as well as appropriate safeguards. As any processing of biometric data for the purpose of uniquely identifying a natural person would relate to an exception to a prohibition laid down in EU law, it would be subject to the Charter of Fundamental Rights of the EU. It follows that, in accordance with the current EU data protection rules and the Charter of Fundamental Rights, AI can only be used for remote biometric identification purposes where such use is duly justified, proportionate and subject to adequate safeguards. In order to address possible societal concerns relating to the use of AI for such purposes in public places, and to avoid fragmentation in the internal market, the Commission will launch a broad European debate on the specific circumstances, if any, which might justify such use, and on common safeguards. E. ADDRESSEES In relation to the addressees of the legal requirements that would apply in relation to the high-risk AI applications referred to above, there are two main issues to be considered. First, there is the question how obligations are to be distributed among the economic operators involved. Many actors are involved in the lifecycle of an AI system. These include the developer, the deployer (the person who uses an AI-equipped product or service) and potentially others (producer, distributor or importer, service provider, professional or private user). It is the Commission’s view that, in a future regulatory framework, each obligation should be addressed to the actor(s) who is (are) best placed to address any potential risks. For example, while the developers of AI may be best placed to address risks arising from the development phase, their ability to control risks during the use phase may be more limited. In that case, the deployer should be subject to the relevant obligation. This is without prejudice to the question whether, for the purpose of liability to end-users or other parties suffering harm and ensuring effective access to justice, which party should be liable for any damage caused. Under EU product liability law, liability for defective products is attributed to the producer, without prejudice to national laws which may also allow recovery from other parties. Second, there is the question about the geographic scope of the legislative intervention. In the view of the Commission, it is paramount that the requirements are applicable to all relevant economic operators providing AI-enabled products or services in the EU, regardless of whether they are established in the EU or not. Otherwise, the objectives of the legislative intervention, mentioned earlier, could not fully be achieved. 58 Article 9 GDPR, Article 10 Law Enforcement Directive. See also Article 10 Regulation (EU) 2018/1725 (applicable to the EU institutions and bodies). 23 F. COMPLIANCE AND ENFORCEMENT In order to ensure that AI is trustworthy, secure and in respect of European values and rules, the applicable legal requirements need to be complied with in practice and be effectively enforced both by competent national and European authorities and by affected parties. Competent authorities should be in a position to investigate individual cases, but also to assess the impact on society. In view of the high risk that certain AI applications pose for citizens and our society (see section A above), the Commission considers at this stage that an objective, prior conformity assessment would be necessary to verify and ensure that certain of the above mentioned mandatory requirements applicable to high-risk applications (see section D above) are complied with. The prior conformity assessment could include procedures for testing, inspection or certification59 . It could include checks of the algorithms and of the data sets used in the development phase. The conformity assessments for high-risk AI applications should be part of the conformity assessment mechanisms that already exist for a large number of products being placed on the EU’s internal market. Where no such existing mechanisms can be relied on, similar mechanisms may need to be established, drawing on best practice and possible input of stakeholders and European standards organisations. Any such new mechanism should be proportionate and non-discriminatory and use transparent and objective criteria in compliance with international obligations. When designing and implementing a system relying on prior conformity assessments, particular account should be taken of the following: Not all requirements outlined above may be suitable to be verified through a prior conformity assessment. For instance, the requirement about information to be provided generally does not lend itself well for verification through such an assessment. Particular account should be taken of the possibility that certain AI systems evolve and learn from experience, which may require repeated assessments over the life-time of the AI systems in question. The need to verify the data used for training and the relevant programming and training methodologies, processes and techniques used to build, test and validate AI systems. In case the conformity assessment shows that an AI system does not meet the requirements for example relating to the data used to train it, the identified shortcomings will need to be remedied, for instance by re-training the system in the EU in such a way as to ensure that all applicable requirements are met. The conformity assessments would be mandatory for all economic operators addressed by the requirements, regardless of their place of establishment60 . In order to limit the burden on SMEs, some support structure might be envisaged including through the Digital Innovation Hubs. In addition, standards as well as dedicated online tools could facilitate compliance. 59 The system would be based on conformity assessment procedures in the EU, see Decision 768/2008/EC or on Regulation (EU) 2019/881 (Cybersecurity Act), taking into account the specificities of AI. See the Blue Guide on the Implementation of EU product rules, 2014. 60 As regards the relevant governance structure, including the bodies designated to carry out the conformity assessments, see section H below. 24 Any prior conformity assessment should be without prejudice to monitoring compliance and ex post enforcement by competent national authorities. That holds true in respect of high-risk AI applications, but also in respect of other AI applications subject to legal requirements, although the high-risk nature of the applications at issue may be reason for the competent national authorities to give particular attention to the former. Ex-post controls should be enabled by adequate documentation of the relevant AI application (see section E above) and, where appropriate, a possibility for third parties such as competent authorities to test such applications. This may be especially important where risks to fundamental rights arise, which are context dependent. Such monitoring of compliance should be part of a continuous market surveillance scheme. Governance-related aspects are further discussed in section H below. Moreover, both for high- risk AI applications and for other AI applications, effective judicial redress for parties negatively affected by AI systems should be ensured. Issues related to liability are further discussed in the Report on the safety and liability framework accompanying this White Paper. G. VOLUNTARY LABELLING FOR NO-HIGH RISK AI APPLICATIONS For AI applications that do not qualify as ‘high-risk’ (see section C above) and that are therefore not subject to the mandatory requirements discussed above (see sections D, E and F above), an option would be, in addition to applicable legislation, to establish a voluntary labelling scheme. Under the scheme, interested economic operators that are not covered by the mandatory requirements could decide to make themselves subject, on a voluntary basis, either to those requirements or to a specific set of similar requirements especially established for the purposes of the voluntary scheme. The economic operators concerned would then be awarded a quality label for their AI applications. The voluntary label would allow the economic operators concerned to signal that their AI-enabled products and services are trustworthy. It would allow users to easily recognise that the products and services in question are in compliance with certain objective and standardised EU-wide benchmarks, going beyond the normally applicable legal obligations. This would help enhance the trust of users in AI systems and promote the overall uptake of the technology. This option would entail the creation of a new legal instrument that sets out the voluntary labelling framework for developers and/or deployers of AI systems that are not be considered as high-risk. While participation in the labelling scheme would be voluntary, once the developer or the deployer opted to use the label, the requirements would be binding. The combination of ex ante and ex post enforcement would need to ensure that all requirements are complied with. H. GOVERNANCE A European governance structure on AI in the form of a framework for cooperation of national competent authorities is necessary to avoid fragmentation of responsibilities, increase capacity in Member States, and make sure that Europe equips itself progressively with the capacity needed for testing and certification of AI-enabled products and services. In this context, it would be beneficial to support competent national authorities to enable them to fulfil their mandate where AI is used. A European governance structure could have a variety of tasks, as a forum for a regular exchange of information and best practice, identifying emerging trends, advising on standardisation activity as well as on certification. It should also play a key role in facilitating the implementation of the legal framework, such as through issuing guidance, opinions and expertise. To that effect, it should rely on a network of national authorities, as well as sectorial networks and regulatory authorities, at national and EU level. Moreover, a committee of experts could provide assistance to the Commission. 25 The governance structure should guarantee maximum stakeholders participation. Stakeholders – consumer organisation and social partners, businesses, researchers, and civil society organisations – should be consulted on the implementation and the further development of the framework. Given already existing structures such as in finance, pharmaceuticals, aviation, medical devices, consumer protection, data protection, the proposed governance structure should not duplicate existing functions. It should instead establish close links with other EU and national competent authorities in the various sectors to complement existing expertise and help existing authorities in monitoring and the oversight of the activities of economic operators involving AI systems and AI-enabled products and services. Finally, if this option is pursued, the carrying out of conformity assessments could be entrusted to notified bodies designated by Member States. Testing centres should enable the independent audit and assessment of AI-systems in accordance with the requirements outlined above. Independent assessment will increase trust and ensures objectivity. It could also facilitate the work of relevant competent authorities. The EU enjoys excellent testing and assessment centres and should develop its capacity also in the area of AI. Economic operators established in third countries wanting to enter the internal market could either make use of designated bodies established in the EU or, subject to mutual recognition agreements with third countries, have recourse to third-country bodies designated to carry out such assessment. The governance structure relating to AI and the possible conformity assessments at issue here would leave the powers and responsibilities under existing EU law of the relevant competent authorities in specific sectors or on specific issues (finance, pharmaceuticals, aviation, medical devices, consumer protection, data protection, etc.) unaffected. 6. CONCLUSION AI is a strategic technology that offers many benefits for citizens, companies and society as a whole, provided it is human-centric, ethical, sustainable and respects fundamental rights and values. AI offers important efficiency and productivity gains that can strengthen the competitiveness of European industry and improve the wellbeing of citizens. It can also contribute to finding solutions to some of the most pressing societal challenges, including the fight against climate change and environmental degradation, the challenges linked to sustainability and demographic changes, and the protection of our democracies and, where necessary and proportionate, the fight against crime. For Europe to seize fully the opportunities that AI offers, it must develop and reinforce the necessary industrial and technological capacities. As set out in the accompanying European strategy for data, this also requires measures that will enable the EU to become a global hub for data. The European approach for AI aims to promote Europe’s innovation capacity in the area of AI while supporting the development and uptake of ethical and trustworthy AI across the EU economy. AI should work for people and be a force for good in society. With this White Paper and the accompanying Report on the safety and liability framework, the Commission launches a broad consultation of Member States civil society, industry and academics, of concrete proposals for a European approach to AI. These include both policy means to boost investments in research and innovation, enhance the development of skills and support the uptake of AI by SMEs, and proposals for key elements of a future regulatory framework. This consultation will 26 allow a comprehensive dialogue with all concerned parties that will inform the next steps of the Commission. The Commission invites for comments on the proposals set out in the White Paper through an open public consultation available at https://ec.europa.eu/info/consultations_en. The consultation is open for comments until 19 May 2020. It is standard practice for the Commission to publish submissions received in response to a public consultation. However, it is possible to request that submissions, or parts thereof, remain confidential. Should this be the case, please indicate clearly on the front page of your submission that it should not be made public and also send a non-confidential version of your submission to the Commission for publication.
1_DA_ACT_part1_v2.pdf
https://www.ft.dk/samling/20201/kommissionsforslag/kom(2020)0065/forslag/1634988/2156825.pdf
DA DA
EUROPA-
KOMMISSIONEN
Bruxelles, den 19.2.2020
COM(2020) 65 final
HVIDBOG
om kunstig intelligens - en europæisk tilgang til ekspertise og tillid
Europaudvalget 2020
KOM (2020) 0065
Offentligt
1
Hvidbog om kunstig intelligens
En europæisk tilgang til ekspertise og tillid
Kunstig intelligens er i hastig udvikling. Det vil ændre vores tilværelse ved at forbedre sundhedsplejen
(f.eks. med mere præcis diagnosticering og bedre forebyggelse af sygdomme), øge effektiviteten i
landbruget, bidrage til afbødning af og tilpasning til klimaforandringer, forbedre effektiviteten af
produktionssystemer ved hjælp af prædiktiv vedligeholdelse, øge sikkerheden for de europæiske
borgere og på mange andre måder, som vi endnu ikke kan forestille os. Samtidig indebærer kunstig
intelligens en række potentielle risici, f.eks. uigennemskuelige beslutningsprocesser, kønsbaseret eller
andre former for diskrimination, krænkelse af privatlivets fred eller anvendelse til kriminelle formål.
På baggrund af den skarpe globale konkurrence er der behov for en solid europæisk tilgang, der
bygger på den europæiske strategi for kunstig intelligens, der blev fremlagt i april 20181
. For at tackle
både mulighederne og udfordringerne ved kunstig intelligens må EU skride til værks som en enhed og
fastsætte sin egen kurs på grundlag af europæiske værdier for at fremme udviklingen og udbredelsen
af kunstig intelligens.
Kommissionen er fast besluttet på at bane vejen for videnskabelige gennembrud, bevare EU's
teknologiske førerposition og sikre, at nye teknologier stilles til gavn for alle europæere for at forbedre
deres tilværelse, samtidig med at deres rettigheder overholdes.
Kommissionens formand, Ursula von der Leyen, fremsatte i sine politiske retningslinjer 2
en
koordineret europæisk tilgang til de menneskelige og etiske konsekvenser af kunstig intelligens samt
overvejelser om bedre anvendelse af big data til innovation.
Kommissionen støtter således en lovgivnings- og investeringsorienteret tilgang, der har til formål både
at fremme anvendelsen af kunstig intelligens og at håndtere de risici, der er forbundet med visse
anvendelser af denne nye teknologi. Formålet med denne hvidbog er at opstille politiske
løsningsmodeller for, hvordan disse mål skal nås. Den omhandler ikke udviklingen og anvendelsen af
kunstig intelligens til militære formål.Kommissionen opfordrer medlemsstaterne, andre EU-
institutioner og alle interessenter, herunder erhvervslivet, arbejdsmarkedets parter,
civilsamfundsorganisationer, forskere, offentligheden generelt og alle interesserede parter, til at
reagere på nedenstående valgmuligheder og bidrage til Kommissionens fremtidige beslutninger på
dette område.
1. INDLEDNING
Den digitale teknologi bliver en stadig mere central del af menneskers liv på alle fronter, så derfor bør
folk kunne stole på den. Pålidelighed er også en forudsætning for dens udbredelse. Her er Europa godt
stillet i betragtning af dets stærke værdier, tilslutning til retsstatsprincippet og dets dokumenterede
evne til at opbygge sikre, pålidelige og sofistikerede produkter og tjenesteydelser, lige fra luftfart til
energi, biler og medicinsk udstyr.
EU's nuværende og fremtidige bæredygtige økonomiske vækst og samfundsmæssige velfærd bygger i
stigende grad på den værdi, der skabes ved hjælp af data. Kunstig intelligens er en af dataøkonomiens
vigtigste værktøjer. De fleste af nutidens data omhandler forbrugere og lagres i centrale cloudbaserede
1
Kunstig intelligens for Europa (COM(2018) 237 final).
2
https://ec.europa.eu/commission/sites/beta-political/files/political-guidelines-next-commission_da.pdf.
2
infrastrukturer. I modsætning hertil vil en stor del af morgendagens langt mere omfattende data
stamme fra industrien, erhvervslivet og den offentlige sektor og vil blive lagret på en række forskellige
systemer, navnlig computersystemer i udkanten af netværket. Dette skaber nye muligheder for Europa,
som er stærkt stillet inden for digitaliseret industri og anvendelser mellem virksomheder, men relativt
svagt stillet med hensyn til forbrugerplatforme.
Kort sagt er kunstig intelligens en sammensætning af teknologier, der kombinerer data, algoritmer og
computerkraft. Fremskridtene inden for databehandling og den stigende datatilgængelighed er derfor
vigtige drivkræfter for den hastige udvikling inden for kunstig intelligens. Ved at kombinere sine
teknologiske og industrielle styrker med en digital infrastruktur af høj kvalitet og en lovramme baseret
på sine grundlæggende værdier kan Europa blive førende på verdensplan inden for innovation i
dataøkonomien og dens anvendelsesmuligheder som fastsat i den europæiske datastrategi3
. Derved
kan Europa udvikle et økosystem for kunstig intelligens, som udbreder teknologiens fordele til hele
Europas samfund og økonomi:
for borgerne, der kan høste nye fordele ved f.eks. bedre sundhedspleje, mere holdbare
husholdningsmaskiner, sikrere og renere transportsystemer og bedre offentlige tjenester
for virksomhederne, der f.eks. kan udvikle nye generationer af produkter og tjenester på
områder, hvor Europa er særlig stærkt (maskineri, transport, cybersikkerhed, grøn og cirkulær
økonomi, sundhedspleje og sektorer med høj merværdi såsom mode og turisme)
for tjenester i offentlighedens interesse ved f.eks. at mindske omkostningerne ved levering
af tjenesteydelser (transport, uddannelse, energi og affaldsforvaltning), ved at forbedre
produkters bæredygtighed4
og ved at udruste de retshåndhævende myndigheder med passende
redskaber til at beskytte borgerne5
og passende sikkerhedsforanstaltninger, der skal sikre deres
rettigheder og friheder.
I betragtning af den store indvirkning, som kunstig intelligens kan have på vores samfund, og behovet
for at opbygge tillid, er det afgørende, at europæisk kunstig intelligens baseres på vores værdier og
grundlæggende rettigheder, såsom beskyttelse af den menneskelige værdighed og privatlivets fred.
Derudover bør indvirkningen af systemer med kunstig intelligens ikke kun tages i betragtning fra et
subjektivt perspektiv, men også fra et perspektiv, der ser samfundet som en helhed. Anvendelsen af
systemer med kunstig intelligens kan spille en væsentlig rolle med hensyn til at nå målene for
bæredygtig udvikling og støtte den demokratiske proces og de sociale rettigheder. Med sine seneste
forslag om Europas grønne pagt6
står Europa i spidsen for håndteringen af klima- og miljørelaterede
udfordringer. Digitale teknologier såsom kunstig intelligens er en afgørende forudsætning for at nå
målene i den grønne pagt. I betragtning af den stigende betydning af kunstig intelligens skal den
miljømæssige indvirkning af systemer med kunstig intelligens tages behørigt i betragtning i hele deres
livscyklus og langs hele forsyningskæden, f.eks. med hensyn til anvendelse af ressourcer til tilpasning
af algoritmer og lagring af data.
3
COM(2020) 66 final.
4
Kunstig intelligens og digitalisering generelt er afgørende forudsætninger for Europas ambitioner om en grøn pagt. IKT-
sektorens nuværende miljøaftryk anslås imidlertid til at udgøre mere end 2 % af de samlede emissioner på verdensplan. I
EU's digitale strategi, der ledsager denne hvidbog, foreslås der grønne omstillingsforanstaltninger for den digitale sektor.
5
Værktøjer baseret på kunstig intelligens giver mulighed for at beskytte EU-borgerne bedre mod kriminalitet og
terrorhandlinger.
Sådanne værktøjer kan f.eks. bidrage til at identificere terrorrelateret indhold på nettet, opdage mistænkelige transaktioner i
forbindelse med salg af farlige produkter, identificere farlige skjulte genstande eller ulovlige stoffer eller produkter, yde
bistand til borgere i nødsituationer og vejlede redningsarbejdere.
6
COM(2019) 640 final.
3
En fælles europæisk tilgang til kunstig intelligens er nødvendig for at opnå en tilstrækkelig
gennemslagskraft og undgå en opsplitning af det indre marked. Hvis der i stedet indføres nationale
initiativer i de enkelte lande, kan det bringe retssikkerheden i fare, svække borgernes tillid og
forhindre, at den europæiske industri udvikler sig dynamisk.
Denne hvidbog indeholder en række politiske valgmuligheder, som skal muliggøre en pålidelig og
sikker udvikling af kunstig intelligens i Europa under fuld overholdelse af EU-borgernes værdier og
rettigheder. De vigtigste bestanddele i denne hvidbog er:
Den politiske ramme for foranstaltninger til at ensrette indsatsen på europæisk, nationalt og
regionalt plan. Rammen har i partnerskab mellem den private og offentlige sektor til formål at
mobilisere ressourcer til at oprette et "ekspertisemiljø" i hele værdikæden, der begynder med
forskning og innovation, og skabe de rette incitamenter til at fremskynde ibrugtagningen af
løsninger baseret på kunstig intelligens, herunder hos små og mellemstore virksomheder
(SMV'er).
De centrale elementer i en fremtidig lovramme for kunstig intelligens i Europa, der skal skabe
et unikt "tillidsmiljø". Med henblik herpå skal rammen sikre overholdelse af EU-reglerne,
herunder reglerne for beskyttelse af grundlæggende rettigheder og forbrugerrettigheder,
navnlig for systemer med kunstig intelligens, der anvendes i EU, og som udgør en stor risiko7
.
At opbygge et tillidsmiljø er i sig selv en politisk målsætning, der skal give borgerne tillid til
anvendelsen af kunstig intelligens og give virksomheder og offentlige organisationer den
fornødne retssikkerhed til at innovere med kunstig intelligens. Kommissionen støtter i høj
grad en menneskecentreret tilgang baseret på meddelelsen om opbygning af tillid til
menneskecentreret kunstig intelligens8
og vil også tage hensyn til de input, der blev indsamlet
i løbet af pilotfasen for de etiske retningslinjer, som Ekspertgruppen på Højt Niveau
vedrørende Kunstig Intelligens har udarbejdet.
Den europæiske strategi for data, som ledsager denne hvidbog, har til formål at sætte Europa i stand til
at blive den mest attraktive, sikre og dynamiske data-agile økonomi i verden — Europa skal bruge
data til at forbedre sine beslutningsprocesser og tilværelsen for alle sine borgere. Strategien indeholder
en række politiske tiltag, der er nødvendige for at nå dette mål, herunder mobilisering af private og
offentlige investeringer. I Kommissionens rapport, der ledsager denne hvidbog, analyseres derudover
konsekvenserne af kunstig intelligens, tingenes internet og andre digitale teknologier for lovgivningen
om sikkerhed og ansvar.
2. UDNYTTELSE AF STYRKER PÅ INDUSTRI- OG ERHVERVSMARKEDERNE
Europa har gode forudsætninger for at drage fordel af kunstig intelligens, ikke blot som bruger, men
også som udvikler og producent af denne teknologi. Det har fremragende forskningscentre, innovative
opstartsvirksomheder, en førende position inden for robotteknologi samt konkurrencedygtige
fremstillings- og servicesektorer, fra bilindustrien til sundhedspleje, energi, finansielle tjenesteydelser
og landbrug. Europa har udviklet en stærk databehandlingsinfrastruktur (f.eks. højtydende computere),
som er afgørende for, at kunstig intelligens kan fungere. Desuden råder Europa over store offentlige og
industrielle data, hvis potentiale i øjeblikket ikke udnyttes fuldt ud. Det har velanerkendte industrielle
7
Selv om der kan blive behov for yderligere ordninger for at forebygge og modvirke misbrug af kunstig intelligens til
kriminelle formål, falder dette uden for rammerne af denne hvidbog.
8
COM(2019) 168.
4
styrker inden for sikre digitale systemer med lavt strømforbrug, hvilke har afgørende betydning for
videreudviklingen af kunstig intelligens.
Udnyttelse af EU's kapacitet til at investere i næstegenerationsteknologier og -infrastrukturer samt
digitale kompetencer såsom datafærdigheder vil øge Europas teknologiske suverænitet inden for
centrale støtteteknologier og -infrastrukturer i dataøkonomien. Infrastrukturerne bør understøtte
oprettelsen af europæiske datapuljer, der muliggør pålidelig kunstig intelligens, f.eks. kunstig
intelligens baseret på europæiske værdier og regler.
Europa bør udnytte sine styrker til at udvide sin indflydelse i økosystemerne og langs værdikæden,
lige fra visse hardwarefremstillingssektorer gennem software og hele vejen til tjenesteydelser. Dette er
allerede i et vist omfang ved at ske. Europa fremstiller over en fjerdedel af industriens og
erhvervslivets servicerobotter (f.eks. til præcisionslandbrug, sikkerhed, sundhed og logistik) og spiller
en vigtig rolle i udviklingen og udnyttelsen af softwareapplikationer til virksomheder og
organisationer (applikationer til brug mellem virksomheder såsom software til virksomhedsstyring
(ERP), design og konstruktion) samt applikationer til digital forvaltning og "intelligent virksomhed".
Europa baner vejen for udbredelsen af kunstig intelligens inden for produktion. Over halvdelen af
de største producenter har indført kunstig intelligens i mindst én fase af deres produktionsforløb9
.
En af grundene til, at Europa har indtaget en stærk position inden for forskning, er EU's
finansieringsprogram, der har spillet en afgørende rolle i at samle indsatsen, undgå dobbeltarbejde og
opnå en løftestangseffekt med offentlige og private investeringer i medlemsstaterne. I løbet af de sidste
tre år er EU-midlerne til forskning og innovation inden for kunstig intelligens steget til 1,5 mia. EUR,
dvs. en stigning på 70 % i forhold til den foregående periode.
Investeringer i forskning og innovation i Europa er dog stadig kun en brøkdel af de offentlige og
private investeringer i andre regioner i resten af verden. Der blev investeret ca. 3,2 mia. EUR i kunstig
intelligens i Europa i 2016 sammenlignet med ca. 12,1 mia. EUR i Nordamerika og 6,5 mia. EUR i
Asien10
. Som modsvar er Europa nødt til at øge sit investeringsniveau betydeligt. Den koordinerede
plan for kunstig intelligens11
, der er udviklet i samarbejde med medlemsstaterne, har vist sig at være et
godt springbræt til at opbygge et stærkere samarbejde om kunstig intelligens i Europa og skabe
synergier for at maksimere investeringerne i værdikæden for kunstig intelligens.
3. UDNYTTELSE AF FREMTIDIGE MULIGHEDER: DEN NÆSTE DATABØLGE
Europa har i øjeblikket en svagere stilling inden for forbrugerapplikationer og onlineplatforme, hvilket
er en konkurrencemæssig ulempe i forbindelse med adgang til data, men der er vigtige ændringer på
vej i samtlige sektorer med hensyn til datas værdi og genanvendelse. Den mængde data, der genereres
i verden, stiger hurtigt: fra 33 zettabytes i 2018 til en forventet mængde på 175 zettabytes i 202512
.
Hver ny databølge medfører lige så mange muligheder for, at Europa kan placere sig fordelagtigt i den
data-agile økonomi og blive førende i verden på dette område. Desuden vil måden, hvorpå data lagres
og behandles ændre sig drastisk i løbet af de kommende fem år. I dag sker 80 % af den databehandling
og -analyse, der finder sted i skyen, i datacentre og centraliserede databehandlingsfaciliteter og 20 % i
intelligente forbundne objekter, såsom biler, husholdningsapparater eller produktionsrobotter, og i
9
Efterfulgt af Japan (30 %) og USA (28 %). Kilde: CapGemini (2019).
10
"10 imperatives for Europe in the age of AI and automation" ("10 imperativer for Europa i den kunstige intelligens' og
automatiseringens tidsalder"), McKinsey, 2017.
11
COM(2018) 795.
12
IDC, 2019.
5
databehandlingsfaciliteter tæt på brugeren ("edge computing"). Inden 2025 vil dette forhold
sandsynligvis have ændret sig markant13
.
Europa er blandt de førende på verdensplan inden for elektronik med lavt strømforbrug, som er
afgørende for den næste generation af specialiserede processorer til kunstig intelligens. Dette marked
domineres i øjeblikket af aktører uden for EU. Dette kan ændres ved hjælp af initiativer som f.eks. det
europæiske processor-initiativ, hvor der fokuseres på udviklingen af energibesparende
computersystemer til både edge computing og den næste generation af højtydende databehandling,
eller fællesforetagendet "Key Digital Technology Joint Undertaking", der foreslås påbegyndt i 2021.
Europa er desuden førende inden for neuromorfiske løsninger14
, der er velegnede til automatisering af
industriprocesser (industri 4.0) og transport. Disse løsninger kan fordoble energieffektiviteten indtil
flere gange.
Den seneste udvikling inden for kvantedatabehandling vil medføre eksponentielle stigninger i
databehandlingskapaciteten15
. Europa kan blive førende inden for denne teknologi takket være sine
akademiske styrker inden for kvantedatabehandling samt den europæiske industris stærke position
inden for kvantesimulatorer og programmeringsmiljøer for kvantedatabehandling. Europæiske
initiativer, der har til formål at øge tilgængeligheden af test- og forsøgsfaciliteter til
kvantedatabehandling, vil bidrage til anvendelsen af disse nye kvanteløsninger inden for en række
industrielle og akademiske sektorer.
Sideløbende hermed vil Europa fortsat være på forkant med fremskridtet på algoritmegrundlaget for
kunstig intelligens og bygge videre på sin egen videnskabelige ekspertise. Der er behov for at bygge
bro mellem discipliner, der i øjeblikket benyttes separat, såsom maskinindlæring og dyb læring
(karakteriseret ved at være vanskelige at fortolke, behovet for store mængder data til brug for
modellerne og læring gennem korrelationer) og symbolske tilgange (hvor mennesker fastsætter regler
direkte). Ved at kombinere symbolske tankelove med dybe neurale net kan vi opnå kunstig intelligens
med bedre forklarlighed.
4. ET VERDENSKLASSEMILJØ
For at opbygge et ekspertisemiljø, der kan støtte udviklingen og udbredelsen af kunstig intelligens i
hele EU's økonomi og offentlige forvaltning, er der behov for at optrappe indsatsen på flere niveauer.
A. SAMARBEJDE MED MEDLEMSSTATERNE
Kommissionen fremlagde i december 2018 en koordineret plan, der er udarbejdet i samarbejde med
medlemsstaterne, og som har til formål at fremme udviklingen og anvendelsen af kunstig intelligens i
Europa16
, og gennemfører dermed sin strategi for kunstig intelligens, der blev vedtaget i april 201817
.
Denne plan indeholder forslag til 70 fælles aktioner med henblik på et tættere og mere effektivt
samarbejde mellem medlemsstaterne og Kommissionen på centrale områder såsom forskning,
investering, markedsudbredelse, færdigheder og talenter, data og internationalt samarbejde. Planen
forventes at vare frem til 2027 og vil blive overvåget og revideret regelmæssigt.
13
Gartner, 2017.
14
Ved neuromorfiske løsninger forstås meget store systemer af integrerede kredsløb, der efterligner nervesystemets
neurobiologiske strukturer.
15
Kvantecomputere vil på kortere tid kunne behandle mange gange større datasæt, end de bedste computere kan i dag,
hvilket vil gøre det muligt at udvikle nye anvendelsesmuligheder inden for kunstig intelligens på tværs af sektorer.
16
Koordineret plan for kunstig intelligens, COM (2018) 795.
17
Kunstig intelligens for Europa, COM(2018) 237.
6
Formålet er at maksimere virkningen af investeringer i forskning, innovation og udbredelse, vurdere
de nationale strategier for kunstig intelligens og bygge på og udvide den koordinerede plan for kunstig
intelligens sammen med medlemsstaterne:
Foranstaltning 1: Kommissionen vil under hensyntagen til resultaterne af den offentlige
høring om hvidbogen foreslå medlemsstaterne en revision af den koordinerede plan, der skal
vedtages senest ved udgangen af 2020.
Finansiering på EU-plan af kunstig intelligens bør tiltrække og samle investeringerne på områder, hvor
der kræves en indsats ud over, hvad en enkelt medlemsstat kan opnå. Målet er at tiltrække mere end 20
mia. EUR18
i samlede investeringer om året i kunstig intelligens i EU i løbet af det næste årti. For at
stimulere private og offentlige investeringer vil EU stille midler til rådighed fra programmet for et
digitalt Europa, Horisont Europa og de europæiske struktur- og investeringsfonde for at imødekomme
landdistrikternes og de mindre udviklede regioners behov.
Den koordinerede plan kan også tage fat på samfundsmæssig og miljømæssig velfærd som et centralt
princip for kunstig intelligens. Systemer med kunstig intelligens forventes at kunne hjælpe med at
tackle de mest presserende problemer, herunder klimaændringer og miljøforringelse. Det er netop også
vigtigt, at dette sker på en miljøvenlig måde. Kunstig intelligens kan og bør i sig selv foretage en
kritisk undersøgelse af ressource- og energiforbruget og være tilpasset til at træffe valg, der er
gavnlige for miljøet. Kommissionen vil sammen med medlemsstaterne overveje mulighederne for at
tilskynde til og fremme løsninger med kunstig intelligens, der gør dette.
B. FOKUS PÅ FORSKNINGS- OG INNOVATIONSSAMFUNDETS INDSATS
Europa har ikke råd til at opretholde det nuværende landskab med spredte kompetencecentre, hvor
ingen af dem har nået det omfang, der skal til for at konkurrere med de førende institutter på globalt
plan. Det er bydende nødvendigt at skabe flere synergier og netværk mellem de forskellige europæiske
forskningscentre, der beskæftiger sig med kunstig intelligens, og ensrette deres bestræbelser på at
forbedre ekspertisen, fastholde og tiltrække de bedste forskere og udvikle den bedste teknologi.
Europa har brug for et centrum for forskning, innovation og ekspertise, som skal koordinere denne
indsats og udgøre et forbillede i verdensklasse inden for kunstig intelligens, og som kan tiltrække
investeringer og de bedste talenter på området.
Centrene og netværkene bør fokusere på de sektorer, hvor Europa har potentialet til at blive verdens
førende, såsom industri, sundhed, transport, finans, fødevareværdikæder, energi/miljø, skovbrug,
jordobservation og rumfart. På alle disse områder er kapløbet om førstepladsen på verdensplan
allerede skudt i gang, og Europa kan byde ind med et betydeligt potentiale samt stor viden og
ekspertise19
. Lige så vigtigt er det at oprette test- og forsøgsfaciliteter til at støtte udviklingen og den
efterfølgende anvendelse af nye anvendelsesmuligheder inden for kunstig intelligens.
Foranstaltning 2: Kommissionen vil fremme oprettelsen af ekspertisecentre og testfaciliteter,
der kan kombinere europæiske, nationale og private investeringer, eventuelt med et nyt
retsinstrument. Som led i den flerårige finansielle ramme for 2021-2027 har Kommissionen
fremsat forslag om at afsætte et ambitiøst beløb til støtte for europæiske testfaciliteter i
18
COM(2018) 237.
19
Den kommende Europæiske Forsvarsfond og det permanente strukturerede samarbejde (PESCO) vil også skabe
muligheder for forskning og udvikling inden for kunstig intelligens. Disse projekter bør synkroniseres med EU's bredere
civile programmer om kunstig intelligens.
7
verdensklasse under programmet for et digitalt Europa, om nødvendigt suppleret af Horisont
Europas forsknings- og innovationsforanstaltninger.
C. FÆRDIGHEDER
Den europæiske tilgang til kunstig intelligens skal understøttes af et stærkt fokus på færdigheder for at
udfylde eventuelle kompetencemangler 20
. Kommissionen vil snart fremlægge en optrapning af
dagsordenen for færdigheder, som skal sikre, at alle i Europa kan drage fordel af de grønne og digitale
omstillinger af EU's økonomi. De dertil hørende initiativer kan også omfatte støtte til sektorspecifikke
tilsynsmyndigheder for at forbedre deres færdigheder inden for kunstig intelligens og dermed
gennemføre de relevante regler på virkningsfuld og effektiv vis. Den ajourførte handlingsplan for
digital uddannelse vil bidrage til at gøre bedre brug af data og teknologier inden for kunstig intelligens
(såsom læring og prædiktive analyser) med henblik på at forbedre uddannelsessystemerne og gøre
dem parate til den digitale tidsalder. Handlingsplanen vil også øge kendskabet til kunstig intelligens på
alle uddannelsesniveauer, således at borgerne forberedes på informeret beslutningstagning, der i
stigende grad vil blive påvirket af kunstig intelligens.
I den reviderede koordinerede plan for kunstig intelligens, der skal udvikles sammen med
medlemsstaterne, prioriteres udviklingen af de færdigheder, der er nødvendige for at arbejde med
kunstig intelligens, og opkvalificering af arbejdsstyrken, så den bliver tilpasset den digitale omstilling.
Som led heri kunne evalueringslisten i de etiske retningslinjer omformes til et vejledende "pensum"
for udviklere af kunstig intelligens, der så ville blive stillet til rådighed som en ressource for
uddannelsesinstitutioner. Der bør gøres en særlig indsats for at øge antallet af kvinder, der er uddannet
og beskæftiget på dette område.
Desuden vil et fyrtårn for forskning og innovation vedrørende kunstig intelligens i Europa tiltrække
talenter fra hele verden som følge af de muligheder, der kan tilbydes. Det vil også bidrage til
udviklingen og udbredelsen af ekspertfærdigheder i hele Europa.
Foranstaltning 3: Gennem søjlen for avancerede færdigheder i programmet for et digitalt
Europa skal netværk af førende universiteter og højere uddannelsesinstitutioner etableres og
understøttes for at tiltrække de bedste lærere og videnskabsfolk og tilbyde
kandidatuddannelser inden for kunstig intelligens i verdensklasse.
Ud over opkvalificering påvirkes både arbejdstagere og arbejdsgivere direkte af udformningen og
anvendelsen af systemer med kunstig intelligens på arbejdspladsen. Inddragelsen af arbejdsmarkedets
parter vil være en afgørende faktor i at sikre en menneskecentreret tilgang til kunstig intelligens på
arbejdspladsen.
D. FOKUS PÅ SMV'ER
Det vil også være vigtigt at sikre, at SMV'er kan få adgang til og anvende kunstig intelligens. Med
henblik herpå bør de digitale innovationsknudepunkter 21
og on-demand-platformen 22
for kunstig
intelligens styrkes yderligere for at fremme samarbejdet mellem SMV'er. Programmet for et digitalt
Europa vil være af afgørende betydning for at opnå dette. Selv om alle digitale
innovationsknudepunkter bør yde støtte til SMV'er til at forstå og anvende kunstig intelligens, vil det
20
https://ec.europa.eu/jrc/en/publication/academic-offer-and-demand-advanced-profiles-eu
21
ec.europe.eu/digital-single-market/en/news/digital-innovation-hubs-helping-companies-across-economy-make-most-
digital-opportunities.
22
www.Ai4eu.eu.
8
være vigtigt at have mindst ét innovationsknudepunkt i hver medlemsstat med en høj grad af
specialisering inden for kunstig intelligens.
SMV'er og nystartede virksomheder skal have adgang til finansiering med henblik på at tilpasse deres
processer eller innovere ved hjælp af kunstig intelligens. Med udgangspunkt i den kommende
pilotinvesteringsfond på 100 mio. EUR til kunstig intelligens og blockchain vil Kommissionen
yderligere øge adgangen til finansiering af kunstig intelligens inden for rammerne af InvestEU23
.
Kunstig intelligens nævnes udtrykkeligt blandt de områder, der er støtteberettigede i forbindelse med
InvestEU-garantien.
Foranstaltning 4: Kommissionen vil samarbejde med medlemsstaterne for at sikre, at der er
mindst ét digitalt innovationsknudepunkt i hver medlemsstat med en høj grad af specialisering
inden for kunstig intelligens. Digitale innovationsknudepunkter kan støttes under programmet
for et digitalt Europa.
Kommissionen og Den Europæiske Investeringsfond vil iværksætte en pilotordning med 100
mio. EUR i første kvartal af 2020, der skal tilvejebringe egenkapitalfinansiering af innovativ
udvikling inden for kunstig intelligens. Kommissionen har fra 2021 til hensigt at optrappe
dette i betydelig grad gennem InvestEU under forudsætning af, at der kan opnås endelig
enighed herom i den flerårige finansielle ramme.
E. PRIVATSEKTOREN SOM PARTNER
Det er også afgørende at sikre, at den private sektor inddrages fuldt ud i fastlæggelsen af forsknings-
og innovationsdagsordenen og bidrager med saminvesteringer i det nødvendige omfang. Dette vil
kræve, at der etableres et stort offentligt-privat partnerskab, og at virksomhedernes øverste ledelse
engagerer sig.
Foranstaltning 5: I forbindelse med Horisont Europa vil Kommissionen etablere et nyt
offentlig-privat partnerskab inden for kunstig intelligens, data og robotteknologi med henblik
på at kombinere indsatsen, sikre koordinering af forskning og innovation inden for kunstig
intelligens og samarbejde med andre offentlig-private partnerskaber i Horisont Europa, de
ovennævnte testfaciliteter og de digitale innovationsknudepunkter.
F. FREMME AF ANVENDELSEN AF KUNSTIG INTELLIGENS I DEN OFFENTLIGE SEKTOR
Det er vigtigt, at offentlige forvaltninger, hospitaler, forsynings- og transporttjenester, finansielle
tilsynsmyndigheder og andre områder af offentlig interesse hurtigt begynder at anvende produkter og
tjenester, der benytter kunstig intelligens. Der vil især blive fokuseret på sundhedspleje og transport,
hvor teknologien er moden til udbredelse i stor målestok.
Foranstaltning 6: Kommissionen vil indlede åbne og gennemsigtige sektordialoger, hvor
sundhedstjenester, forvaltninger i landdistrikter og operatører af offentlige tjenester
prioriteres, med henblik på at fremlægge en handlingsplan, der skal lette udvikling af, forsøg
med og ibrugtagning af kunstig intelligens. Sektordialogerne vil blive brugt til at udarbejde et
specifikt "brug kunstig intelligens"-program, der skal støtte offentlige organers anskaffelse af
23
Europe.eu/investeu.
9
systemer med kunstig intelligens og bidrage til at ændre selve procedurerne for offentlige
udbud.
G. SIKRING AF ADGANG TIL DATA OG DATABEHANDLINGSINFRASTRUKTUR
De indsatsområder, der er beskrevet i denne hvidbog, supplerer den plan, der sideløbende fremlægges
i forbindelse med den europæiske datastrategi. Det er afgørende at forbedre datastyringen og adgangen
til data. Uden data er det ikke muligt at udvikle kunstig intelligens eller andre digitale applikationer.
De enorme mængder af nye data, der vil blive genereret i fremtiden, vil gøre det muligt for Europa at
indtage en førerposition inden for omstillingen til en datadreven økonomi med kunstig intelligens.
Fremme af ansvarlig dataforvaltningspraksis og dataenes overensstemmelse med FAIR-principperne
vil bidrage til at opbygge tillid og sikre, at data kan videreanvendes24
. Investeringer i centrale
databehandlingsteknologier og -infrastrukturer er ligeledes vigtige.
Kommissionen har foreslået at afsætte over 4 mia. EUR under programmet for et digitalt Europa til
støtte for højtydende databehandling og kvantedatabehandling, herunder edge computing og kunstig
intelligens samt data- og cloudinfrastruktur. Den europæiske datastrategi videreudvikler disse
prioriteter.
H. INTERNATIONALE ASPEKTER
Europa er godt rustet til at udvise globalt lederskab i forbindelse med opbygningen af alliancer
omkring fælles værdier og fremme af etisk anvendelse af kunstig intelligens. EU's arbejde med
kunstig intelligens har allerede haft indflydelse på den internationale debat. Med udarbejdelsen af sine
etiske retningslinjer har ekspertgruppen på højt plan inddraget en række organisationer uden for EU og
observatører fra en række regeringer. Sideløbende hermed var EU tæt involveret i udviklingen af
OECD's etiske principper for kunstig intelligens25
. G20 godkendte efterfølgende disse principper i sin
ministererklæring fra juni 2019 om handel og den digitale økonomi.
Sideløbende hermed anerkender EU, at der udføres vigtigt arbejde med kunstig intelligens i andre
multilaterale fora, herunder Europarådet, De Forenede Nationers Organisation for Uddannelse,
Videnskab og Kultur (UNESCO), Organisationen for Økonomisk Samarbejde og Udvikling (OECD),
Verdenshandelsorganisationen (WTO) og Den Internationale Telekommunikationsunion (ITU). I FN
er EU involveret i opfølgningen af rapporten fra højniveaupanelet om digitalt samarbejde, herunder
henstillingen om kunstig intelligens.
EU vil fortsat samarbejde med ligesindede lande, men også med globale aktører, om kunstig
intelligens med en tilgang baseret på EU's regler og værdier (f.eks. støtte til opadgående
regelkonvergens, adgang til centrale ressourcer, herunder data, og lige konkurrencevilkår).
Kommissionen vil nøje overvåge de politikker i tredjelande, der begrænser datastrømme, og vil
behandle uberettigede begrænsninger i bilaterale handelsforhandlinger og gennem foranstaltninger
inden for rammerne af Verdenshandelsorganisationen. Kommissionen er overbevist om, at det
internationale samarbejde om kunstig intelligens skal baseres på en tilgang, der fremmer respekten for
de grundlæggende rettigheder, herunder menneskelig værdighed, pluralisme, inklusion,
24
"Findable, Accessible, Interoperable and Reusable" (data der kan findes og er tilgængelige, interoperable og
videreanvendelige) som det fremgår af den endelige rapport og handlingsplan fra Kommissionens ekspertgruppe
vedrørende FAIR data, 2018, https://ec.europa.eu/info/sites/info/files/turning_fair_into_reality_1.pdf.
25
https://www.oecd.org/going-digital/ai/principles/
10
ikkeforskelsbehandling og beskyttelse af privatlivets fred og personoplysninger26
, og den vil bestræbe
sig på at eksportere sine værdier til hele verden27
. Det står også klart, at ansvarlig udvikling og
anvendelse af kunstig intelligens kan være en drivkraft til at nå målene for bæredygtig udvikling og
fremme 2030-dagsordenen.
5. ET TILLIDSMILJØ: LOVRAMMEN FOR KUNSTIG INTELLIGENS
Som med al ny teknologi er der både muligheder og risici forbundet med anvendelsen af kunstig
intelligens. Borgerne frygter, at de bliver ude af stand til at forsvare deres rettigheder og sikkerhed, når
de står over for informationsasymmetrierne forbundet med algoritmisk beslutningstagning, og
virksomhederne er bekymrede over manglende retssikkerhed. Selv om kunstig intelligens kan bidrage
til at beskytte borgernes sikkerhed og sætte dem i stand til at udøve deres grundlæggende rettigheder,
er borgerne også bekymrede for, om kunstig intelligens kan få utilsigtede virkninger eller endda
anvendes til ondsindede formål. Disse bekymringer bør der tages højde for. Ud over manglende
investeringer og færdigheder er manglende tillid desuden en vigtig faktor, der bremser udbredelsen af
kunstig intelligens.
Derfor har Kommissionen den 25. april 2018 udarbejdet en strategi for kunstig intelligens28
, som tager
fat på de socioøkonomiske aspekter parallelt med en forøgelse af investeringerne i forskning,
innovation og kapacitet for kunstig intelligens i hele EU. Den har vedtaget en koordineret plan29
med
medlemsstaterne for at ensrette strategierne og har også oprettet en ekspertgruppe på højt niveau, som
i april 2019 offentliggjorde et sæt retningslinjer for pålidelig kunstig intelligens30
.
Kommissionen har offentliggjort en meddelelse31
, hvori den bifaldt de syv centrale krav i
retningslinjerne fra ekspertgruppen på højt niveau:
menneskelige aktiviteter og tilsyn udført af mennesker
teknologisk robusthed og sikkerhed
privatlivets fred og datastyring
gennemsigtighed
mangfoldighed, ikkediskrimination og retfærdighed
social og miljømæssig velfærd, samt
ansvarlighed.
Retningslinjerne indeholder desuden en evalueringsliste, der skal anvendes af virksomhederne i
praksis. I andet halvår af 2019 har over 350 organisationer afprøvet denne evalueringsliste og indsendt
feedback. Ekspertgruppen på højt niveau er i færd med at revidere sine retningslinjer i lyset af denne
feedback og vil afslutte dette arbejde inden juni 2020. Et vigtigt resultat af feedback-processen er, at
selv om en række af kravene allerede er afspejlet i eksisterende retlige eller lovgivningsmæssige
ordninger, er dem, der vedrører gennemsigtighed, sporbarhed og menneskeligt tilsyn, ikke specifikt
omfattet af den nuværende lovgivning i mange økonomiske sektorer.
26
Inden for rammerne af partnerskabsinstrumentet vil Kommissionen finansiere et projekt til en værdi af 2,5 mio. EUR,
som skal lette samarbejdet med ligesindede partnere med henblik på at fremme EU's etiske retningslinjer for kunstig
intelligens og vedtage fælles principper og praktiske konklusioner.
27
Kommissionsformand Ursula von der Leyen, En mere ambitiøs Union — Min dagsorden for Europa, side 17.
28
COM(2018) 237.
29
COM(2018) 795.
30
https://ec.europa.eu/futurium/en/ai-alliance-consultation/guidelines#Top
31
COM(2019) 168.
11
Ud over dette sæt ikkebindende retningslinjer fra ekspertgruppen på højt niveau og i
overensstemmelse med formandens politiske retningslinjer vil en klar europæisk lovramme skabe tillid
til kunstig intelligens blandt forbrugere og virksomheder og dermed fremskynde udbredelsen af
teknologien. En sådan lovramme bør være i overensstemmelse med andre tiltag til fremme af Europas
innovationskapacitet og konkurrenceevne på dette område. Derudover skal den sikre socialt,
miljømæssigt og økonomisk optimale resultater og overholdelse af EU's lovgivning, principper og
værdier. Dette er særlig relevant på områder, hvor borgernes rettigheder kan blive mest direkte berørt,
f.eks. i forbindelse med anvendelse af kunstig intelligens til retshåndhævelse og retsvæsenet.
Udviklere og udbydere af kunstig intelligens er allerede omfattet af EU-lovgivningen om
grundlæggende rettigheder (f.eks. databeskyttelse, privatlivets fred og ikkeforskelsbehandling),
forbrugerbeskyttelse og produktsikkerheds- og ansvarsregler. Forbrugerne forventer samme
sikkerhedsniveau og respekt for deres rettigheder, uanset om et produkt eller et system anvender
kunstig intelligens eller ej. Visse særlige træk ved kunstig intelligens (f.eks. uigennemsigtighed) kan
imidlertid vanskeliggøre anvendelsen og håndhævelsen af denne lovgivning. Det er derfor nødvendigt
at undersøge, om den nuværende lovgivning er i stand til at håndtere de risici, der er forbundet med
kunstig intelligens, om den kan håndhæves effektivt, og om der er behov for tilpasninger af
lovgivningen eller helt ny lovgivning.
I betragtning af, at kunstig intelligens er under hastig udvikling, bør lovrammen give plads til
yderligere udvikling. Eventuelle ændringer bør begrænses til klart konstaterede problemer, som der
findes gennemførlige løsninger på.
Medlemsstaterne peger på den nuværende mangel på en fælles europæisk ramme. Tysklands
kommission for dataetik har opfordret til et risikobaseret system med fem niveauer, der går fra ingen
regulering af de mest tilforladelige systemer med kunstig intelligens til et fuldstændigt forbud mod de
farligste systemer. Danmark har netop lanceret prototypen til en mærkningsordning for dataetik. Malta
har indført et frivilligt system til certificering af kunstig intelligens. Hvis EU ikke bringer en EU-
dækkende tilgang på banen, er der en reel risiko for fragmentering i det indre marked, hvilket vil
undergrave målsætningerne for tillid, retssikkerhed og markedsudbredelse.
En solid europæisk lovramme for pålidelig kunstig intelligens vil beskytte alle europæiske borgere og
bidrage til at skabe et gnidningsløst indre marked for den videre udvikling og udbredelse af kunstig
intelligens samt styrke Europas industrielle grundlag inden for kunstig intelligens.
A. PROBLEMFORMULERING
Kunstig intelligens kan skabe mange fordele, herunder ved at føre til sikrere produkter og processer,
men kan også gøre skade. Skaderne kan både være fysiske (enkeltpersoners sikkerhed og sundhed, tab
af menneskeliv eller tingsskade) og immaterielle (brud på privatlivets fred, begrænsning af
ytringsfriheden, tab af menneskelig værdighed eller forskelsbehandling inden for f.eks. adgang til
beskæftigelse) og kan stamme fra en lang række risici. Lovrammen bør være fokuseret på, hvordan
man kan minimere de forskellige risici for eventuelle skader, især de mest betydelige risici.
De største risici i forbindelse med anvendelsen af kunstig intelligens vedrører anvendelsen af regler,
der har til formål at beskytte grundlæggende rettigheder (herunder beskyttelse af personoplysninger og
privatlivets fred og ikkeforskelsbehandling), samt sikkerheds- og ansvarsrelaterede spørgsmål32
.
32
Dette omfatter spørgsmål om cybersikkerhed, spørgsmål om anvendelsesmuligheder for kunstig intelligens i kritiske
infrastrukturer og spørgsmål om ondsindet brug af kunstig intelligens.
12
Risici for grundlæggende rettigheder, herunder beskyttelse af personoplysninger og privatlivets fred
og ikkeforskelsbehandling
Brugen af kunstig intelligens kan påvirke de værdier, som EU bygger på, og føre til krænkelser af de
grundlæggende rettigheder33
, herunder ytringsfriheden, forsamlingsfriheden, menneskelig værdighed,
ikkeforskelsbehandling på grundlag af køn, race eller etnisk oprindelse, religion eller tro, handicap,
alder eller seksuel orientering, alt efter hvad der er relevant på visse områder, beskyttelse af
personoplysninger og privatlivets fred34
, retten til effektive retsmidler og en retfærdig rettergang samt
forbrugerbeskyttelse. Disse risici kan opstå som følge af mangler i den overordnede udformning af
systemer med kunstig intelligens (herunder med hensyn til menneskeligt tilsyn) eller ved anvendelse
af data uden udbedring af eventuelle skævheder (f.eks. hvis systemet kun er oplært med data fra mænd,
hvilket dermed fører til suboptimale resultater for kvinder).
Kunstig intelligens kan udføre mange funktioner, som tidligere kun kunne varetages af mennesker.
Som følge heraf vil borgere og juridiske personer i stadig højere grad blive påvirket af handlinger og
beslutninger truffet af eller med bistand fra systemer med kunstig intelligens, som undertiden kan være
vanskelige at forstå og om nødvendigt anfægte. Desuden øger kunstig intelligens mulighederne for at
spore og analysere folks daglige vaner. Der er f.eks. en potentiel risiko for, at kunstig intelligens i strid
med EU's regler om databeskyttelse og andre regler anvendes af statslige myndigheder eller andre
enheder til masseovervågning og af arbejdsgivere til at observere deres ansattes adfærd. Ved at
analysere store mængder data og konstatere forbindelser mellem dem kan kunstig intelligens også
anvendes til at opspore og deanonymisere data om personer, hvorved der opstår nye risici for
beskyttelsen af personoplysninger, selv med hensyn til datasæt, der ikke som sådan indeholder
personoplysninger. Kunstig intelligens bruges også af onlineformidlere til at prioritere information til
deres brugere og til at moderere indhold. De behandlede data, udformningen af anvendelsesmetoderne
og mulighederne for menneskelig indgriben kan påvirke retten til ytringsfrihed, beskyttelse af
personoplysninger, privatlivets fred og politiske frihedsrettigheder.
Forudindtagethed og diskrimination udgør iboende risici for enhver samfundsmæssig eller økonomisk
aktivitet. Fejl og forudindtagethed kan stadig forekomme, når det er mennesker, der træffer
beslutningerne. Når samme forudindtagethed forekommer i kunstig intelligens, kan den dog have en
33
Europarådets forskning viser, at mange af de grundlæggende rettigheder kunne blive påvirket af anvendelsen af kunstig
intelligens: https://rm.coe.int/algorithms-and-human-rights-en-rev/16807956b5.
34
Den generelle forordning om databeskyttelse og e-databeskyttelsesdirektivet (en ny forordning om e-databeskyttelse er til
forhandling) afhjælper disse risici, men det kan være nødvendigt at undersøge, om systemer med kunstig intelligens
medfører yderligere risici. Kommissionen vil løbende overvåge og vurdere anvendelsen af den generelle forordning om
databeskyttelse.
Visse algoritmer kan, når de benyttes til at forudsige tilbagefald til kriminel adfærd, være påvirket af
forudindtagethed i forbindelse med køn og race og dermed udvise forskellige sandsynligheder for tilbagefald
for kvinder i forhold til mænd eller for statsborgere i forhold til udlændinge. Kilde: Tolan S., Miron M.,
Gomez E. og Castillo C. "Why Machine Learning May Lead to Unfairness: Evidence from Risk Assessment
for Juvenile Justice in Catalonia" (Hvorfor maskinindlæring kan føre til uretfærdighed: Dokumentation fra
risikovurdering i ungdomsretten i Catalonien), pris for bedste artikel, International Conference on AI and
Law, 2019.
Visse programmer med kunstig intelligens til ansigtsanalyse udviser forudindtagethed med hensyn til køn og
race, idet de udviser en lav fejlprocent i bestemmelsen af køn på mænd med lys hud, men udviser en høj
fejlprocent i bestemmelsen af køn på kvinder med mørk hud. Kilde: Joy Buolamwini, Timnit Gebru,
Proceedings of the 1st Conference on Fairness, Accountability and Transparency, PMLR bind 81, s. 77-91,
2018.
13
langt større virkning, som kan føre til diskrimination mod mange mennesker uden de sociale
kontrolmekanismer, der styrer menneskets adfærd35
. Dette kan også ske, når systemet med kunstig
intelligens "lærer", mens det er i drift. I sådanne tilfælde, hvor resultatet ikke kunne være blevet
forhindret eller forudset i planlægningsfasen, skyldes risiciene ikke fejl i systemets oprindelige
udformning, men opstår snarere af de praktiske konsekvenser af de korrelationer eller mønstre, som
systemet konstaterer i et stort datasæt.
De særlige karakteristika ved mange teknologier inden for kunstig intelligens, herunder
uigennemsigtighed ("sort boks"-effekten), kompleksitet, uforudsigelighed og en delvis autonom
adfærd, kan gøre det vanskeligt at kontrollere, om reglerne overholdes, og de kan lægge hindringer i
vejen for en effektiv håndhævelse af gældende EU-lovgivning, der har til formål at beskytte de
grundlæggende rettigheder. Håndhævende myndigheder og berørte personer kan mangle midler til at
kontrollere et givent beslutningsforløb, hvori kunstig intelligens blev benyttet, og dermed om de
relevante regler blev overholdt. Enkeltpersoner og juridiske personer kan have svært ved at få effektiv
adgang til domstolsprøvelse i situationer, hvor sådanne afgørelser påvirker dem negativt.
Risici for sikkerheden og for erstatningsordningers effektivitet
Når teknologier inden for kunstig intelligens indgår i produkter og tjenester, kan de udgøre nye
sikkerhedsrisici for brugerne. Eksempelvis kan en selvkørende bil som følge af en eventuel fejl i
billedteknologien fejlagtigt identificere en genstand på vejen og forårsage en ulykke med personskade
og tingsskade til følge. Som i forbindelse med risiciene for de grundlæggende rettigheder kan disse
risici være forbundet med problemer med teknologiens udformning, med tilgængeligheden og
kvaliteten af data eller med andre problemer i forbindelse med maskinindlæring. Visse af disse risici er
ikke begrænset til produkter og tjenesteydelser, der er afhængige af kunstig intelligens, men
anvendelsen af kunstig intelligens kan øge eller forværre risiciene.
Manglen på klare sikkerhedsbestemmelser, der imødegår disse risici, kan ud over risiciene for de
berørte enkeltpersoner skabe usikkerhed om retstilstanden for virksomheder, der markedsfører deres
produkter med kunstig intelligens i EU. Markedsovervågnings- og håndhævelsesmyndighederne kan
komme i en situation, hvor de er usikre, om hvorvidt de kan gribe ind, fordi de måske ikke har de rette
beføjelser eller ikke har tilstrækkelig teknisk kapacitet til at inspicere systemerne36
. Usikkerhed om
retstilstanden kan derfor mindske det generelle sikkerhedsniveau og underminere konkurrenceevnen
hos europæiske virksomheder.
35
Kommissionens Rådgivende Udvalg for Ligestilling mellem Kvinder og Mænd er i færd med at udarbejde en udtalelse
om kunstig intelligens, hvori det bl.a. analyserer følgevirkningerne af kunstig intelligens for ligestillingen mellem
kønnene, og som forventes at blive vedtaget af udvalget i begyndelsen af 2020. EU's ligestillingsstrategi for 2020-2024
omhandler også forbindelsen mellem kunstig intelligens og ligestilling mellem kønnene. Det europæiske netværk af
ligestillingsorganer (Equinet) vil offentliggøre en rapport (af Robin Allen og Dee Masters) med titlen "Regulating AI: the
new role for Equality Bodies – Meeting the new challenges to equality and non-discrimination from increased
digitalisation and the use of AI" (Regulering af kunstig intelligens: Ligestillingsorganernes nye rolle — De nye
udfordringer for lighed og ikkeforskelsbehandling ved den stigende digitalisering og anvendelse af kunstig intelligens),
som forventes fremlagt i begyndelsen af 2020.
36
Smarture til børn er et eksempel på dette. Dette produkt vil sandsynligvis ikke være til direkte skade for det barn, der
bærer det, men hvis uret ikke har indbygget basale sikkerhedsfunktioner, kan det nemt bruges som et redskab til at få adgang
til barnet. Markedsovervågningsmyndighederne kan få svært ved at gribe i tilfælde, hvor risikoen ikke er knyttet til selve
produktet.
14
Hvis sikkerhedsrisiciene manifesterer sig, vil manglen på klare krav og de karakteristika ved
teknologier med kunstig intelligens, der er nævnt ovenfor, gøre det vanskeligt at spore potentielt
problematiske beslutninger i forbindelse med anvendelsen af systemer med kunstig intelligens. Dette
kan dermed gøre det vanskeligt for personer, der har lidt skade, at opnå erstatning i henhold til EU's
gældende lovgivning om erstatningsansvar37
.
Derfor gælder det også for sikkerheds- og ansvarsmæssige anliggender, at det er vanskeligt at spore
potentielt problematiske beslutninger, der er blevet truffet af systemer med kunstig intelligens, som
nævnt ovenfor i forbindelse med grundlæggende rettigheder. Det kan være, at skadelidte f.eks. ikke
har effektiv adgang til de beviser, der er nødvendige for at indbringe et søgsmål for domstolen, og har
mindre effektive klagemuligheder i forhold til situationer, hvor skaden er forårsaget af traditionelle
teknologier. Disse risici vil stige, efterhånden som anvendelsen af kunstig intelligens bliver mere
udbredt.
B. MULIGE TILPASNINGER AF EU'S EKSISTERENDE LOVRAMME VEDRØRENDE KUNSTIG
INTELLIGENS
Meget af den eksisterende EU-lovgivning om produktsikkerhed og produktansvar 38
, herunder
sektorspecifikke regler, der yderligere suppleres af national lovgivning, er relevant for og muligvis
anvendelig på en række nye anvendelser af kunstig intelligens.
For så vidt angår beskyttelsen af grundlæggende rettigheder og forbrugerrettigheder, omfatter EU's
lovramme bl.a. direktivet om racelighed39
, direktivet om ligebehandling med hensyn til beskæftigelse
og erhverv40
, direktiverne om ligebehandling af mænd og kvinder i forbindelse med beskæftigelse og
adgang til varer og tjenesteydelser41
samt en række retsakter om forbrugerbeskyttelse42
og beskyttelse
af personoplysninger og privatlivets fred, herunder navnlig den generelle forordning om
databeskyttelse og anden sektorspecifik lovgivning vedrørende beskyttelse af personoplysninger
såsom direktivet om databeskyttelse på retshåndhævelsesområdet 43
. Desuden vil reglerne om
37
I Kommissionens rapport, der ledsager denne hvidbog, analyseres konsekvenserne af kunstig intelligens, tingenes internet
og andre digitale teknologier for sikkerheds- og ansvarslovgivningen.
38
EU's lovramme for produktsikkerhed består af direktivet om produktsikkerhed i almindelighed (direktiv 2001/95/EF) som
sikkerhedsnet sammen med en række sektorspecifikke regler for forskellige kategorier af produkter, fra maskiner, fly og biler
til legetøj og medicinsk udstyr, der har til formål at sikre et højt sundheds- og sikkerhedsniveau. Produktansvarslovgivningen
suppleres af forskellige ordninger for civilretligt ansvar for skader forårsaget af produkter eller tjenester.
39
Direktiv 2000/43/EF.
40
Direktiv 2000/78/EF.
41
Direktiv 2004/113/EF, Direktiv 2006/54/EF.
42
F.eks. direktivet om urimelig handelspraksis (direktiv 2005/29/EF) og direktivet om forbrugerrettigheder (direktiv
2011/83/EF).
43
Europa-Parlamentets og Rådets direktiv (EU) 2016/680 af 27. april 2016 om beskyttelse af fysiske personer i forbindelse
med kompetente myndigheders behandling af personoplysninger med henblik på at forebygge, efterforske, afsløre eller
retsforfølge strafbare handlinger eller fuldbyrde strafferetlige sanktioner og om fri udveksling af sådanne oplysninger.
I henhold til produktansvarsdirektivet er en fabrikant ansvarlig for skader forårsaget af et defekt produkt. I
forbindelse med et system baseret på kunstig intelligens, f.eks. selvkørende biler, kan det være vanskeligt at
bevise, at produktet er defekt, at der er sket en skade, og at der er en årsagssammenhæng mellem de to.
Desuden er der en vis usikkerhed med hensyn til, hvordan og i hvilket omfang produktansvarsdirektivet
gælder for visse typer defekter, f.eks. hvis disse skyldes svagheder i produktets cybersikkerhed.
15
tilgængelighedskrav for produkter og tjenester, der er fastsat i den europæiske retsakt om
tilgængelighed44
, finde anvendelse fra 2025. De grundlæggende rettigheder skal desuden respekteres i
forbindelse med gennemførelsen af anden EU-lovgivning, herunder inden for finansielle
tjenesteydelser, migration eller ansvar hos onlineformidlere.
Selv om EU-lovgivningen i princippet fortsat finder fuld anvendelse, uanset om kunstig intelligens er
involveret eller ej, er det vigtigt at vurdere, om den kan håndhæves tilstrækkeligt for at imødegå de
risici, som systemer med kunstig intelligens medfører, eller om der er behov for tilpasninger af
specifikke retlige instrumenter.
For eksempel er økonomiske aktører fortsat fuldt ansvarlige for, at deres systemer med kunstig
intelligens overholder de eksisterende regler om forbrugerbeskyttelse. Enhver form for algoritmisk
udnyttelse af forbrugeradfærd i strid med de gældende regler er forbudt og straffes derefter.
Kommissionen er af den opfattelse, at lovrammen kan forbedres med henblik på at tage højde for
følgende risici og situationer:
Effektiv anvendelse og håndhævelse af eksisterende EU-lovgivning og national lovgivning: De
centrale egenskaber ved kunstig intelligens skaber udfordringer med hensyn til at sikre korrekt
anvendelse og håndhævelse af EU-lovgivning og national lovgivning. Den manglende
gennemsigtighed (ved uigennemsigtig kunstig intelligens) gør det vanskeligt at konstatere og
påvise mulige lovovertrædelser (herunder af retlige bestemmelser, der beskytter de
grundlæggende rettigheder), pålægge ansvar og opfylde betingelserne for at kræve erstatning.
For at sikre effektiv anvendelse og håndhævelse kan det derfor være nødvendigt at tilpasse
eller præcisere eksisterende lovgivning på visse områder, f.eks. om ansvar som nærmere
beskrevet i den rapport, der ledsager denne hvidbog.
Begrænsninger af anvendelsesområdet for eksisterende EU-lovgivning: Et væsentligt
fokusområde i EU's produktsikkerhedslovgivning er, når produkter bringes i omsætning. Når
software indgår i et endeligt produkt, skal det i henhold til EU's produktsikkerhedslovgivning
overholde de relevante produktsikkerhedsregler, men det er et åbent spørgsmål, om
enkeltstående software uden for visse sektorer med udtrykkelige regler45
er omfattet af EU's
produktsikkerhedslovgivning. EU's gældende generelle sikkerhedslovgivning finder
anvendelse på produkter og ikke på tjenesteydelser og derfor i princippet ikke på tjenester
baseret på kunstig intelligens (f.eks. sundhedstjenester, finansielle tjenester, transporttjenester).
Funktionsændringer i systemer med kunstig intelligens: Integration af software, herunder
kunstig intelligens, i produkter kan ændre funktionen af sådanne produkter og systemer i løbet
af deres livscyklus. Dette gælder især systemer, der kræver hyppige softwareopdateringer,
eller som bygger på maskinindlæring. Disse egenskaber kan give anledning til nye risici, som
ikke var til stede, da systemet i første omgang blev bragt i omsætning. Disse risici behandles
ikke i tilstrækkelig grad i den eksisterende lovgivning, som hovedsagelig fokuserer på de
sikkerhedsrisici, der er til stede på det tidspunkt, hvor systemet blev bragt i omsætning.
44
Direktiv (EU) 2019/882 om tilgængelighedskrav for produkter og tjenester.
45
F.eks. betragtes software, som af fabrikanten er beregnet til medicinske formål, som medicinsk udstyr i henhold til
forordningen om medicinsk udstyr (forordning (EU) 2017/745) .
16
Usikkerhed med hensyn til ansvarsfordelingen mellem forskellige økonomiske aktører i
forsyningskæden: I henhold til EU's produktsikkerhedslovgivning er det almindeligvis
producenten, der pålægges ansvaret for det produkt, der bringes i omsætning, herunder alle
dets komponenter såsom systemer med kunstig intelligens. Men reglerne kan f.eks. blive
uklare, hvis der tilføjes kunstig intelligens, efter produktet er blevet bragt i omsætning af en
anden part end producenten. Derudover fastsætter EU's produktansvarslovgivning
producenternes ansvar og overlader det til de nationale regler om erstatningsansvar at regulere
det ansvar, som andre i forsyningskæden har.
Ændringer af begrebet sikkerhed: Anvendelsen af kunstig intelligens i produkter og
tjenesteydelser kan give anledning til risici, som EU-lovgivningen på nuværende tidspunkt
ikke udtrykkeligt omhandler. Disse risici kan være forbundet med cybertrusler, risici for den
personlige sikkerhed (f.eks. i forbindelse med nye anvendelser af kunstig intelligens såsom i
husholdningsapparater), risici som følge af manglende forbindelse osv. Disse risici kan
forekomme på det tidspunktet, hvor et givent produkt blev bragt i omsætning, eller opstå som
følge af softwareopdateringer eller selvoplæring, når produktet anvendes. EU bør gøre fuld
brug af sine til rådighed stående redskaber for at øge sit evidensgrundlag for potentielle risici i
forbindelse med anvendelser af kunstig intelligens, herunder ved at udnytte erfaringerne fra
EU's Agentur for Cybersikkerhed (ENISA) til at vurdere trusselsbilledet vedrørende kunstig
intelligens.
Som tidligere nævnt er flere medlemsstater allerede i færd med at undersøge mulighederne for national
lovgivning for at imødegå udfordringerne forbundet med kunstig intelligens. Dette øger risikoen for, at
det indre marked fragmenteres. Forskelligartede nationale regler vil sandsynligvis skabe hindringer for
virksomheder, der ønsker at sælge og anvende systemer med kunstig intelligens i det indre marked. En
fælles tilgang på EU-plan vil give europæiske virksomheder uhindret adgang til det indre marked og
støtte deres konkurrenceevne på de globale markeder.
17
Rapport om de konsekvenser, som kunstig intelligens, tingenes internet og robotteknologi vil have for
sikkerhed og erstatningsansvar
I rapporten, der ledsager denne hvidbog, analyseres den relevante lovramme. Der konstateres usikkerhed med
hensyn til anvendelsen af denne ramme med hensyn til de specifikke risici, der er forbundet med systemer
med kunstig intelligens og andre digitale teknologier.
Det konkluderes, at den nuværende produktsikkerhedslovgivning allerede støtter et udvidet sikkerhedsbegreb,
der værner mod alle former for risici i forbindelse med produkters anvendelse. Der vil dog kunne indføres
bestemmelser, der udtrykkeligt omfatter nye risici i forbindelse med nye digitale teknologier, for at skabe
større retssikkerhed.
Visse systemer med kunstig intelligens kan i løbet af deres livscyklus udvise autonom adfærd, der
kan medføre vigtige produktændringer med indvirkning på sikkerheden, hvilket kan kræve en ny
risikovurdering. Desuden kan det være nødvendigt med en sikkerhedsforanstaltning i form af
menneskeligt tilsyn med produkter og systemer med kunstig intelligens lige fra produktets
udformning og frem gennem hele dets livscyklus.
Producenternes udtrykkelige forpligtelser kan også overvejes i forbindelse med mentale
sikkerhedsrisici for brugerne, når dette er hensigtsmæssigt (f.eks. samarbejde med menneskelignende
robotter).
EU's produktsikkerhedslovgivning kan udvides til at omfatte specifikke krav, der har til formål at
håndtere de sikkerhedsrisici, som følger af mangelfulde data i udformningsfasen, samt mekanismer
til at sikre, at datakvaliteten opretholdes i hele det tidsrum, hvor produkter og systemer med kunstig
intelligens anvendes.
Uigennemsigtigheden af systemer, der er baseret på algoritmer, kan afhjælpes med krav om
gennemsigtighed.
Eksisterende regler kan eventuelt tilpasses og præciseres i tilfælde, der påvirker sikkerheden i
forbindelse med enkeltstående software, der bringes i omsætning, eller software, der downloades til
et produkt, efter at dette er bragt i omsætning.
I betragtning af forsyningskædernes stigende kompleksitet, for så vidt angår nye teknologier, kan
retssikkerheden øges via bestemmelser, der specifikt omhandler samarbejde mellem
forsyningskædens økonomiske aktører og brugerne.
Egenskaberne ved nye digitale teknologier såsom kunstig intelligens, tingenes internet og robotteknologi kan
skabe udfordringer for forskellige aspekter af rammerne for erstatningsansvar og har potentialet til at mindske
deres effektivitet. Nogle af disse egenskaber kan gøre det svært at koble skaden til en person, hvilket er
påkrævet med henblik på culpa-baserede krav i henhold til de fleste nationale lovgivninger. Dette kan øge
skadelidtes omkostninger betydeligt og medføre, at erstatningskrav mod andre end producenter kan være
vanskelige at fremføre eller bevise.
Personer, der har lidt skade som følge af inddragelsen af systemer med kunstig intelligens, skal have
samme beskyttelsesniveau som personer, der har lidt skade som følge af andre teknologier, mens den
teknologiske innovation fortsat bør have mulighed for at udvikle sig.
Samtlige muligheder for at nå dette mål bør vurderes nøje, herunder mulige ændringer af
produktansvarsdirektivet og eventuel yderligere målrettet harmonisering af nationale regler om
erstatningsansvar. Kommissionen er f.eks. interesseret i synspunkter angående hvor vidt og i hvilket
omfang det kan blive nødvendigt at afbøde konsekvenserne af kompleksitet ved at tilpasse den
bevisbyrde, der kræves i henhold til nationale regler om erstatningsansvar i forbindelse med skader
forårsaget af anvendelse af kunstig intelligens.
18
På grundlag af ovenstående overvejelser konkluderer Kommissionen, at der ud over eventuelle
tilpasninger af eksisterende lovgivning kan være behov for en ny lovgivning, der specifikt vedrører
kunstig intelligens, for at tilpasse EU's lovramme til den aktuelle og forventede teknologiske og
kommercielle udvikling.
C. ANVENDELSESOMRÅDE FOR EN FREMTIDIG EU-LOVGIVNINGSRAMME
Et centralt spørgsmål i forbindelse med den fremtidige specifikke lovramme for kunstig intelligens er
at fastlægge anvendelsesområdet. Det er en arbejdshypotese, at lovrammen vil gælde for produkter og
tjenester, der er afhængige af kunstig intelligens. Kunstig intelligens bør derfor defineres klart i denne
hvidbog og i ethvert fremtidigt initiativ med henblik på fastsættelse af politikken på området.
Kommissionen gav i sin meddelelse om kunstig intelligens for Europa en første definition af kunstig
intelligens46
. Denne definition blev yderligere præciseret af ekspertgruppen på højt niveau47
.
I ethvert nyt retligt instrument skal definitionen af kunstig intelligens være tilstrækkelig fleksibel til, at
den kan tage hensyn til den tekniske udvikling, samtidig med at den er tilstrækkelig præcis til at
tilvejebringe den nødvendige retssikkerhed.
I forbindelse med denne hvidbog og
eventuelle fremtidige drøftelser vedrørende
politiktiltag synes det vigtigt at skabe
klarhed om hovedbestanddelene i kunstig
intelligens, som er "data" og "algoritmer".
Kunstig intelligens kan integreres i
hardware. Hvad angår
maskinlæringsteknikker, som er en form
for kunstig intelligens, oplæres algoritmer
til at udlede visse mønstre på grundlag af
et datasæt med henblik på at fastlægge,
hvilke handlinger der kræves for at nå et bestemt mål. Algoritmer kan fortsætte med at lære, når de
anvendes. Mens produkter baseret på kunstig intelligens kan handle selvstændigt ved at observere
deres miljø og uden at følge et på forhånd fastlagt sæt instrukser, defineres og begrænses deres adfærd
i vid udstrækning af produktudviklerne. Mennesker fastlægger og programmerer de mål, som et
system baseret på kunstig intelligens bør optimeres til at nå.
EU har indført en streng retlig ramme, der bl.a. skal sikre forbrugerbeskyttelse, bekæmpe urimelig
handelspraksis og beskytte personoplysninger og privatlivets fred. Desuden indeholder EU-retten
særlige regler for visse sektorer (f.eks. sundhedspleje og transport). Disse eksisterende bestemmelser i
EU-retten vil fortsat gælde for kunstig intelligens, selv om visse ajourføringer af denne ramme kan
46
COM(2018) 237 final, s. 1: "Med kunstig intelligens menes der systemer, der udviser intelligent adfærd ved at analysere
omgivelserne og handle — med en vis grad af autonomi — for at opnå specifikke mål.
AI-systemer kan være rent softwarebaserede og agere i den virtuelle verden (f.eks. taleassistenter,
billedanalyseprogrammer, søgemaskiner, tale- og ansigtsgenkendelsessystemer), eller AI kan indlejres i hardwareudstyr
(f.eks. avancerede robotter, autonome biler, droner eller applikationer til tingenes internet)".
47
Ekspertgruppen på højt niveau, En definition af AI, s. 8: "AI-systemer er softwaresystemer (og evt. også
hardwaresystemer), der er designet af mennesker, som ud fra et komplekst mål fungerer i den fysiske eller digitale dimension,
hvor de opfatter deres miljø ved at indhente data, fortolker de indsamlede strukturerede eller ustrukturerede data, ræsonnerer
ud fra forholdene eller behandler de oplysninger, der er udledt af disse data, og vælger den handling, der bedst kan opfylde
det angivne mål. AI-systemer kan enten bruge symbolske regler eller lære en numerisk model, og de kan tilpasse deres
adfærd ved at analysere, hvordan miljøet blev påvirket af deres tidligere handlinger."
Ved autonom kørsel f.eks. anvender algoritmen i realtid
dataene fra bilen (hastighed, motorforbrug, støddæmpere
osv.) og fra sensorerne, der scanner alle bilens omgivelser
(vej, skilte, andre køretøjer, fodgængere osv.), for deraf at
udlede, hvilken retning, acceleration og hastighed bilen
skal have for at nå en bestemt destination. På grundlag af
de observerede data tilpasser algoritmen sig til
køreforholdene og de omkringliggende forhold, herunder
andre chaufførers adfærd, med henblik på deraf at udlede
den mest komfortable og sikre kørsel.
19
være nødvendige for at tage hensyn til den digitale omstilling og anvendelsen af kunstig intelligens (se
afsnit B). Som følge heraf vil aspekter, der allerede er omfattet af eksisterende horisontal eller
sektorspecifik lovgivning (f.eks. om medicinsk udstyr48
og transportsystemer), fortsat være omfattet af
denne lovgivning.
Principielt bør den nye lovramme for kunstig intelligens effektivt kunne nå sine mål uden at være alt
for præskriptiv, så den kan medføre en uforholdsmæssig stor byrde, især for SMV'er. For at nå den
rette balance er Kommissionen af den opfattelse, at den bør følge en risikobaseret tilgang.
En risikobaseret tilgang er vigtig for at sikre, at reguleringen står i et rimeligt forhold til målet. Det
forudsætter imidlertid klare kriterier at skelne mellem de forskellige anvendelser af kunstig intelligens,
navnlig med hensyn til spørgsmålet om, hvorvidt de indebærer "høj risiko"49
. Fastlæggelsen af,
hvornår en anvendelse indebærer høj risiko, bør være tydelig og let forståelig og kunne anvendes af
alle berørte parter. Selv hvis en anvendelse af kunstig intelligens ikke karakteriseres som indebærende
høj risiko, er den ikke desto mindre fuldt ud underlagt gældende EU-regler.
Kommissionen er af den opfattelse, at vurderingen af, om en given anvendelse af kunstig intelligens
bør betragtes som indebærende høj risiko, afhænger af, hvad der er på spil, under hensyntagen til om
både sektoren og den tiltænkte anvendelse indebærer betydelige risici, navnlig med hensyn til
beskyttelse af sikkerhed, forbrugerrettigheder og grundlæggende rettigheder. Mere specifikt bør en
anvendelse af kunstig intelligens betragtes som indebærende en høj risiko, hvis den opfylder følgende
to kumulative kriterier:
For det første at anvendelsen af kunstig intelligens finder sted i en sektor, hvor der på grund af
de typiske aktiviteters karakteristika kan forventes betydelige risici. Dette første kriterium
sikrer, at reguleringsindsatsen målrettes de områder, hvor risici generelt betragtes som
havende størst sandsynlighed for at opstå. De omfattede sektorer bør være specifikt og
udtømmende opført i den nye lovramme. F.eks. sundhedspleje, transport, energi og dele af den
offentlige sektor50
. Listen bør revideres regelmæssigt og ændres, hvor det er nødvendigt,
afhængigt af den relevante udvikling i praksis.
For det andet at anvendelsen af kunstig intelligens i den pågældende sektor desuden finder
sted på en sådan måde, at der sandsynligvis vil opstå betydelige risici. Dette andet kriterium
afspejler en erkendelse af, at det ikke er enhver anvendelse af kunstig intelligens i de udvalgte
sektorer, der nødvendigvis indebærer betydelige risici. Selv om sundhedspleje generelt godt
kan være en relevant sektor, vil en fejl i tidsbestillingssystemet på et hospital normalt ikke
indebære risici af en sådan betydning, at et lovgivningsmæssigt indgreb er berettiget.
Vurderingen af risikoniveauet for en given anvendelse kan baseres på konsekvenserne for de
berørte parter. F.eks. anvendelser af kunstig intelligens, der medfører juridiske eller
tilsvarende væsentlige virkninger for en persons eller et selskabs rettigheder, der udgør en
risiko for personskade, død eller væsentlig materiel eller immateriel skade, eller som har
virkninger, der ikke med rimelighed kan undgås af fysiske eller juridiske personer.
48
F.eks. er der forskellige overvejelser om sikkerhed og retlige konsekvenser vedrørende systemer baseret på kunstig
intelligens, der benyttes til indsamling af specialiserede sundhedsoplysninger til læger, ligesom der er systemer, der benyttes
til indsamling af sundhedsoplysninger direkte til patienten, eller som selv udfører lægelige opgaver direkte på patienter.
Kommissionen er i færd med at undersøge disse udfordringer vedrørende sikkerhed og ansvar, som er særlige for
sundhedsområdet.
49
I EU-lovgivningen kan "risici" være kategoriseret på en anden måde end den her beskrevne, alt efter hvilket område der er
tale om, f.eks. produktsikkerhed.
50
Den offentlige sektor kan omfatte områder som asyl, migration, grænsekontrol og retsvæsen, social sikring og
arbejdsformidling.
20
Anvendelsen af de to kumulative kriterier vil sikre, at anvendelsesområdet for lovrammerne er
målrettet og giver retssikkerhed. De obligatoriske krav i de nye rammebestemmelser for kunstig
intelligens (se afsnit D) vil i princippet kun gælde for de anvendelser, der er identificeret som
indebærende høj risiko, i overensstemmelse med disse to kumulative kriterier.
Uanset ovenstående kan der også være helt særlige tilfælde, hvor anvendelsen af kunstig intelligens til
visse formål på grund af de risici, der er tale om, i sig selv skal betragtes som indebærende høj risiko
— dvs., uanset hvilken sektor der er tale om, og hvor nedenstående krav stadig vil være gældende51
.
Som eksempel kan navnlig nævnes følgende:
I betragtning af dens betydning for enkeltpersoner og gældende EU-ret vedrørende
ligebehandling på beskæftigelsesområdet vil brugen af kunstig intelligens i forbindelse med
ansættelsesprocedurer og i situationer, der påvirker arbejdstagernes rettigheder, altid blive
betragtet som indebærende høj risiko, og derfor vil nedenstående krav til enhver tid finde
anvendelse. Yderligere specifikke anvendelser, der påvirker forbrugernes rettigheder, kan
overvejes.
Anvendelser af kunstig intelligens til biometrisk fjernidentificering52
og andre indgribende
overvågningsteknologier vil altid blive betragtet som indebærende "høj risiko", og derfor vil
nedenstående krav altid gælde.
D. TYPER AF KRAV
Ved udformningen af den fremtidige lovramme for kunstig intelligens vil det være nødvendigt at
træffe afgørelse om, hvilke typer obligatoriske lovkrav der skal pålægges de relevante aktører. Disse
krav kan præciseres nærmere ved hjælp af standarder. Som anført i afsnit C og ud over allerede
eksisterende lovgivning vil disse krav kun finde anvendelse på anvendelser af kunstig intelligens
indebærende høj risiko, og således sikres det, at regulerende indgreb er målrettede og står i et rimeligt
forhold til målet.
Under hensyntagen til retningslinjerne fra ekspertgruppen på højt plan, og hvad der er blevet redegjort
for i det foregående, kan kravene til anvendelser af kunstig intelligens indebærende høj risiko bestå af
følgende centrale elementer, som behandles nærmere i nedenstående underafsnit:
oplæringsdata
data og registrering
oplysninger, der skal udleveres
robusthed og nøjagtighed
menneskeligt tilsyn
specifikke krav til visse særlige anvendelser af kunstig intelligens, såsom dem, der bruges til
biometrisk fjernidentificering.
51
Det er vigtigt at understrege, at andre EU-retsakter også kan finde anvendelse. Når en anvendelse af kunstig intelligens
f.eks. indgår i et forbrugerprodukt, kan direktivet om produktsikkerhed finde anvendelse på denne anvendelses sikkerhed.
52
Der bør skelnes mellem biometrisk fjernidentificering og biometrisk autentificering (sidstnævnte er en sikkerhedsproces,
der med udgangspunkt i en persons unikke biologiske karakteristika benyttes til at kontrollere, at vedkommende er den,
vedkommende siger at være). Biometrisk fjernidentificering består i at flere personer på afstand identificeres ved hjælp af
biometriske identifikatorer (fingeraftryk, ansigtsbillede, iris, åremønstre osv.), i et offentligt rum og kontinuerligt eller
løbende ved at sammenligne de indsamlede data med data lagret i en database.
21
For at sikre retssikkerheden vil disse krav blive yderligere præciseret, så de er klare for alle de aktører,
der skal leve op til dem.
a) Oplæringsdata
Det er vigtigere end nogensinde at fremme, styrke og forsvare EU's værdier og regler og navnlig de
rettigheder, som borgerne har i henhold til EU-retten. Disse bestræbelser omfatter utvivlsomt også de
anvendelser af kunstig intelligens, der indebærer høj risiko, som markedsføres og anvendes i EU, og
som er omhandlet i dette dokument.
Som fremhævet ovenfor er der ingen kunstig intelligens uden data. Funktionsmåden for mange
systemer, der bygger på kunstig intelligens, og de handlinger og beslutninger, som de kan medføre,
afhænger i høj grad af de datasæt, som systemerne er blevet oplært ved hjælp af. Der bør derfor træffes
de nødvendige foranstaltninger for at sikre, at de data, der anvendes til at oplære systemer, der bygger
på kunstig intelligens, lever op til og overholder EU's værdier og regler, navnlig med hensyn til
sikkerhed og eksisterende lovgivningsmæssige bestemmelser om beskyttelse af grundlæggende
rettigheder. Man kunne forestille sig følgende krav til de datasæt, der anvendes til oplæring af
systemer, der bygger på kunstig intelligens:
Krav, der har til formål at give rimelig sikkerhed for, at den efterfølgende anvendelse af de
produkter eller tjenester, som systemet, der bygger på kunstig intelligens, muliggør, er sikker,
idet den lever op til de standarder, der er fastsat i de gældende EU-regler om sikkerhed
(eksisterende og eventuelle supplerende regler). F.eks. krav, der sikrer, at systemer, der bygger
på kunstig intelligens, er oplært ved brug af datasæt, der er tilstrækkeligt favnende og omfatter
alle relevante scenarier, der er nødvendige for at undgå farlige situationer.
Krav om at træffe rimelige foranstaltninger med henblik på at sikre, at en sådan efterfølgende
anvendelse af systemer, der bygger på kunstig intelligens, ikke medfører forbudt
forskelsbehandling. Disse krav kan navnlig medføre forpligtelser til at anvende datasæt, der er
tilstrækkeligt repræsentative, navnlig til at sikre, at alle relevante aspekter af køn, etnisk
oprindelse og andre mulige grunde til forbudt forskelsbehandling afspejles på passende vis i
disse datasæt.
Krav, der har til formål at sikre, at privatlivets fred og personoplysninger beskyttes på
passende vis under brugen af produkter og tjenester, der kan benytte kunstig intelligens.
Forhold, der falder ind under anvendelsesområdet for henholdsvis den generelle forordning
om databeskyttelse og retshåndhævelsesdirektivet, reguleres efter disse.
b) Registrering og data
Grundet bl.a. kompleksiteten og uigennemsigtigheden af mange systemer, der bygger på kunstig
intelligens, og de dertil knyttede problemer, der kan være med effektivt at kontrollere overholdelsen
og håndhævelsen af gældende regler, er der behov for krav vedrørende registrering i forbindelse med
programmeringen af algoritmen, de data, der anvendes til at oplære systemer, der bygger på kunstig
intelligens, og som indebærer høj risiko, og i visse tilfælde selve opbevaringen af data. Disse krav gør
det samlet set muligt at spore og kontrollere potentielt problematiske tiltag eller beslutninger foretaget
af systemer, der bygger på kunstig intelligens. Dette bør ikke kun lette tilsyn og håndhævelse; det kan
også øge incitamentet for de berørte økonomiske aktører til på et tidligt tidspunkt at tage hensyn til
behovet for at overholde disse regler.
Med henblik herpå kunne lovrammen indeholde bestemmelser om, at følgende skal bevares:
22
nøjagtige optegnelser om de datasæt, der anvendes til at oplære og teste systemer, der bygger
på kunstig intelligens, herunder en beskrivelse af de væsentlige karakteristika og af, hvordan
datasættet er udvalgt
i visse begrundede tilfælde selve datasættene
Dokumentation for programmerings53
- og uddannelsesmetoder, processer og teknikker, der
anvendes til at opbygge, teste og validere systemerne, der bygger på kunstig intelligens,
herunder i givet fald for så vidt angår sikkerhed og undgåelse af forudindtagethed, der kan
medføre forbudt forskelsbehandling.
Optegnelserne, dokumentationen og, hvor det er relevant, datasættene skal opbevares i et begrænset,
rimeligt tidsrum for at sikre effektiv håndhævelse af den relevante lovgivning. Der bør træffes
foranstaltninger for at sikre, at de stilles til rådighed efter anmodning, navnlig med henblik på test eller
inspektion foretaget af de kompetente myndigheder. Om nødvendigt bør der træffes foranstaltninger til
at sikre, at fortrolige oplysninger såsom forretningshemmeligheder beskyttes.
c) Udlevering af oplysninger
Der kræves gennemsigtighed, også ud over de registreringskrav, der behandles i punkt c) ovenfor. For
at nå de efterstræbte mål – navnlig fremme af en ansvarlig anvendelse af kunstig intelligens,
tillidsopbygning og lettet klageadgang, hvor det er nødvendigt – er det vigtigt, at der på en proaktiv
måde gives fyldestgørende oplysninger om brugen af systemer, der bygger på kunstig intelligens, som
indebærer høj risiko.
Derfor kunne følgende krav overvejes:
Sikre klare oplysninger om systemet, der bygger på kunstig intelligens, hvad angår dets
muligheder og begrænsninger, navnlig det formål, som det er beregnet til, de betingelser,
under hvilke de kan forventes at fungere efter hensigten, og den forventede nøjagtighed med
hensyn til det angivne formål. Disse oplysninger er især vigtige for dem, der udbreder
systemerne, men kan også være relevante for kompetente myndigheder og berørte parter.
Borgerne bør særskilt informeres tydeligt, når de interagerer med et system, der bygger på
kunstig intelligens, og ikke et menneske. Selv om EU's databeskyttelseslovgivning allerede
indeholder visse regler af denne art54
, kan der være behov for yderligere krav for at nå
ovennævnte mål. Unødvendige byrder bør i så fald undgås. Derfor er det f.eks. ikke
nødvendigt at give sådanne oplysninger i situationer, hvor det umiddelbart er indlysende for
borgerne, at de interagerer med systemer, der bygger på kunstig intelligens. Det er desuden
vigtigt, at oplysningerne er objektive, kortfattede og let forståelige. Den måde, hvorpå
oplysningerne skal gives, bør tilpasses den specifikke situation.
d) Robusthed og nøjagtighed
Systemer, der bygger på kunstig intelligens, skal være teknisk robuste og nøjagtige for at være
pålidelige, og dette gælder afgjort anvendelser af kunstig intelligens indebærende høj risiko. Det
53
F.eks. dokumentation vedrørende algoritmen, herunder om modellens optimeringsmål, hvilke vægte der som udgangspunkt
er udformet til visse parametre osv.
54
De dataansvarlige skal i medfør af artikel 13, stk. 2, litra f), i GDPR på det tidspunkt, hvor personoplysningerne indhentes,
give de registrerede yderligere oplysninger, der er nødvendige for at sikre en retfærdig og gennemsigtig behandling, om
eventuel automatiseret beslutningstagning og visse yderligere oplysninger.
23
betyder, at sådanne systemer skal udvikles på en ansvarlig måde og under forudgående behørig
hensyntagen til de risici, de kan medføre. Deres udvikling og funktion skal være af en sådan art, at der
er sikkerhed for, at systemer, der bygger på kunstig intelligens, fungerer pålideligt efter hensigten. Der
bør træffes alle rimelige foranstaltninger for at minimere risikoen for, at der forvoldes skade.
Derfor kunne følgende forhold overvejes:
Krav, der sikrer, at systemer, der bygger på kunstig intelligens, er robuste og nøjagtige eller i
det mindste korrekt viser deres nøjagtighedsgrad i alle faser af livscyklussen
Krav, der sikrer, at resultaterne er reproducerbare
Krav, der sikrer, at systemer, der bygger på kunstig intelligens, på passende vis kan håndtere
fejl eller uoverensstemmelser i alle faser af livscyklussen.
Krav, der sikrer, at systemer, der bygger på kunstig intelligens, er modstandsdygtige over for
både åbenlyse angreb og mere subtile forsøg på at manipulere de enkelte data eller algoritmer,
og at der træffes afhjælpende foranstaltninger i sådanne tilfælde.
e) Menneskeligt tilsyn
Menneskeligt tilsyn hjælper med at sikre, at et system, der bygger på kunstig intelligens, ikke
undergraver menneskers autonomi eller har andre negative virkninger. Målet om pålidelig, etisk og
menneskecentreret kunstig intelligens kan kun nås ved at sikre en passende inddragelse af mennesker i
forbindelse med anvendelser af kunstig intelligens indebærende høj risiko.
Selv om alle de anvendelser af kunstig intelligens, der omhandles i denne hvidbog med henblik på en
særlig retlig ordning, anses for at indebære høj risiko, kan den passende type og grad af menneskeligt
tilsyn variere fra sag til sag. Den afhænger navnlig af den påtænkte anvendelse af systemerne og af de
virkninger, som anvendelsen kan have for berørte borgere og juridiske enheder. Den berører heller
ikke de juridiske rettigheder, der er fastsat i GDPR, når systemet, der bygger på kunstig intelligens,
behandler personoplysninger. F.eks. kan menneskeligt tilsyn foregå på følgende ikke-udtømmende
måder:
De resultater, som systemet, der bygger på kunstig intelligens, genererer, bruges ikke,
medmindre de forudgående er blevet gennemset og valideret af et menneske (f.eks. kan en
beslutning om afslag på en ansøgning om social sikring kun træffes af et menneske)
De resultater, som systemet, der bygger på kunstig intelligens, genererer, bruges umiddelbart,
men der sikres efterfølgende menneskelig indgriben (f.eks. kan et system, der bygger på
kunstig intelligens, generere et afslag på en ansøgning om et kreditkort, men det skal være
muligt, at et menneske efterfølgende gennemgår beslutningen)
Overvågning af systemet, der bygger på kunstig intelligens, mens det er i drift, og evnen til at
gribe ind i realtid og deaktivere (f.eks. findes der en stopknap eller -procedure i en førerløs bil,
når et menneske afgør, at bilens kørsel ikke er sikker)
I designfasen ved at indføre operationelle begrænsninger for systemet, der bygger på kunstig
intelligens (f.eks. skal en førerløs bil standse under visse forhold med lav sigtbarhed, når
24
sensorerne være mindre pålidelige, eller til enhver tid opretholde en vis afstand fra det foran
kørende køretøj).
f) Særlige krav vedrørende biometrisk fjernidentificering
Indsamling og brug af biometriske data55
til biometrisk fjernidentificering56
, f.eks. gennem udbredelse
af ansigtsgenkendelse i det offentlige rum, medfører særlige risici, hvad angår grundlæggende
rettigheder 57
. Konsekvenserne for fundamentale rettigheder af at bruge systemer til biometrisk
fjernidentificering, der bygger på kunstig intelligens, kan variere betydeligt afhængigt af formålet,
konteksten og brugens omfang.
EU's databeskyttelsesregler indeholder i princippet forbud mod behandling af biometriske data med
det formål entydigt at identificere en fysisk person, undtagen på særlige betingelser58
. Nærmere
bestemt kan en sådan behandling i henhold til GDPR kun finde sted med henvisning til et begrænset
antal grunde, hvoraf den vigtigste er hensynet til væsentlige samfundsinteresser. Foreligger en sådan
situation, skal behandlingen finde sted på grundlag af EU-retten eller national ret, under forbehold af
kravene om proportionalitet, respekt for det væsentligste indhold af retten til databeskyttelse og
passende sikkerhedsforanstaltninger. Efter retshåndhævelsesdirektivet skal der være forhold, der gør
det strengt nødvendigt med en sådan behandling, i princippet en tilladelse i henhold til EU-retten eller
national ret samt passende sikkerhedsforanstaltninger. Da behandling af biometriske data med det
formål entydigt at identificere en fysisk person falder ind under en undtagelse fra et forbud i EU-retten,
er den omfattet af EU's charter om grundlæggende rettigheder.
Det følger heraf, at kunstig intelligens i overensstemmelse med EU's nuværende databeskyttelsesregler
og chartret om grundlæggende rettigheder kun kan anvendes til biometrisk fjernidentificering, hvis en
sådan anvendelse er behørigt begrundet, står i et rimeligt forhold til formålet og er omfattet af
passende sikkerhedsforanstaltninger.
For at imødegå eventuelle samfundsmæssige betænkeligheder i forbindelse med anvendelsen af
kunstig intelligens til sådanne formål på offentlige steder og for at undgå fragmentering af det indre
marked vil Kommissionen lancere en bred europæisk debat om eventuelle særlige omstændigheder,
der kan berettige en sådan anvendelse, og om fælles sikkerhedsforanstaltninger.
55
Biometriske data defineres som "personoplysninger, der som følge af specifik teknisk behandling vedrørende en fysisk
persons fysiske, fysiologiske eller adfærdsmæssige karakteristika muliggør eller bekræfter en entydig identifikation af
vedkommende, f.eks. ansigtsbillede eller fingeraftryksoplysninger."
(Retshåndhævelsesdirektivet, artikel 3, stk. 13, GDPR, artikel 4, stk. 14, forordning (EU) 2018/1725, artikel 3, stk. 18).
56
I forbindelse med ansigtsgenkendelse forstås der ved identificering, at skabelonen for en persons ansigtsbillede
sammenlignes med mange andre skabeloner, der er lagret i en database, for at finde ud af, om vedkommendes billede er
Lagret dér. Autentificering (eller verifikation) omtales derimod ofte som én-til-én-matchning.
Den gør det muligt at sammenligne to biometriske skabeloner, der normalt antages at høre til samme person.
Der foretages en sammenligning af to biometriske skabeloner for at fastslå, om den person, der vises på de to billeder, er den
samme person. En sådan fremgangsmåde benyttes f.eks. ved automatiserede grænsekontrolposter til grænsekontrol i
lufthavne.
57
F.eks. med hensyn til menneskers værdighed. Tilsvarende står retten til respekt for privatliv og beskyttelse af
personoplysninger centralt i bekymringerne for de grundlæggende rettigheder i forbindelse med
ansigtsgenkendelsesteknologi. Ikke-diskrimination og rettighederne for særlige grupper, såsom børn, ældre og personer med
handicap, kan potentielt også blive påvirket. Desuden må ytrings-, forenings- og forsamlingsfriheden ikke undermineres af
brugen af teknologi. Se Facial recognition technology: fundamental rights considerations in the context of law enforcement
(Ansigtsgenkendelsesteknologi: fundamentale rettigheder i retshåndhævelsessammenhæng),
https://fra.europa.eu/en/publication/2019/facial-recognition.
58
Artikel 9 i GDPR, artikel 10 i retshåndhævelsesdirektivet. Se også artikel 10 i forordning (EU) 2018/1725 (gælder for EU's
institutioner og organer ).
25
E. HVEM ER OMFATTET?
Med hensyn til de aktører, der vil være omfattet af de retlige krav, der skal gælde i forbindelse med de
ovennævnte anvendelser af kunstig intelligens, der indebærer høj risiko, er der to vigtige spørgsmål,
der skal behandles.
For det første er der spørgsmålet om, hvordan forpligtelserne skal fordeles mellem de berørte
økonomiske aktører. Der er mange aktører involveret i et livscyklussen for et system, der bygger på
kunstig intelligens. Disse omfatter udvikleren, udbrederen (den person, der bruger et produkt eller en
tjenesteydelse, der er udstyret med kunstig intelligens) og potentielt andre (producent, distributør eller
importør, tjenesteyder, professionel eller privat bruger).
Kommissionen er af den holdning, at hver forpligtelse i en fremtidig lovramme bør pålægges den eller
de aktører, der er bedst i stand til at imødegå potentielle risici. F.eks. kan udviklere af kunstig
intelligens være bedst placeret til at håndtere risici i udviklingsfasen, men deres evne til at kontrollere
risici i brugsfasen kan være mere begrænset. I så fald bør udbrederen være omfattet af den relevante
forpligtelse. Dette berører ikke spørgsmålet om, hvad enten det angår ansvar over for slutbrugere eller
andre parter, der lider skade, og for at sikre effektiv adgang til domstolene, hvilken part der skal være
ansvarlig for eventuelle skader. I henhold til EU's bestemmelser om produktansvar gives producenten
ansvar for defekte produkter, med mindre andet er fastsat i nationale love, som også kan give
mulighed for inddrivelse hos andre parter.
For det andet er der spørgsmålet om det geografiske anvendelsesområde af den lovgivningsmæssige
indgriben. Efter Kommissionens opfattelse er det af afgørende betydning, at kravene finder anvendelse
på alle relevante økonomiske aktører, der leverer produkter eller tjenesteydelser, som kan benytte
kunstig intelligens, i EU, uanset om de er etableret i EU eller ej. Ellers kan målene med den tidligere
nævnte lovgivningsmæssige indgriben ikke opfyldes fuldt ud.
F. OVERHOLDELSE OG HÅNDHÆVELSE
For at sikre, at kunstig intelligens er pålidelig, sikker og i overensstemmelse med europæiske værdier
og regler, skal de gældende lovkrav overholdes i praksis og håndhæves effektivt af både de
kompetente nationale og europæiske myndigheder og de berørte parter. De kompetente myndigheder
bør være i stand til at undersøge individuelle sager, men også til at vurdere indvirkningen på
samfundet.
I betragtning af den høje risiko, som visse anvendelser af kunstig intelligens indebærer for borgerne og
vores samfund (se afsnit A), finder Kommissionen på nuværende tidspunkt, at det er nødvendigt at
foretage en objektiv, forudgående overensstemmelsesvurdering for at kontrollere og sikre, at visse af
de ovennævnte obligatoriske krav til anvendelser, der indebærer høj risiko (se afsnit D),
overholdes. Den forudgående overensstemmelsesvurdering kunne omfatte procedurer for testning,
inspektion eller certificering59
. Den kunne omfatte kontrol af algoritmerne og af de datasæt, der
anvendes i udviklingsfasen.
Overensstemmelsesvurderinger for anvendelser af kunstig intelligens, der indebærer høj risiko, bør
indgå i de overensstemmelsesvurderingsmekanismer, der allerede findes for et stort antal produkter,
der bringes i omsætning på EU's indre marked. Hvis ingen sådanne eksisterende mekanismer kan
59
Systemet ville skulle baseres på overensstemmelsesvurderingsprocedurer i EU, se afgørelse 768/2008/EF eller forordning
(EU) 2019/881 (forordningen om cybersikkerhed) under hensyntagen til de særlige forhold, der gør sig gældende for
kunstig intelligens. Se den blå vejledning om gennemførelsen af EU's produktregler fra 2014.
26
benyttes, kan det være nødvendigt at indføre lignende mekanismer på grundlag af bedste praksis og
eventuelle bidrag fra interessenter og europæiske standardiseringsorganisationer. En sådan ny
mekanisme bør stå i et rimeligt forhold til målet og være ikke-diskriminerende og gøre brug af
gennemsigtige og objektive kriterier i overensstemmelse med internationale forpligtelser.
Ved udformningen og gennemførelsen af et system, der bygger på forudgående
overensstemmelsesvurdering, bør der navnlig tages hensyn til følgende:
Alle de krav, der er beskrevet ovenfor, er ikke nødvendigvis egnede til verificering ved en
forudgående overensstemmelsesvurdering. F.eks. er kravet om, at oplysninger skal stilles til
rådighed, generelt ikke godt egnet til verificering ved en sådan vurdering.
Der bør tages særligt hensyn til muligheden for, at visse systemer, der bygger på kunstig
intelligens, udvikler sig og lærer af erfaringer, hvilket kan medføre, at det er nødvendigt at
gentage vurderingen i de pågældende systemers levetid.
Behovet for at kontrollere de data, der anvendes til oplæring, og de relevante programmerings-
og oplæringsmetoder, processer og teknikker, der anvendes til at opbygge, teste og validere
systemer, der bygger på kunstig intelligens.
Hvis overensstemmelsesvurderingen viser, at et system, der bygger på kunstig intelligens, ikke
opfylder kravene til f.eks. de data, der anvendes til at oplære det, skal de konstaterede mangler
afhjælpes, f.eks. ved at genoplære systemet i EU på en sådan måde, at det sikres, at alle
gældende krav opfyldes.
Overensstemmelsesvurderingerne vil være obligatoriske for alle økonomiske aktører, der er omfattet
af kravene, uanset hvor de er etableret60
. For at begrænse byrden for SMV'er kan det overvejes at
etablere en støttestruktur, herunder gennem digitale innovationsknudepunkter. Desuden kan standarder
og særlige onlineværktøjer fremme overholdelsen.
Enhver forudgående overensstemmelsesvurdering bør ikke berøre de kompetente nationale
myndigheders overholdelse af overvågningsforpligtelser og efterfølgende håndhævelse. Dette gælder
for anvendelser af kunstig intelligens, der indebærer høj risiko, men også for andre anvendelser af
kunstig intelligens, der er underlagt lovkrav, også selv om den høje risiko, som de pågældende
anvendelser måtte indebære, kan være årsag for de kompetente nationale myndigheder til i særlig grad
at være opmærksomme på de førstnævnte. Det bør være muligt at gennemføre efterfølgende kontrol
ved hjælp af passende dokumentation vedrørende den relevante anvendelse af kunstig intelligens (se
afsnit E) og, hvor det er relevant, bør det være muligt for tredjeparter såsom kompetente myndigheder
at teste sådanne anvendelser. Dette kan især være vigtigt, hvis der opstår risici for grundlæggende
rettigheder, som er kontekstafhængige. En sådan overvågning af overholdelsen bør indgå i en
kontinuerlig markedsovervågningsordning. Forvaltningsrelaterede aspekter behandles yderligere i
afsnit H.
Desuden bør der sikres en effektiv domstolsprøvelse for parter, der påvirkes negativt, både for
anvendelser, der indebærer høj risiko, og for andre anvendelser af kunstig intelligens. Spørgsmål
vedrørende ansvar drøftes yderligere i rapporten om rammerne for sikkerhed og ansvar, der ledsager
denne hvidbog.
60
Hvad angår den relevante forvaltningsstruktur, herunder organer til udførelse af overensstemmelsesvurderingerne, se afsnit
H.
27
G. FRIVILLIG MÆRKNING AF ANVENDELSER AF KUNSTIG INTELLIGENS, DER IKKE INDEBÆRER HØJ
RISIKO
For anvendelser af kunstig intelligens, der ikke kan betegnes som indebærende høj risiko (se afsnit C),
og som derfor ikke er omfattet af de ovenfor omhandlede obligatoriske krav (se afsnit D, E og F), vil
en valgmulighed ud over den gældende lovgivning være at indføre en frivillig mærkningsordning.
Under ordningen kunne interesserede økonomiske aktører, der ikke er omfattet af de obligatoriske
krav, beslutte på frivillig basis enten at underkaste sig disse krav eller et specifikt sæt af lignende krav,
der er fastsat med særligt henblik på den frivillige ordning. De berørte økonomiske operatører ville så
blive tildelt et kvalitetsmærke for deres anvendelser, der bygger på kunstig intelligens.
Den frivillige mærkning ville gøre det muligt for de berørte økonomiske aktører at signalere, at deres
produkter og tjenester, der kan benytte kunstig intelligens, er pålidelige. En sådan ordning ville gøre
det let for brugerne at se, at de pågældende produkter og tjenester er i overensstemmelse med bestemte
mål og standardiserede EU-dækkende benchmarks, der går ud over de normalt gældende retlige
forpligtelser. Dette ville bidrage til at øge brugernes tillid til AI-systemer og fremme den generelle
udbredelse af teknologien.
Til brug for mærkningsordningen ville der skulle skabes et nyt retligt instrument, hvori rammerne for
den frivillige mærkning af systemer, der bygger på kunstig intelligens, som ikke indebærer høj risiko,
ville skulle fastlægges for systemernes udviklere og/eller udbredere. Mens det ville være frivilligt at
deltage i mærkningsordningen, ville kravene være bindende, når udvikleren eller udbrederen først har
valgt at anvende mærket. Kombinationen af forudgående og efterfølgende håndhævelse ville skulle
sikre, at alle krav overholdes.
H. FORVALTNING
Det er nødvendigt med en europæisk forvaltningsstruktur for kunstig intelligens i form af en ramme
for samarbejde mellem nationale kompetente myndigheder for at undgå en opsplitning af ansvaret, øge
kapaciteten i medlemsstaterne og sikre, at Europa giver sig selv den kapacitet, der er nødvendig for at
teste og certificere produkter og tjenester, der kan benytte kunstig intelligens. I den forbindelse vil det
være nyttigt at støtte de kompetente nationale myndigheder for at sætte dem i stand til at opfylde deres
mandat, hvor kunstig intelligens anvendes.
En europæisk forvaltningsstruktur kan have en række forskellige opgaver og fungere som et forum for
regelmæssig udveksling af oplysninger og bedste praksis, hvor nye tendenser identificeres, og der
gives råd om standardisering og certificering. Den bør også spille en central rolle med hensyn til at
lette gennemførelsen af de retlige rammer, f.eks. gennem udformning af retningslinjer, udtalelser og
ekspertise. Med henblik herpå bør den bygge på et netværk af nationale myndigheder samt
sektornetværk og regulerende myndigheder på nationalt plan og EU-plan. Desuden kunne et
ekspertudvalg yde Kommissionen bistand.
Forvaltningsstrukturen bør sikre maksimal deltagelse af interessenter. Interessenter –
forbrugerorganisationer og arbejdsmarkedets parter, virksomheder, forskere og
civilsamfundsorganisationer – bør høres om rammens gennemførelse og videreudvikling.
Der findes allerede strukturer, f.eks. inden for finansiering, lægemidler, luftfart, medicinsk udstyr,
forbrugerbeskyttelse og databeskyttelse, og den foreslåede forvaltningsstruktur bør ikke overlappe
med eksisterende funktioner. I stedet bør der etableres tætte forbindelser med andre kompetente EU-
myndigheder og nationale myndigheder i de forskellige sektorer for at supplere den eksisterende
ekspertise og hjælpe eksisterende myndigheder med overvågning og tilsyn med de aktiviteter, der
28
udføres af økonomiske aktører, og som omfatter systemer, produkter og tjenester, der bygger på
kunstig intelligens.
Hvis det besluttes at gå videre med dette, kan det desuden betros bemyndigede organer, der er udpeget
af medlemsstaterne, at udføre overensstemmelsesvurderinger. Testcentre bør muliggøre uafhængig
revision og vurdering af systemer, der bygger på kunstig intelligens, i overensstemmelse med
ovenstående krav. Uafhængig vurdering vil øge tilliden og sikre objektivitet. Relevante kompetente
myndigheders arbejde ville også nyde godt heraf.
EU har fremragende test- og vurderingscentre og bør også udvikle sin kapacitet inden for kunstig
intelligens. Økonomiske aktører, der er etableret i tredjelande, og som ønsker at komme ind på det
indre marked, ville enten kunne gøre brug af udpegede organer, der er etableret i EU, eller, hvis de er
omfattet af aftaler om gensidig anerkendelse med tredjelande, benytte tredjelandes organer, der er
udpeget til at foretage en sådan vurdering.
Forvaltningsstrukturen vedrørende kunstig intelligens og de her omhandlede mulige
overensstemmelsesvurderinger ville ikke berøre de relevante kompetente myndigheders beføjelser og
ansvar under eksisterende EU-lovgivning inden for specifikke sektorer eller problemstillinger
(finansiering, lægemidler, luftfart, medicinsk udstyr, forbrugerbeskyttelse, databeskyttelse osv.).
6. KONKLUSION
Kunstig intelligens er en strategisk teknologi, der medfører mange fordele for borgere, virksomheder
og samfundet som helhed, forudsat at den er menneskecentreret, etisk, bæredygtig og anvendt under
overholdelse af og med respekt for de grundlæggende rettigheder og værdier. Kunstig intelligens giver
mulighed for store effektivitets- og produktivitetsgevinster, som kan styrke det europæiske
erhvervslivs konkurrenceevne og forbedre borgernes velfærd. Kunstig intelligens kan også bidrage til
at finde løsninger på nogle af de mest presserende samfundsudfordringer, herunder bekæmpelse af
klimaændringer og miljøforringelser, udfordringer i forbindelse med bæredygtighed og demografiske
ændringer samt beskyttelse af vores demokratier og, hvor det er nødvendigt og står i et rimeligt
forhold til målet, bekæmpelse af kriminalitet.
For fuldt ud at kunne udnytte de muligheder, som kunstig intelligens giver, skal Europa udvikle og
styrke den nødvendige industrielle og teknologiske kapacitet. Som det fremgår af den ledsagende
europæiske strategi for data, kræver dette også foranstaltninger, der kan give EU mulighed for at blive
et globalt dataknudepunkt.
Den europæiske tilgang til kunstig intelligens har til formål at fremme Europas innovationskapacitet
inden for kunstig intelligens og samtidig støtte udviklingen og udbredelsen af etisk og pålidelig
kunstig intelligens i hele EU's økonomi. Kunstig intelligens bør tjene mennesker og udgøre en positiv
kraft i samfundet.
29
Med denne hvidbog og den ledsagende rapport om rammerne for sikkerhed og ansvar iværksætter
Kommissionen en bred høring af medlemsstaternes civilsamfund, erhvervslivet og forskningsmiljø om
konkrete forslag til en europæisk tilgang til kunstig intelligens. Disse omfatter både politiske midler til
at sætte skub i investeringer i forskning og innovation, fremme udviklingen af færdigheder og støtte
SMV'ers brug af kunstig intelligens samt forslag til centrale elementer i en fremtidig lovramme. Denne
høring vil give mulighed for en omfattende dialog med alle berørte parter, som vil danne grundlag for
Kommissionens næste skridt.
Kommissionen opfordrer til at fremsætte bemærkninger til forslagene i hvidbogen gennem en åben
offentlig høring på https://ec.europa.eu/info/consultations_en. Der kan indgives bemærkninger i
forbindelse med høringen frem til den 19. maj 2020.
Det er Kommissionens faste praksis at offentliggøre de bemærkninger, den modtager som led i en
offentlig høring. Der er imidlertid mulighed for at anmode om, at bemærkningerne eller dele heraf
forbliver fortrolige. Skulle De nære ønske herom, bedes De på forsiden af bemærkningerne klart
angive, at de ikke må offentliggøres, og også fremsende en ikke-fortrolig version af Deres
bemærkninger til Kommissionen til offentliggørelse.