Inleiding en context
Goede morgen beste mensen, het is alweer maandag 2 augustus 2021. Een verse werk-, of voor sommigen, vakantiemaand staat voor de boeg. Ik mag het eigenlijk niet over het weer hebben maar ik doe het toch. Wat een regen, gisteren tijdens een fietstocht tot op het bot nat geregend. En toen schoot deze klassieke popsong door mijn hoofd en daar beginnen we dus mee op deze maandagochtend: https://www.youtube.com/watch?v=kmrwAW5-5rU
Maar nu naar de ´kennisparel´ van vandaag, die gaat over zogenaamde ´deepfakes´, dit zijn beelden, geluiden en teksten die door kunstmatige intelligente software worden gecreëerd. Slimme software wordt dan gebruikt voor de creatie of manipulatie van beelden, audio en teksten. De bekendste deepfakes zijn waarin het gezicht van de ene persoon wordt verwisseld met dat van een ander. Deepfakes zijn dus teksten, beelden, video’s en audio-bewerkingen die door kunstmatige intelligente software zijn gemaakt. De term deepfake combineert de Engelse woorden deep en fake. Deep verwijst naar de kunstmatig intelligente deep learning-netwerken. Fake staat voor nep.
Bron
Huijstee, Mariëtte, Pieter van Boheemen, Djurre Das, Linda Nierling, Jutta Jahnel, Murat Karaboga & Martin Fatun, (July 2021). Tackling deepfakes in European policy. Brussels: European Parliament Research Service, 116 pp. https://www.europarl.europa.eu/RegData/etudes/STUD/2021/690039/EPRS_STU(2021)690039_EN.pdf
Samenvatting
The emergence of a new generation of digitally manipulated media – also known as deepfakes – has generated substantial concerns about possible misuse. Advancements in artificial intelligence (AI) have enabled the production of highly realistic fake videos, that depict a person saying or doing something they have never said or done. The popular and catch-all term that is often used for these fabrications is ‘deepfake’, a blend of the words ‘deep learning’ and ‘fake’. The underlying technology is also used to forge audio, images and texts, raising similar concernsIn response to these concerns, this report assesses the technical, societal and regulatory aspects of deepfakes. The rapid development and spread of deepfakes is taking place within the wider context of a changing media system. An assessment of the risks associated with deepfakes shows that they can be psychological, financial and societal in nature, and their impacts can range from the individual to the societal level. The report identifies five dimensions of the deepfake lifecycle that policy-makers could take into account to prevent and address the adverse impacts of deepfakes. The report includes policy options under each of the five dimensions, which could be incorporated into the AI legislative framework, the digital service act package and beyond. A combination of measures will likely be necessary to limit the risks of deepfakes, while harnessing their potential.
In this report, deepfakes are defined as manipulated or synthetic audio or visual media that seem authentic, and which feature people that appear to say or do something they have never said or done, produced using artificial intelligence techniques, including machine learning and deep learning. Deepfakes can best be understood as a subset of a broader category of AI-generated ‘synthetic media’, which not only includes video and audio, but also photos and text. This report focuses on a limited number of synthetic media that are powered by AI: deepfake videos, voice cloning and text synthesis. It also includes a brief discussion on 3D animation technologies, since these yield very similar results and are increasingly used in conjunction with AI approaches.
Recognising the technological and societal context in which deepfakes develop, and responding to the opportunity provided by the regulatory framework around AI that was proposed by the European Commission,this report aims at informing the upcoming policy debate. The following research questions are addressed: 1 What is the current state of the art and five-year development potential of deepfake techniques? (Chapter 3) 2 What does the societal context in which these techniques arise look like? (Chapter 4) 3 What are the benefits, risks and impacts associated with deepfakes? (Chapter 5) 4 What does the current regulatory landscape related to deepfakes look like? (Chapter 6) 5 What are the remaining regulatory gaps? (Chapter 7) 6 What policy options could address these gaps? (Chapter 8).
This research has identified numerous malicious as well as beneficial applications of deepfake technologies. These applications do not strike an equal balance, as malicious applications pose serious risks to fundamental rights. Deepfake technologies can thus be considered dual-use and should be regulated as such. The invention of deepfake technologies hassevere consequences for the trustworthiness of all audio[1]graphic material. It gives rise to a wide range of potential societal and financial harms, including manipulation of democratic processes, and the financial, justice and scientific systems. Deepfakes enable all kinds of fraud, in particular those involving identity theft. Individuals – especially women – are at increased risk of defamation, intimidation and extortion, as deepfake technologies are currently predominantly used to swap the faces of victims with those of actressesin pornographic videos.
Taking an AI-based approach to mitigating the risks posed by deepfakes will not suffice for three reasons. First, other technologies can be used to create audio-graphic materials that are effectively similar to deepfakes. Most notably 3D animation techniques maycreate very realistic video footage. Second, the potential harms of the technology are only partly the result of the deepfake videos or underlying technologies. Several mechanisms are at play that are equally essential. For example, for the manipulation of public opinion, deepfakes need not only to be produced, but also distributed. Frequently, the policies of media broadcasters and internet platform companies are instrumental to the impact of deepfakes. Third, although deepfakes can be defined in a sociological sense, it may prove much more difficult to grasp the deepfake videos, as well as the underlying technologies, in legal terms. There is an inherent subjective aspect to the seeming authenticity of deepfakes. A video that may seem convincing to one audience, may not be so to another, as people often use contextual information or background knowledge to make a judgement about authenticity. Similarly, it may be practically impossible to anticipate or assess whether a particular technology may or may not be used to create deepfakes. One has to bear in mind that the risks of deepfakes do not solely lie in the underlying technology, but largely depend on its use and application.
Thus, in order to mitigate the risks posed by deepfakes, policy-makers could consider options that address the wider societal context, and go beyond regulation. In addition to the technological provider dimension, this research has identified four additional dimensions for policy-makers to consider: deepfake creation; circulation; target/victim; and audience. The overall conclusion of this research is that the increased likelihood of deepfakes forces society to adopt a higher level of distrust towards all audio-graphic information. Audio-graphic evidence will need to be confronted with higher scepticism and have to meet higher standards. Individuals and institutions will need to develop new skills and procedures to construct a trustworthy image of reality, given that they will inevitably be confronted with deceptive information. Furthermore, deepfake technology is a fast-moving target. There are no quick fixes. Mitigating the risks of deepfakes thus requires continuous reflection and permanent learning on all governance levels. The European Union could play a leading role in this process.
Afsluitend
Tja, niet alles is wat het lijkt. Zeker met het oog op de beschreven ontwikkelingen in bijgesloten rapport. Zogenaamde ‘deepfakes’ zijn een nieuwe vorm van desinformatie die een uitdaging vormt voor de samenleving als geheel. Bijvoorbeeld gemanipuleerde video’s zijn het resultaat van machine learning en kunnen de indruk wekken alsof iemand iets zegt of doet, terwijl hij of zijn in werkelijkheid nooit iets dergelijks heeft gezegd of gedaan. Aan de hand van veel echte voorbeelden van spraak en bewegend beeld wordt een zogenaamd neuraal netwerk opgezet dat kan worden gebruikt om een deepfake te creëren om burgers te misleiden. Zo werd Barack Obama ooit gehoord en gezien toen hij Donald Trump in een online video ‘een totale en complete dipshit’ noemde. In werkelijkheid is dit nooit gebeurd.
Desinformatie die via deepfakes wordt overgebracht, kan een uitdaging vormen tijdens verkiezingen, aangezien een deepfake voor het ongetrainde oog moeilijk te onderscheiden is van een echte video. Elke politieke actor zou bijvoorbeeld kunnen proberen een tegenstander in diskrediet te brengen of een politiek schandaal aan te wakkeren met als doel zijn eigen agenda en positie te bevorderen. Na te zijn blootgesteld aan een deepfake, kunnen kiezers bijvoorbeeld hun houding ten opzichte van de politicus die in de deepfake is afgebeeld, of de partij van de politicus veranderen. Als gevolg hiervan brengen burgers vervolgens hun stem uit op basis van valse informatie, en mogelijk in lijn met de doelen van de politieke actor achter de deepfake. Dat is dan nog maar éen niet denkbeeldig voorbeeld. Hoewel deepfake-technologie veel kan, staat het deels nog in de kinderschoenen. Dat geeft in ieder geval mogelijkheden om tegengas te geven. Op deze manier kan men wennen aan het idee dat niet alle informatie betrouwbaar is en dat er gemanipuleerd kan worden met soorten content. Er is een hele wereld op gang gekomen tussen echt en nep. Daarmee zullen we moeten steeds meer mee geconfronteerd worden. Manipulatie via via deepfakes is dus deels een nieuwe realiteit.
De algemene conclusie van dit onderzoek is dat de verhoogde kans op deepfakes de samenleving dwingt tot een hoger wantrouwen ten aanzien van alle audio-grafische informatie. Audio-grafisch bewijs zal met meer scepsis moeten worden geconfronteerd en aan hogere eisen moeten voldoen. Individuen en instellingen zullen nieuwe vaardigheden en procedures moeten ontwikkelen om een betrouwbaar beeld van de werkelijkheid op te bouwen, aangezien ze onvermijdelijk worden geconfronteerd met misleidende informatie. Bovendien is deepfake-technologie zich snel aan het ontwikkelen. Er zijn geen snelle oplossingen. Het beperken van de risico’s van deepfakes vereist dus continue reflectie en permanent leren op alle bestuursniveaus. De Europese Unie zou volgens de auteurs van bijgesloten rapport in dit proces een leidende rol kunnen spelen.
