Deepfake

Deepfakes (ein Portmanteau aus "deep learning" und "fake") sind synthetische Medien, in denen eine Person in einem bestehenden Bild oder Video durch das Abbild einer anderen Person ersetzt wird. Die Erstellung gefälschter Inhalte ist zwar nicht neu, aber Deepfakes nutzen leistungsstarke Techniken des maschinellen Lernens und der künstlichen Intelligenz, um Bild- und Toninhalte zu manipulieren oder zu erzeugen, die leichter zu täuschen sind. Die wichtigsten Methoden des maschinellen Lernens, die zur Erstellung von Deepfakes eingesetzt werden, beruhen auf Deep Learning und beinhalten das Training generativer neuronaler Netzwerkarchitekturen, wie z. B. Autoencoder oder generative adversarische Netzwerke (GANs). ⓘ

Deepfakes haben wegen ihrer Verwendung bei der Erstellung von Material über sexuellen Kindesmissbrauch, pornografischen Videos von Prominenten, Rachepornos, gefälschten Nachrichten, Hoaxes, Mobbing und Finanzbetrug große Aufmerksamkeit erregt. Dies hat sowohl die Industrie als auch die Regierung dazu veranlasst, Maßnahmen zu ergreifen, um die Verwendung von Fälschungen aufzudecken und einzuschränken. ⓘ

Geschichte

Die Fotomanipulation wurde im 19. Jahrhundert entwickelt und schon bald auf Kinofilme angewandt. Im Laufe des 20. Jahrhunderts wurde die Technologie immer weiter verbessert, und mit dem digitalen Video ging es noch schneller. ⓘ

Die Deepfake-Technologie wurde in den 1990er Jahren von Forschern an akademischen Einrichtungen und später von Amateuren in Online-Communities entwickelt. In jüngerer Zeit wurden die Methoden auch von der Industrie übernommen. ⓘ

Akademische Forschung

Die akademische Forschung im Zusammenhang mit Deepfakes gliedert sich in den Bereich der Computer Vision, einem Teilbereich der Informatik, der Techniken zur Erstellung und Identifizierung von Deepfakes entwickelt, und geistes- und sozialwissenschaftliche Ansätze, die die sozialen, ethischen und ästhetischen Auswirkungen von Deepfakes untersuchen. ⓘ

Sozial- und geisteswissenschaftliche Ansätze zu Deepfakes

In der Filmwissenschaft zeigen Deepfakes, wie "das menschliche Gesicht zu einem zentralen Objekt der Ambivalenz im digitalen Zeitalter wird". Videokünstler haben Deepfakes benutzt, um "die Filmgeschichte spielerisch umzuschreiben, indem sie das kanonische Kino mit neuen Darstellern nachrüsten". Der Filmwissenschaftler Christopher Holliday analysiert, wie der Austausch von Geschlecht und Rasse der Darsteller in bekannten Filmszenen Geschlechterklassifizierungen und -kategorien destabilisiert. Die Idee des "Queering" von Deepfakes wird auch in Oliver M. Gingrichs Diskussion von Medienkunstwerken erörtert, die Deepfakes nutzen, um Geschlecht neu zu definieren, darunter Zizi des britischen Künstlers Jake Elwes: Queering the Dataset, ein Kunstwerk, das Deepfakes von Drag Queens verwendet, um absichtlich mit dem Geschlecht zu spielen. Auch die ästhetischen Möglichkeiten von Deepfakes werden allmählich erforscht. Der Theaterhistoriker John Fletcher stellt fest, dass frühe Demonstrationen von Deepfakes als Performances präsentiert werden, und ordnet diese in den Kontext des Theaters ein, wobei er "einige der beunruhigenderen Paradigmenwechsel" erörtert, die Deepfakes als Performance-Genre darstellen. ⓘ

Philosophen und Medienwissenschaftler haben die Ethik von Deepfakes insbesondere im Zusammenhang mit Pornografie diskutiert. Die Medienwissenschaftlerin Emily van der Nagel stützt sich auf Forschungen in der Fotowissenschaft über manipulierte Bilder, um Verifizierungssysteme zu diskutieren, die es Frauen ermöglichen, der Verwendung ihrer Bilder zuzustimmen. ⓘ

Über die Pornografie hinaus wurden Deepfakes von Philosophen als "epistemische Bedrohung" für das Wissen und damit für die Gesellschaft bezeichnet. Es gibt eine Reihe von Vorschlägen, wie mit den Risiken umzugehen ist, die Deepfakes über die Pornografie hinaus, aber auch für Unternehmen, Politiker und andere, durch "Ausbeutung, Einschüchterung und persönliche Sabotage" hervorrufen, und es gibt mehrere wissenschaftliche Diskussionen über mögliche rechtliche und regulatorische Reaktionen sowohl in der Rechtswissenschaft als auch in der Medienwissenschaft. In der Psychologie und den Medienwissenschaften erörtern Wissenschaftler die Auswirkungen von Desinformationen, bei denen Deepfakes zum Einsatz kommen, sowie die sozialen Auswirkungen von Deepfakes. ⓘ

Während sich die meisten englischsprachigen akademischen Studien über Deepfakes auf die westlichen Ängste vor Desinformation und Pornografie konzentrieren, hat die Digitalanthropologin Gabriele de Seta die chinesische Rezeption von Deepfakes analysiert, die als huanlian bekannt sind, was übersetzt "wechselnde Gesichter" bedeutet. Der chinesische Begriff enthält nicht das "fake" des englischen deepfake, und de Seta argumentiert, dass dieser kulturelle Kontext erklären könnte, warum es bei der chinesischen Reaktion eher um praktische regulatorische Antworten auf "Betrugsrisiken, Bildrechte, wirtschaftlichen Profit und ethische Ungleichgewichte" ging. ⓘ

Informatik-Forschung zu Deepfakes

Ein frühes bahnbrechendes Projekt war das 1997 veröffentlichte Programm Video Rewrite, das vorhandenes Videomaterial einer sprechenden Person so veränderte, dass diese Person die in einer anderen Tonspur enthaltenen Wörter mit dem Mund spricht. Es war das erste System, das diese Art der Gesichtsreanimation vollständig automatisierte und dabei maschinelle Lerntechniken einsetzte, um Verbindungen zwischen den von der Person im Video erzeugten Geräuschen und der Form des Gesichts herzustellen. ⓘ

Aktuelle akademische Projekte haben sich auf die Erstellung realistischerer Videos und die Verbesserung der Techniken konzentriert. Das Programm "Synthesizing Obama", das 2017 veröffentlicht wurde, verändert Videomaterial des ehemaligen Präsidenten Barack Obama, um ihn so darzustellen, dass er die in einer separaten Tonspur enthaltenen Wörter ausspricht. Das Projekt nennt als Hauptforschungsbeitrag seine fotorealistische Technik zur Synthese von Mundformen aus Audio. Das Programm Face2Face, das 2016 veröffentlicht wurde, modifiziert Videoaufnahmen des Gesichts einer Person, um sie so darzustellen, dass sie die Mimik einer anderen Person in Echtzeit nachahmt. Das Projekt nennt als Hauptforschungsbeitrag die erste Methode zur Nachahmung von Gesichtsausdrücken in Echtzeit mit einer Kamera, die keine Tiefe erfasst, so dass die Technik mit gewöhnlichen Verbraucherkameras durchgeführt werden kann. ⓘ

Im August 2018 veröffentlichten Forscher der University of California, Berkeley, eine Arbeit, in der sie eine Fake-Tanz-App vorstellten, die mithilfe von KI den Eindruck von meisterhaften Tanzfähigkeiten erwecken kann. Dieses Projekt erweitert die Anwendung von Deepfakes auf den gesamten Körper; frühere Arbeiten konzentrierten sich auf den Kopf oder Teile des Gesichts. ⓘ

Forscher haben auch gezeigt, dass sich Deepfakes auf andere Bereiche ausdehnen, z. B. auf die Manipulation von medizinischen Bildern. In dieser Arbeit wurde gezeigt, wie ein Angreifer automatisch Lungenkrebs in den 3D-CT-Scan eines Patienten injizieren oder entfernen kann. Das Ergebnis war so überzeugend, dass es drei Radiologen und eine hochmoderne KI zur Lungenkrebserkennung täuschte. Um die Bedrohung zu demonstrieren, führten die Autoren den Angriff auf ein Krankenhaus in einem White Hat Penetration Test erfolgreich durch. ⓘ

Eine im Mai 2020 veröffentlichte Übersicht über Deepfakes gibt einen Überblick darüber, wie sich die Erstellung und Erkennung von Deepfakes in den letzten Jahren entwickelt hat. Aus der Übersicht geht hervor, dass sich die Forscher auf die Lösung der folgenden Herausforderungen bei der Erstellung von Deepfakes konzentriert haben:

• Verallgemeinerung. Qualitativ hochwertige Deepfakes werden oft durch stundenlanges Üben mit Filmmaterial des Zielobjekts erzielt. Die Herausforderung besteht darin, die Menge an Trainingsdaten zu minimieren, die für die Erstellung qualitativ hochwertiger Bilder erforderlich ist, und die Ausführung der trainierten Modelle auf neue Identitäten (die während des Trainings nicht gesehen wurden) zu ermöglichen.
• Gepaartes Training. Das Training eines überwachten Modells kann zu qualitativ hochwertigen Ergebnissen führen, erfordert jedoch die Paarung von Daten. Dabei geht es darum, Beispiele für Eingaben und die gewünschten Ausgaben zu finden, aus denen das Modell lernen soll. Das Paaren von Daten ist mühsam und unpraktisch, wenn man mit mehreren Identitäten und Gesichtsverhalten trainiert. Einige Lösungen umfassen selbstüberwachtes Training (unter Verwendung von Frames aus demselben Video), die Verwendung von ungepaarten Netzwerken wie Cycle-GAN oder die Manipulation von Netzwerkeinbettungen.
• Identitätsleck. In diesem Fall wird die Identität des Fahrers (d. h. des Schauspielers, der das Gesicht in einem Reenactment steuert) teilweise auf das generierte Gesicht übertragen. Zu den vorgeschlagenen Lösungen gehören Aufmerksamkeitsmechanismen, "few-shot learning", Entflechtung, Umwandlung von Grenzen und Überspringen von Verbindungen.
• Verdeckungen. Wenn ein Teil des Gesichts durch eine Hand, ein Haar, eine Brille oder einen anderen Gegenstand verdeckt ist, können Artefakte auftreten. Eine häufige Okklusion ist ein geschlossener Mund, der das Innere des Mundes und die Zähne verdeckt. Einige Lösungen umfassen die Segmentierung des Bildes während des Trainings und des In-Painting.
• Zeitliche Kohärenz. In Videos, die Deepfakes enthalten, können Artefakte wie Flimmern und Zittern auftreten, weil das Netzwerk keinen Kontext zu den vorangegangenen Bildern hat. Einige Forscher stellen diesen Kontext bereit oder verwenden neuartige zeitliche Kohärenzverluste, um den Realismus zu verbessern. Da die Technologie immer besser wird, nehmen die Störungen immer mehr ab. ⓘ

Insgesamt wird erwartet, dass Deepfakes verschiedene Auswirkungen auf Medien und Gesellschaft, Medienproduktion, Mediendarstellung, Medienpublikum, Geschlecht, Recht und Regulierung sowie Politik haben werden. ⓘ

Amateurhafte Entwicklung

Der Begriff Deepfakes wurde Ende 2017 von einem Reddit-Nutzer namens "deepfakes" geprägt. Er und andere in der Reddit-Community r/deepfakes teilten von ihnen erstellte Deepfakes; viele Videos zeigten Gesichter von Prominenten, die auf den Körpern von Schauspielerinnen in pornografischen Videos platziert waren, während zu den nicht-pornografischen Inhalten viele Videos gehörten, in denen das Gesicht des Schauspielers Nicolas Cage in verschiedenen Filmen platziert war. ⓘ

Andere Online-Gemeinschaften bleiben bestehen, darunter Reddit-Gemeinschaften, die keine Pornografie teilen, wie z. B. r/SFWdeepfakes (kurz für "safe for work deepfakes"), in denen Community-Mitglieder Deepfakes teilen, die Prominente, Politiker und andere in nicht-pornografischen Szenarien zeigen. Andere Online-Communities tauschen weiterhin Pornografie auf Plattformen aus, die Deepfake-Pornografie nicht verboten haben. ⓘ

Kommerzielle Entwicklung

Im Januar 2018 wurde eine proprietäre Desktop-Anwendung namens FakeApp auf den Markt gebracht. Mit dieser App können Nutzerinnen und Nutzer auf einfache Weise Videos mit vertauschten Gesichtern erstellen und mit anderen teilen. Ab 2019 wurde FakeApp durch Open-Source-Alternativen wie Faceswap, das kommandozeilenbasierte DeepFaceLab und webbasierte Anwendungen wie DeepfakesWeb.com ersetzt. ⓘ

Größere Unternehmen haben begonnen, Deepfakes zu verwenden. Schulungsvideos für Unternehmen können mit Hilfe von Deepfake-Avataren und deren Stimmen erstellt werden, z. B. Synthesia, das die Deepfake-Technologie mit Avataren nutzt, um personalisierte Videos zu erstellen. Der mobile App-Gigant Momo hat die Anwendung Zao entwickelt, mit der Nutzer ihr Gesicht mit einem einzigen Bild in Fernseh- und Filmclips einblenden können. Ab 2019 hat das japanische KI-Unternehmen DataGrid ein Ganzkörperdeepfake entwickelt, das eine Person von Grund auf neu erschaffen kann. Sie beabsichtigen, diese für Mode und Bekleidung zu verwenden. ⓘ

Ab 2020 gibt es auch Audio-Deepfakes und KI-Software, die in der Lage ist, Deepfakes zu erkennen und menschliche Stimmen nach 5 Sekunden Hördauer zu klonen. Eine mobile Deepfake-App, Impressions, wurde im März 2020 eingeführt. Es war die erste App zur Erstellung von Deepfake-Videos von Prominenten über Mobiltelefone. ⓘ

Wiederauferstehung

Die Deepfakes-Technologie kann nicht nur dazu verwendet werden, Nachrichten und Handlungen anderer zu fälschen, sondern auch, um verstorbene Personen wiederzubeleben. Am 29. Oktober 2020 postete Kim Kardashian ein Video ihres verstorbenen Vaters Robert Kardashian; das Gesicht in dem Video von Robert Kardashian wurde mit Deepfake-Technologie erstellt. Dieses Hologramm wurde von der Firma Kaleida erstellt, die bei der Erstellung ihrer Hologramme eine Kombination aus Performance, Motion Tracking, SFX, VFX und DeepFake-Technologien verwendet. ⓘ

Im Jahr 2020 wurde Joaquin Oliver, das Opfer der Schießerei in Parkland, mit Hilfe der DeepFake-Technologie wieder zum Leben erweckt. Olivers Eltern haben sich im Namen ihrer gemeinnützigen Organisation Change the Ref mit McCann Health zusammengetan, um dieses Deepfake-Video zu produzieren, das für eine Abstimmungskampagne zum Thema Waffensicherheit wirbt. In dieser gefälschten Botschaft wird Joaquin gezeigt, der die Zuschauer zum Wählen auffordert. ⓘ

Es gab auch Deepfake-Wiederauferstehungen von Popkultur- und historischen Persönlichkeiten, die ermordet wurden, z. B. das Mitglied der Beatles, John Lennon, der 1980 ermordet wurde. ⓘ

Techniken

Deepfakes beruhen auf einer Art von neuronalem Netzwerk, dem so genannten Autoencoder. Diese bestehen aus einem Encoder, der ein Bild auf einen niedrigdimensionalen latenten Raum reduziert, und einem Decoder, der das Bild aus der latenten Darstellung rekonstruiert. Deepfakes nutzen diese Architektur, indem sie einen universellen Kodierer haben, der eine Person in den latenten Raum kodiert. Die latente Repräsentation enthält Schlüsselmerkmale über ihre Gesichtszüge und Körperhaltung. Diese können dann mit einem speziell für die Zielperson trainierten Modell dekodiert werden. Das bedeutet, dass die detaillierten Informationen der Zielperson den zugrunde liegenden Gesichts- und Körpermerkmalen des Originalvideos, die im latenten Raum dargestellt sind, überlagert werden. ⓘ

Eine beliebte Erweiterung dieser Architektur verbindet ein generatives adversariales Netzwerk mit dem Decoder. Ein GAN trainiert einen Generator, in diesem Fall den Decoder, und einen Diskriminator in einer kontradiktorischen Beziehung. Der Generator erzeugt neue Bilder aus der latenten Repräsentation des Quellmaterials, während der Diskriminator versucht zu bestimmen, ob das Bild erzeugt wurde oder nicht. Dies führt dazu, dass der Generator Bilder erzeugt, die die Realität extrem gut nachahmen, da jegliche Fehler vom Diskriminator erkannt werden. Beide Algorithmen verbessern sich ständig in einem Nullsummenspiel. Dies macht die Bekämpfung von Deepfakes schwierig, da sie sich ständig weiterentwickeln; jedes Mal, wenn ein Fehler festgestellt wird, kann er korrigiert werden. ⓘ

Anwendungen

Erpressung

Mit Deepfakes kann Erpressungsmaterial erstellt werden, das das Opfer fälschlicherweise belastet. Da die Fälschungen jedoch nicht zuverlässig von echtem Material unterschieden werden können, können die Opfer einer tatsächlichen Erpressung nun behaupten, dass es sich bei den echten Artefakten um Fälschungen handelt, was ihnen eine plausible Bestreitbarkeit verleiht. Der Effekt ist, dass die Glaubwürdigkeit des vorhandenen Erpressungsmaterials zunichte gemacht wird, was die Loyalität gegenüber den Erpressern aufhebt und die Kontrolle des Erpressers zunichte macht. Dieses Phänomen kann als "Erpressungsinflation" bezeichnet werden, da es die echte Erpressung "entwertet" und sie damit wertlos macht. Es ist möglich, handelsübliche GPU-Hardware mit einem kleinen Softwareprogramm zu verwenden, um diese Erpressungsinhalte für eine beliebige Anzahl von Subjekten in riesigen Mengen zu generieren und so das Angebot an gefälschten Erpressungsinhalten unbegrenzt und in hochgradig skalierbarer Weise zu erhöhen. ⓘ

In einem Bericht des amerikanischen Congressional Research Service wird davor gewarnt, dass Deepfakes verwendet werden könnten, um gewählte Amtsträger oder Personen mit Zugang zu geheimen Informationen zu Spionage- oder Einflusszwecken zu erpressen. ⓘ

Pornografie

Im Jahr 2017 tauchte Deepfake-Pornografie im Internet auf, insbesondere auf Reddit. Im Jahr 2019 zeigen viele Deepfakes im Internet Pornografie von weiblichen Prominenten, deren Bildnis in der Regel ohne deren Zustimmung verwendet wird. Ein im Oktober 2019 vom niederländischen Cybersecurity-Startup Deeptrace veröffentlichter Bericht schätzt, dass 96 % aller Deepfakes im Internet pornografisch sind. Im Jahr 2018 sorgte unter anderem ein Daisy Ridley-Depfake für Aufmerksamkeit. Im Oktober 2019 waren die meisten Deepfake-Sujets im Internet britische und amerikanische Schauspielerinnen. Etwa ein Viertel der Motive sind jedoch südkoreanisch, die meisten davon sind K-Pop-Stars. ⓘ

Im Juni 2019 wurde eine herunterladbare Windows- und Linux-Anwendung namens DeepNude veröffentlicht, die neuronale Netze, insbesondere generative adversarische Netze, verwendet, um Kleidungsstücke von Frauenbildern zu entfernen. Die Anwendung hatte sowohl eine bezahlte als auch eine unbezahlte Version, wobei die bezahlte Version 50 US-Dollar kostete. Am 27. Juni zogen die Entwickler die Anwendung zurück und erstatteten den Verbrauchern den Kaufpreis. ⓘ

Politik

Deepfakes wurden verwendet, um bekannte Politiker in Videos falsch darzustellen. ⓘ

• Ab 2018 wurde in verschiedenen Videos das Gesicht des argentinischen Präsidenten Mauricio Macri durch das von Adolf Hitler ersetzt, und das Gesicht von Angela Merkel wurde durch das von Donald Trump ersetzt.
• Im US-Präsidentschaftswahlkampf 2020 tauchten zahlreiche Fälschungen auf, die Joe Biden einen kognitiven Verfall unterstellten: Einschlafen während eines Interviews, sich verirren und sich falsch ausdrücken - all das nährte die Gerüchte über seinen Verfall.
• Im April 2018 arbeitete Jordan Peele mit Buzzfeed zusammen, um ein Deepfake von Barack Obama mit Peeles Stimme zu erstellen; es diente als öffentliche Bekanntmachung, um das Bewusstsein für Deepfakes zu schärfen.
• Im Januar 2019 strahlte der Fox-Sender KCPQ ein Deepfake von Trump während seiner Rede im Oval Office aus, in dem er sich über sein Aussehen und seine Hautfarbe lustig machte (und feuerte anschließend einen Mitarbeiter, der für das Video verantwortlich war).
• Während des Wahlkampfs zur Delhi Legislative Assembly 2020 nutzte die Delhi Bharatiya Janata Party eine ähnliche Technologie, um eine Version einer englischsprachigen Wahlwerbung ihres Vorsitzenden Manoj Tiwari zu verbreiten, die ins Haryanvi übersetzt wurde, um Wähler in Haryana anzusprechen. Die Stimme wurde von einem Schauspieler eingesprochen, und eine künstliche Intelligenz, die anhand von Videos von Tiwari-Reden trainiert wurde, sorgte für die Lippensynchronisation des Videos mit der neuen Stimme. Ein Mitarbeiter der Partei bezeichnete dies als "positiven" Einsatz der Deepfake-Technologie, der es ermöglichte, "die Zielgruppe überzeugend anzusprechen, auch wenn der Kandidat nicht die Sprache des Wählers spricht".
• Im April 2020 veröffentlichte der belgische Zweig von Extinction Rebellion ein Deepfake-Video der belgischen Premierministerin Sophie Wilmès auf Facebook. Das Video propagierte einen möglichen Zusammenhang zwischen Abholzung und COVID-19. Es wurde innerhalb von 24 Stunden mehr als 100.000 Mal aufgerufen und erhielt zahlreiche Kommentare. Auf der Facebook-Seite, auf der das Video erschien, interpretierten viele Nutzer das Deepfake-Video als echt.
• Im Jahr 2020 hat Bruno Sartori Politiker wie Jair Bolsonaro und Donald Trump parodiert.
• Im Juni 2019 hielt der Geheimdienstausschuss des US-Repräsentantenhauses eine Anhörung über die mögliche böswillige Verwendung von Deepfakes zur Beeinflussung von Wahlen ab.
• Im April 2021 wurden Politiker in mehreren europäischen Ländern von den Scherzkeksen Vovan und Lexus kontaktiert, die von Kritikern beschuldigt werden, für den russischen Staat zu arbeiten. Sie gaben sich als Leonid Volkov, ein russischer Oppositionspolitiker und Stabschef der Kampagne des russischen Oppositionsführers Alexei Navalny, aus, angeblich mithilfe der Deepfake-Technologie. Die beiden erklärten jedoch gegenüber The Verge, dass sie keine Deepfakes, sondern nur einen Doppelgänger benutzt hätten. ⓘ

Art

Im März 2018 veröffentlichte der multidisziplinäre Künstler Joseph Ayerle das Videokunstwerk Un'emozione per sempre 2.0 (englischer Titel: The Italian Game). Der Künstler arbeitete mit der Deepfake-Technologie, um eine KI-Schauspielerin zu erschaffen, eine synthetische Version des Filmstars Ornella Muti aus den 80er Jahren, die eine Zeitreise von 1978 bis 2018 unternimmt. Das Massachusetts Institute of Technology hat dieses Kunstwerk in der Studie "Collective Wisdom" erwähnt. Die Künstlerin nutzte die Zeitreise von Ornella Muti, um Generationsreflexionen zu erforschen und gleichzeitig Fragen zur Rolle der Provokation in der Welt der Kunst zu untersuchen. Für die technische Umsetzung verwendete Ayerle Szenen des Fotomodells Kendall Jenner. Das Programm ersetzte Jenners Gesicht durch ein von der KI berechnetes Gesicht von Ornella Muti. Das Ergebnis: Die KI-Schauspielerin hat das Gesicht der italienischen Schauspielerin Ornella Muti und den Körper von Kendall Jenner. ⓘ

Deepfakes werden häufig in der Satire oder zur Parodie von Prominenten und Politikern eingesetzt. In der Webserie Sassy Justice aus dem Jahr 2020, die von Trey Parker und Matt Stone entwickelt wurde, werden häufig gefälschte Personen des öffentlichen Lebens verwendet, um aktuelle Ereignisse zu persiflieren und das Bewusstsein für die Deepfake-Technologie zu schärfen. ⓘ

Schauspielerei

Es gibt Spekulationen darüber, dass Deepfakes für die Erstellung digitaler Schauspieler für zukünftige Filme verwendet werden könnten. Digital konstruierte/veränderte Menschen wurden bereits in der Vergangenheit in Filmen eingesetzt, und Deepfakes könnten in naher Zukunft zu neuen Entwicklungen beitragen. Die Deepfake-Technologie wurde bereits von Fans genutzt, um Gesichter in bestehende Filme einzufügen, wie z. B. das Einfügen von Harrison Fords jungem Gesicht in das Gesicht von Han Solo in Solo: A Star Wars Story, und Techniken, die denen von Deepfakes ähneln, wurden für die Darstellung von Prinzessin Leia und Grand Moff Tarkin in Rogue One verwendet. ⓘ

Da die Deepfake-Technologie immer weiter fortschreitet, hat Disney seine visuellen Effekte mit der hochauflösenden Deepfake-Gesichtstausch-Technologie verbessert. Disney hat seine Technologie durch progressives Training verbessert, das programmiert wurde, um Gesichtsausdrücke zu erkennen, eine Face-Swapping-Funktion zu implementieren und das Ergebnis durch Iteration zu stabilisieren und zu verfeinern. Diese hochauflösende Deepfake-Technologie spart erhebliche Betriebs- und Produktionskosten. Disneys Deepfake-Generierungsmodell kann KI-generierte Medien mit einer Auflösung von 1024 x 1024 Pixeln erzeugen, im Gegensatz zu herkömmlichen Modellen, die Medien mit einer Auflösung von 256 x 256 Pixeln produzieren. Mit dieser Technologie kann Disney die Alterung von Figuren aufheben oder verstorbene Schauspieler wiederbeleben. ⓘ

Der Dokumentarfilm Welcome to Chechnya aus dem Jahr 2020 nutzte die Deepfake-Technologie, um die Identität der interviewten Personen zu verschleiern, um sie vor Vergeltungsmaßnahmen zu schützen. ⓘ

Internet-Mem

Im Jahr 2020 tauchte ein Internet-Meme auf, bei dem Deepfakes verwendet wurden, um Videos von Menschen zu erzeugen, die den Refrain von "Baka Mitai" (ばかみたい) singen, einem Lied aus dem Spiel Yakuza 0 in der Videospielserie Yakuza. In der Serie wird das melancholische Lied vom Spieler in einem Karaoke-Minispiel gesungen. Die meisten Wiederholungen dieses Memes verwenden ein 2017 hochgeladenes Video des Nutzers Dobbsyrules, der das Lied lippensynchron singt, als Vorlage. ⓘ

Soziale Medien

Deepfakes werden inzwischen auch auf beliebten Social-Media-Plattformen eingesetzt, vor allem durch Zao, eine chinesische Deepfake-App, mit der Nutzer ihre eigenen Gesichter an die Stelle von Figuren in Szenen aus Filmen und Fernsehsendungen wie Romeo + Julia und Game of Thrones setzen können. Die App stand ursprünglich wegen ihrer invasiven Nutzerdaten und Datenschutzrichtlinien in der Kritik, woraufhin das Unternehmen eine Erklärung abgab, in der es erklärte, es werde die Richtlinien überarbeiten. Im Januar 2020 kündigte Facebook an, dass es neue Maßnahmen einführen werde, um dem auf seinen Plattformen entgegenzuwirken. ⓘ

Der Congressional Research Service führte nicht näher spezifizierte Beweise dafür an, dass ausländische Geheimdienstmitarbeiter Deepfakes verwenden, um Social-Media-Konten zu erstellen, um Personen mit Zugang zu geheimen Informationen zu rekrutieren. ⓘ

Sockpuppets

Deepfake-Fotos können dazu verwendet werden, Sockenpuppen zu erstellen, also nicht existierende Personen, die sowohl online als auch in den traditionellen Medien aktiv sind. Ein Deepfake-Foto wurde offenbar zusammen mit einer Legende für eine offenbar nicht existierende Person namens Oliver Taylor erstellt, deren Identität als Universitätsstudent im Vereinigten Königreich beschrieben wurde. Die Oliver-Taylor-Persona veröffentlichte Meinungsartikel in mehreren Zeitungen und war in Online-Medien aktiv, in denen ein britischer Rechtswissenschaftler und seine Frau als "Terroristen-Sympathisanten" angegriffen wurden. Der Akademiker hatte 2018 internationales Aufsehen erregt, als er in Israel eine Klage gegen das Überwachungsunternehmen NSO im Namen von Menschen in Mexiko einreichte, die behaupteten, Opfer der Telefon-Hacking-Technologie von NSO zu sein. Reuters konnte nur wenige Unterlagen zu Oliver Taylor finden und "seine" Universität hatte keine Unterlagen zu ihm. Viele Experten waren sich einig, dass das Profilfoto ein Deepfake ist. Mehrere Zeitungen haben Artikel, die ihm zugeschrieben werden, nicht zurückgezogen oder von ihren Websites entfernt. Es wird befürchtet, dass solche Techniken ein neues Schlachtfeld der Desinformation darstellen. ⓘ

Sammlungen von gefälschten Fotos von nicht existierenden Personen in sozialen Netzwerken wurden ebenfalls als Teil der israelischen Parteipropaganda eingesetzt. Auf der Facebook-Seite "Zionistischer Frühling" wurden Fotos von nicht existierenden Personen zusammen mit ihren "Aussagen" veröffentlicht, in denen sie angeblich erklärten, warum sie ihre linke Politik aufgegeben haben, um sich der Rechten anzuschließen, und die Seite enthielt auch eine große Anzahl von Beiträgen des israelischen Ministerpräsidenten Benjamin Netanjahu und seines Sohnes sowie anderer rechter israelischer Quellen. Die Fotos wurden offenbar mit Hilfe der "Human Image Synthesis"-Technologie erstellt, einer Computersoftware, die Daten von Fotos realer Menschen verwendet, um ein realistisches Bild einer nicht existierenden Person zu erzeugen. In einem Großteil der "Zeugenaussagen" wurde als Grund für die Zugehörigkeit zur politischen Rechten der Schock über die angebliche Aufstachelung zur Gewalt gegen den Ministerpräsidenten angegeben. Rechtsgerichtete israelische Fernsehsender strahlten dann die "Aussagen" dieser nicht existierenden Personen aus, weil sie online "geteilt" wurden. Die Sender strahlten die Geschichte aus, obwohl sie diese Personen nicht finden konnten, und erklärten: "Warum spielt die Herkunft eine Rolle?" Andere gefälschte Facebook-Profile - Profile fiktiver Personen - enthielten Material, das angeblich eine derartige Aufstachelung gegen den rechtsgerichteten Ministerpräsidenten enthielt, woraufhin sich der Ministerpräsident beschwerte, dass es ein Mordkomplott gegen ihn gäbe. ⓘ

Besorgnis

Betrug

Deepfakes von Stimmen können Betrügern kriminelle Handlungen ermöglichen, wenn sie Opfern gegenüber durch eine künstlich imitierte Stimme die Identität einer Vertrauens- oder anweisungsberechtigten Person erwecken und das Opfer Handlungen zum Vorteil des Betrügers vornehmen lassen. 2019 wurde ein CEO eines Unternehmens aus dem Vereinigten Königreich durch einen Telefonanruf dazu gebracht, 220.000 Euro auf ein ungarisches Bankkonto zu überweisen, wobei die Täter durch ein Deepfake die Stimme eines Vorgesetzten des Opfers imitierten. ⓘ

Audio-Deepfakes wurden als Teil von Social-Engineering-Betrügereien eingesetzt, um Menschen vorzugaukeln, sie würden Anweisungen von einer vertrauenswürdigen Person erhalten. Im Jahr 2019 wurde der Vorstandsvorsitzende eines britischen Energieunternehmens am Telefon betrogen, als er aufgefordert wurde, 220 000 Euro auf ein ungarisches Bankkonto zu überweisen, und zwar von einer Person, die die Audio-Depfake-Technologie nutzte, um sich als die Stimme des Vorstandsvorsitzenden der Muttergesellschaft des Unternehmens auszugeben. ⓘ

Glaubwürdigkeit und Authentizität

Gefälschte Fotos gibt es zwar schon lange, aber das Fälschen von Filmen ist schwieriger, und das Vorhandensein von Deepfakes macht es noch schwieriger, Videos als echt oder unecht zu klassifizieren. Der KI-Forscher Alex Champandard hat gesagt, dass die Menschen wissen sollten, wie schnell Dinge mit der Deepfake-Technologie verfälscht werden können, und dass das Problem kein technisches Problem ist, sondern eher eines, das durch Vertrauen in Informationen und Journalismus gelöst werden muss. Deepfakes können genutzt werden, um zu diffamieren, sich auszugeben und Desinformationen zu verbreiten. Die größte Gefahr besteht darin, dass die Menschheit in ein Zeitalter geraten könnte, in dem nicht mehr festgestellt werden kann, ob der Inhalt eines Mediums der Wahrheit entspricht. ⓘ

Auch der Informatikprofessor Hao Li von der University of Southern California ist der Meinung, dass Deepfakes, die zu böswilligen Zwecken wie Fake News erstellt werden, noch schädlicher sein werden, wenn nichts getan wird, um das Bewusstsein für die Deepfake-Technologie zu schärfen. Li sagte voraus, dass echte Videos und Deepfakes aufgrund der rasanten Fortschritte bei der künstlichen Intelligenz und der Computergrafik bereits in einem halben Jahr, d. h. ab Oktober 2019, nicht mehr voneinander zu unterscheiden sein werden. ⓘ

Der ehemalige Google-Betrugsbeauftragte Shuman Ghosemajumder bezeichnete Deepfakes als "gesellschaftlich besorgniserregend" und sagte, dass sie sich unweigerlich so weit entwickeln werden, dass sie automatisch generiert werden können und eine Einzelperson diese Technologie nutzen könnte, um Millionen von Deepfake-Videos zu produzieren. ⓘ

Die Folgen eines Deepfakes sind nicht groß genug, um das gesamte Regierungssystem zu destabilisieren; Deepfakes haben jedoch die Fähigkeit, einzelnen Einrichtungen enormen Schaden zuzufügen. Dies liegt daran, dass Deepfakes oft auf eine einzelne Person und/oder deren Beziehungen zu anderen Personen abzielen, in der Hoffnung, ein Narrativ zu schaffen, das stark genug ist, um die öffentliche Meinung oder Überzeugungen zu beeinflussen. Dies kann durch Deepfake-Voice-Phishing geschehen, bei dem Audiodaten manipuliert werden, um gefälschte Telefonanrufe oder Gespräche zu erzeugen. Eine weitere Methode der Deepfake-Nutzung sind gefälschte private Äußerungen, bei denen die Medien so manipuliert werden, dass sie Personen darstellen, die schädliche Kommentare abgeben. ⓘ

Im September 2020 gab Microsoft bekannt, dass es ein Softwaretool zur Erkennung von Deepfakes entwickelt. ⓘ

Beispielhafte Ereignisse

Ein Clip von Nancy Pelosis Rede im Center for American Progress vom 22. Mai 2019 wurde verlangsamt und die Tonlage verändert, um den Eindruck zu erwecken, sie sei betrunken; Kritiker argumentieren jedoch, dass es sich hierbei nicht um einen Deepfake, sondern um einen shallowfake, eine weniger ausgefeilte Videomanipulation, handelt. ⓘ

Donald Trump Deepfake

Ein Deepfake von Donald Trump wurde leicht auf der Grundlage eines Sketches von Jimmy Fallon in der NBC The Tonight Show erstellt. In diesem Sketch (ausgestrahlt am 4. Mai 2016) verkleidete sich Jimmy Fallon als Donald Trump und gab vor, an einem Telefongespräch mit Barack Obama teilzunehmen, in dem er so tat, als würde er mit seinem Vorwahlsieg in Indiana prahlen. Am 5. Mai 2019 wurde ein Deepfake von Donald Trump (aus diesem Sketch) erstellt. In diesem Deepfake wurde das Gesicht von Jimmy Fallon in das Gesicht von Donald Trump verwandelt (der Ton blieb unverändert). Dieses Deepfake-Video wurde vom Gründer von Derpfakes mit einer komödiantischen Absicht auf YouTube hochgeladen. ⓘ

Barack Obama Deepfake

Der amerikanische Schauspieler Jordan Peele, BuzzFeed und Monkeypaw Productions erstellten und produzierten ein Deepfake von Barack Obama (hochgeladen auf YouTube am 17. April 2018), das Barack Obama beim Fluchen und Beschimpfen von Donald Trump zeigt. In diesem Deepfake wurden Peele's Stimme und Mund in Obamas Stimme und Gesicht verwandelt und manipuliert. Mit diesem Video sollten die gefährlichen Folgen und die Macht von Deepfakes aufgezeigt werden, und wie Deepfakes jeden dazu bringen können, alles zu sagen. ⓘ

Kim Jong-un

"Kim Jong-Un" ⓘ

Deepfakes des nordkoreanischen Führers Kim Jong-un wurden von der überparteilichen Interessengruppe RepresentUs erstellt. ⓘ

Wladimir Putin

Deepfake-Video: Wladimir Putin warnt die Amerikaner vor Wahleinmischung und wachsender politischer Spaltung ⓘ

Deepfakes des russischen Präsidenten Wladimir Putin wurden ebenfalls von der überparteilichen Interessengruppe RepresentUs erstellt. ⓘ

Die Deepfakes von Kim Jong-un und Wladimir Putin sollten öffentlich als Werbespots ausgestrahlt werden, um die Vorstellung zu vermitteln, dass eine Einmischung dieser Führer in die US-Wahlen der Demokratie der Vereinigten Staaten schaden würde; der Werbespot sollte die Amerikaner auch schockieren und ihnen vor Augen führen, wie zerbrechlich die Demokratie ist und wie Medien und Nachrichten unabhängig von ihrer Glaubwürdigkeit den Weg des Landes maßgeblich beeinflussen können. Die Werbespots enthielten jedoch einen abschließenden Kommentar, in dem darauf hingewiesen wurde, dass das Filmmaterial nicht echt war, und die Werbespots wurden schließlich aufgrund von Ängsten und Empfindlichkeiten in Bezug auf die mögliche Reaktion der Amerikaner nicht ausgestrahlt. ⓘ

Tom Cruise

Im Jahr 2021 wurden realistische Deepfake-Videos des Schauspielers Tom Cruise auf TikTok veröffentlicht, die viral gingen und mehr als zehn Millionen Aufrufe erreichten. Die Deepfake-Videos zeigten einen "durch künstliche Intelligenz erzeugten Doppelgänger" von Cruise bei verschiedenen Aktivitäten wie dem Abschlag auf dem Golfplatz, der Vorführung eines Münztricks und dem Biss in einen Lutscher. Der Schöpfer der Clips sagte, dass er sich 2018 erstmals für Deepfakes interessierte und das "kreative Potenzial" von Deepfakes erkannte. ⓘ

Volodymyr Zelenskyy

Am 16. März 2022 kursierte in den sozialen Medien ein einminütiges Deepfake-Video, in dem der ukrainische Präsident Wolodymyr Zelenskyy seine Soldaten scheinbar auffordert, ihre Waffen niederzulegen und sich während der russischen Invasion in der Ukraine 2022 zu ergeben. In den russischen sozialen Medien wurde das Video gepusht, aber nachdem es entlarvt wurde, entfernten Facebook und YouTube es. Twitter ließ das Video in Tweets zu, in denen es als Fälschung entlarvt wurde, erklärte aber, dass es entfernt würde, wenn es zur Täuschung von Menschen veröffentlicht würde. Hacker fügten die Desinformation in eine Live-Nachrichtensendung des Fernsehsenders Ukraine 24 ein, und das Video erschien kurzzeitig auf der Website des Senders, zusätzlich zu den falschen Behauptungen, Zelenskyy sei aus der Hauptstadt seines Landes, Kiew, geflohen. Es war nicht sofort klar, wer das Deepfake erstellt hatte, worauf Zelenskyy mit einem eigenen Video reagierte, in dem er sagte: "Wir haben nicht vor, die Waffen niederzulegen. Bis zu unserem Sieg." ⓘ

Reaktionen

In Informatik, Mathematik und Kunst sind Algorithmen für maschinelles Lernen, die sich mit der Generierung von solchen Mediendateien beschäftigen, ein Forschungs- und Entwicklungsgebiet. ⓘ

Deepfakes sorgten für ein großes mediales und gesellschaftliches Echo. Mehrere Journalisten führen daher Selbstversuche durch, um zu untersuchen, wie einfach oder schwierig Deepfakes zu erstellen sind und wie sie die Glaubwürdigkeit von Videobildern beeinflussen könnten. 2020 stellte Microsoft eine Software mit dem Namen Video Authenticator vor, deren KI in der Lage sein soll, durch Deepfake und ähnliche Tools manipulierte Videos zu erkennen. ⓘ

Plattformen der sozialen Medien

Twitter

Twitter ergreift aktive Maßnahmen zum Umgang mit synthetischen und manipulierten Medien auf seiner Plattform. Um die Verbreitung von Desinformationen zu verhindern, versieht Twitter Tweets, die manipulierte Medien und/oder Deepfakes enthalten, mit einem Hinweis, der den Betrachtern signalisiert, dass die Medien manipuliert sind. Außerdem wird eine Warnung für Nutzer angezeigt, die vorhaben, den Tweet zu retweeten, zu liken oder sich mit ihm zu beschäftigen. Twitter bemüht sich außerdem darum, den Nutzern neben dem Tweet, der manipulierte oder synthetische Medien enthält, einen Link zu einem Twitter-Moment oder einem glaubwürdigen Nachrichtenartikel zu dem entsprechenden Thema zu geben - als Entlarvungsmaßnahme. Twitter hat auch die Möglichkeit, Tweets mit Deepfakes oder manipulierten Medien zu entfernen, die die Sicherheit der Nutzer gefährden könnten. Um die Erkennung von Deepfakes und manipulierten Medien durch Twitter zu verbessern, hat Twitter Nutzer, die daran interessiert sind, als Partner an Lösungen zur Erkennung von Deepfakes mitzuarbeiten, gebeten, ein Formular auszufüllen (das bis zum 27. November 2020 ausgefüllt werden muss). ⓘ

Facebook

Facebook hat Anstrengungen unternommen, die Erstellung von Deepfakes zu fördern, um eine hochmoderne Software zur Erkennung von Deepfakes zu entwickeln. Facebook war der führende Partner bei der Ausrichtung der Deepfake Detection Challenge (DFDC), die im Dezember 2019 stattfand und an der 2114 Teilnehmer teilnahmen, die mehr als 35.000 Modelle erstellten. Die leistungsstärksten Modelle mit der höchsten Erkennungsgenauigkeit wurden auf Gemeinsamkeiten und Unterschiede hin analysiert; diese Erkenntnisse sind Bereiche, die für die weitere Forschung zur Verbesserung und Verfeinerung von Deepfake-Erkennungsmodellen von Interesse sind. Facebook hat außerdem mitgeteilt, dass die Plattform Medien entfernen wird, die mit künstlicher Intelligenz erstellt wurden, um die Sprache einer Person zu verändern. Medien, die bearbeitet wurden, um die Reihenfolge oder den Kontext von Wörtern in einer Nachricht zu ändern, würden jedoch auf der Website verbleiben, aber als falsch gekennzeichnet werden, da sie nicht durch künstliche Intelligenz erzeugt wurden. ⓘ

Erkennung

Der Großteil der akademischen Forschung zum Thema Deepfake zielt darauf ab, die Videos zu erkennen. Die beliebteste Technik ist die Verwendung von Algorithmen, die denen ähneln, die zur Erstellung des Deepfakes verwendet wurden, um sie zu erkennen. Durch die Erkennung von Mustern bei der Erstellung von Deepfakes ist der Algorithmus in der Lage, subtile Ungereimtheiten zu erkennen. Forscher haben automatische Systeme entwickelt, die Videos auf Fehler wie z. B. unregelmäßige Blinkmuster der Beleuchtung untersuchen. Diese Technik wurde auch dafür kritisiert, dass sie einen "beweglichen Torpfosten" schafft, bei dem mit jeder Verbesserung der Algorithmen zur Erkennung auch die Deepfakes besser werden. Die Deepfake Detection Challenge, die von einer Koalition führender Technologieunternehmen veranstaltet wird, soll die Technologie zur Erkennung manipulierter Inhalte beschleunigen. ⓘ

Ein Team der University of Buffalo hat im Oktober 2020 eine Arbeit veröffentlicht, in der sie ihre Technik zur Erkennung von Deepfakes anhand von Lichtreflexionen in den Augen der Lichtreflexe in den Augen der Abgebildeten zu nutzen, um Deepfakes mit einer hohen Erfolgsquote zu erkennen, auch ohne den Einsatz eines KI-Erkennungstools, zumindest vorläufig. ⓘ

Ein anderes Team unter der Leitung von Wael AbdAlmageed vom Visual Intelligence and Multimedia Analytics Laboratory (VIMAL) des Information Sciences Institute an der University of Southern California entwickelte zwei Generationen von Deepfake-Detektoren auf der Grundlage von Faltungsneuralnetzen. Die erste Generation verwendete rekurrente neuronale Netze, um räumlich-zeitliche Inkonsistenzen zu erkennen und visuelle Artefakte zu identifizieren, die durch den Deepfake-Erzeugungsprozess entstanden sind. Der Algorithmus erreichte eine Genauigkeit von 96 % bei FaceForensics++, dem einzigen groß angelegten Deepfake-Benchmark, der zu diesem Zeitpunkt verfügbar war. Die zweite Generation verwendete durchgängige tiefe Netzwerke, um zwischen Artefakten und hochrangigen semantischen Gesichtsinformationen zu unterscheiden, wobei zwei Zweige verwendet wurden. Der erste Zweig überträgt Farbinformationen, während der andere Zweig Gesichtsinhalte unterdrückt und niedrige Frequenzen mit Hilfe von Laplacian of Gaussian (LoG) verstärkt. Darüber hinaus wurde eine neue Verlustfunktion verwendet, die eine kompakte Repräsentation von echten Gesichtern lernt, während die Repräsentationen (d. h. Merkmale) von Fälschungen zerstreut werden. Der Ansatz von VIMAL zeigte bei den FaceForensics++- und Celeb-DF-Benchmarks eine Spitzenleistung und wurde am 16. März 2022 (dem Tag der Veröffentlichung) verwendet, um das Deepfake von Volodymyr Zelensky sofort zu identifizieren, ohne dass ein erneutes Training oder Kenntnisse über den Algorithmus, mit dem das Deepfake erstellt wurde, erforderlich waren. ⓘ

Andere Techniken nutzen die Blockchain, um die Quelle der Medien zu verifizieren. Videos müssen über das Hauptbuch verifiziert werden, bevor sie auf sozialen Medienplattformen gezeigt werden. Mit dieser Technologie würden nur Videos aus vertrauenswürdigen Quellen zugelassen, was die Verbreitung von möglicherweise schädlichen Deepfake-Medien einschränken würde. ⓘ

Zur Bekämpfung von Fälschungen wurde vorgeschlagen, alle Video- und Bildaufnahmen von Kameras und Videokameras, einschließlich Smartphone-Kameras, digital zu signieren. Auf diese Weise kann jedes Foto oder Video bis zu seinem ursprünglichen Besitzer zurückverfolgt werden, was zur Verfolgung von Dissidenten genutzt werden kann. ⓘ

Reaktion im Internet

Seit 2017 hat Samantha Cole von Vice eine Reihe von Artikeln veröffentlicht, die über Neuigkeiten rund um Deepfake-Pornografie berichten. Am 31. Januar 2018 begann Gfycat, alle Deepfakes von seiner Website zu entfernen. Auf Reddit wurde das Subreddit r/deepfakes am 7. Februar 2018 wegen des Verstoßes gegen die Richtlinien für "unfreiwillige Pornografie" verboten. Im selben Monat erklärten Vertreter von Twitter, dass sie Konten sperren würden, die im Verdacht stünden, nicht einvernehmliche Deepfake-Inhalte zu posten. Die Chat-Website Discord ist in der Vergangenheit gegen Deepfakes vorgegangen und hat eine allgemeine Haltung gegen Deepfakes eingenommen. Im September 2018 nahm Google "unfreiwillige synthetische pornografische Bilder" in seine Verbotsliste auf, so dass jeder die Sperrung von Ergebnissen, die seine gefälschten Nacktbilder zeigen, beantragen kann. (check quotation syntax) Im Februar 2018 erklärte Pornhub, dass es Deepfake-Videos auf seiner Website verbieten würde, weil sie als "nicht einvernehmliche Inhalte" gelten, die gegen die Nutzungsbedingungen verstoßen. Gegenüber Mashable erklärte Pornhub außerdem, dass sie Inhalte, die als Deepfakes gekennzeichnet sind, entfernen werden. Autoren von Motherboard und Buzzfeed News berichteten, dass die Suche nach "Deepfakes" auf Pornhub immer noch mehrere aktuelle Deepfake-Videos liefert. ⓘ

Facebook hat zuvor erklärt, dass sie Deepfakes nicht von ihren Plattformen entfernen würden. Die Videos werden stattdessen von Drittanbietern als Fälschungen gekennzeichnet und haben dann eine geringere Priorität in den Feeds der Nutzer. Diese Reaktion erfolgte im Juni 2019, nachdem ein Deepfake mit einem Video von Mark Zuckerberg aus dem Jahr 2016 auf Facebook und Instagram kursierte. ⓘ

Im Mai 2022 änderte Google offiziell die Nutzungsbedingungen für seine Jupyter-Notebook-Colabs und verbot die Nutzung seines Colab-Dienstes für die Erstellung von Deepfakes. Dies geschah einige Tage nach der Veröffentlichung eines VICE-Artikels, in dem behauptet wurde, dass "die meisten Deepfakes nicht-einvernehmliche Pornos" seien und dass die Hauptverwendung der beliebten Deepfake-Software DeepFaceLab (DFL), "die wichtigste Technologie, die die große Mehrheit dieser Generation von Deepfakes antreibt", die oft in Kombination mit Google-Colabs verwendet werde, Er weist darauf hin, dass die GitHub-Seite von DFL neben vielen anderen bekannten Beispielen für DFL-Implementierungen von Drittanbietern wie Deepfakes im Auftrag von The Walt Disney Company, offiziellen Musikvideos und der Webserie Sassy Justice von den Machern von South Park auch auf die Deepfake-Porno-Website Mr. Deepfake und Teilnehmer des DFL-Discord-Servers beteiligen sich auch an Mr. Deepfakes. ⓘ

Juristische Antwort

In den Vereinigten Staaten gab es einige Reaktionen auf die Probleme, die durch Deepfakes entstehen. Im Jahr 2018 wurde der Malicious Deep Fake Prohibition Act in den US-Senat eingebracht, und 2019 wurde der DEEPFAKES Accountability Act in das Repräsentantenhaus eingebracht. Mehrere Bundesstaaten haben ebenfalls Gesetze zu Deepfakes eingeführt, darunter Virginia, Texas, Kalifornien und New York. Am 3. Oktober 2019 unterzeichnete der kalifornische Gouverneur Gavin Newsom die Assembly Bills No. 602 und No. 730. Assembly Bill No. 602 bietet Personen, die von sexuell expliziten, ohne ihre Zustimmung erstellten Deepfake-Inhalten betroffen sind, einen Klagegrund gegen den Urheber der Inhalte. Der Gesetzentwurf Nr. 730 der Versammlung verbietet die Verbreitung bösartiger Deepfake-Audio- oder Bildmedien, die sich gegen einen Kandidaten richten, der sich innerhalb von 60 Tagen vor seiner Wahl um ein öffentliches Amt bewirbt. ⓘ

Im November 2019 kündigte China an, dass Deepfakes und anderes synthetisch gefälschtes Filmmaterial ab 2020 einen deutlichen Hinweis auf ihre Fälschung tragen müssen. Die Nichteinhaltung könnte als Straftat betrachtet werden, so die chinesische Cyberspace-Verwaltung auf ihrer Website. Die chinesische Regierung scheint sich das Recht vorzubehalten, sowohl Nutzer als auch Online-Videoplattformen zu belangen, die sich nicht an die Regeln halten. ⓘ

Im Vereinigten Königreich können die Produzenten von Deepfake-Material wegen Belästigung belangt werden, aber es gibt Forderungen, Deepfake zu einer spezifischen Straftat zu machen; in den Vereinigten Staaten, wo so unterschiedliche Anklagen wie Identitätsdiebstahl, Cyberstalking und Racheporno erhoben wurden, wurde ebenfalls der Gedanke eines umfassenderen Gesetzes diskutiert. ⓘ

In Kanada veröffentlichte das Communications Security Establishment einen Bericht, in dem es heißt, dass Deepfakes dazu verwendet werden könnten, sich in die kanadische Politik einzumischen, insbesondere um Politiker zu diskreditieren und Wähler zu beeinflussen. Folglich gibt es für die Bürger in Kanada mehrere Möglichkeiten, mit Deepfakes umzugehen, wenn sie von ihnen angegriffen werden. ⓘ

Antwort der DARPA

Im Jahr 2018 finanzierte die Defense Advanced Research Projects Agency (DARPA) ein Projekt, bei dem Einzelpersonen im Wettbewerb stehen, um KI-generierte Videos, Audios und Bilder sowie automatisierte Tools zur Erkennung dieser Fälschungen zu erstellen. Im Jahr 2019 veranstaltete die DARPA einen "Proposers Day" für ein Projekt im Rahmen des Semantic Forensics Program, bei dem Forscher die virale Verbreitung von KI-manipulierten Medien verhindern sollten. DARPA und das Semantic Forensics Program arbeiteten auch zusammen, um KI-manipulierte Medien zu erkennen, indem sie Computern beibrachten, den gesunden Menschenverstand und logisches Denken zu nutzen. Im Jahr 2020 schuf DARPA ein Media Forensics (MediFor)-Programm, um den zunehmenden Schaden, den Deepfakes und KI-generierte Medien darstellen, zu erkennen und zu mindern, um Informationen darüber zu liefern, wie die Medien erstellt wurden, und um die konsequente Rolle von Deepfakes und deren Einfluss auf die Entscheidungsfindung anzusprechen und zu betonen. ⓘ

In der Populärkultur

• In der Mitte Dezember 1986 erschienenen Ausgabe der Zeitschrift Analog wurde die Novelle "Picaper" von Jack Wodhams veröffentlicht. Die Handlung dreht sich um digital verbesserte oder digital erzeugte Videos, die von geschickten Hackern im Dienste skrupelloser Anwälte und politischer Persönlichkeiten produziert werden.
• Der Film "The Running Man" von 1987 mit Arnold Schwarzenegger in der Hauptrolle zeigt, wie eine autokratische Regierung Computer einsetzt, um die Gesichter von Schauspielern durch die von gesuchten Flüchtlingen zu ersetzen, um den Anschein zu erwecken, die Flüchtigen seien neutralisiert worden.
• In dem Techno-Thriller A Philosophical Investigation von Philip Kerr aus dem Jahr 1992 nutzt die Hauptfigur "Wittgenstein", ein Serienmörder, sowohl eine Deepfake-ähnliche Software als auch einen Virtual-Reality-Anzug, um Sex mit einem Avatar von Isadora "Jake" Jakowicz zu haben, dem weiblichen Polizeileutnant, der ihn fangen soll.
• In dem Film Rising Sun von 1993 mit Sean Connery und Wesley Snipes in den Hauptrollen geht es um eine andere Figur, Jingo Asakuma, der aufdeckt, dass eine Computerdiskette persönliche Identitäten digital verändert hat, um einen Konkurrenten zu belasten.
• Die Deepfake-Technologie ist Teil der Handlung des 2019 ausgestrahlten BBC One-Dramas The Capture. Die Serie folgt dem britischen Ex-Soldaten Shaun Emery, der beschuldigt wird, seine Anwältin angegriffen und entführt zu haben. Gekonnt gefälschte Überwachungsaufnahmen werden verwendet, um ihm eine Falle zu stellen und die Polizei, die gegen ihn ermittelt, in die Irre zu führen.
• Al Davis gegen die NFL: Die Erzählstruktur dieses Dokumentarfilms aus dem Jahr 2021, der Teil der Dokumentarfilmreihe 30 for 30 von ESPN ist, verwendet Deepfake-Versionen der beiden Hauptfiguren des Films, die beide verstorben sind - Davis, dem die Las Vegas Raiders während der Zeit, in der das Team in Oakland und Los Angeles spielte, gehörten, und Pete Rozelle, der NFL-Kommissar, der häufig mit Davis aneinandergeriet.
• Die Deepfake-Technologie kommt in "Impawster Syndrome" vor, der 57. Folge der kanadischen Polizeiserie Hudson and Rex, die am 6. Januar 2022 zum ersten Mal ausgestrahlt wurde und in der gegen ein Mitglied der Polizei von St. John's wegen des Verdachts auf Raub und Körperverletzung ermittelt wird, weil die Videoaufnahmen mit seinem Konterfei manipuliert wurden.
• Der Musiker Kendrick Lamar verwandelte sich in seinem Musikvideo zur Single "The Heart Part 5" aus dem Jahr 2022 mithilfe der Deepfake-Technologie in Figuren, die u. a. Nipsey Hussle, O.J. Simpson und Kanye West ähnelten. Die Deepfake-Technologie in dem Video wurde von Deep Voodoo entwickelt, einem Studio unter der Leitung von Trey Parker und Matt Stone, den Machern von South Park. ⓘ

Entwicklung

Der erste und derzeit häufigste Einsatz von Deepfakes findet im Bereich des „face swapping“ statt. Hierbei wird in visuellem Material (z. B. Videos oder Fotos) das Gesicht einer Person mit einem generierten Gesicht einer anderen Person getauscht, um eine Zielperson in einem anderen Kontext darzustellen. Die so entstehenden Inhalte haben großes destruktives Potential, wie zum Beispiel gefälschte pornografische Inhalte. Deepfakes gehen allerdings weit über die Anwendung des „face-swapping“ hinaus und beinhalten die Manipulation auditorischer Inhalte (z. B. „voice swapping“) und die als „body-puppetry“ bekannte Übertragung von Körperbewegungen auf andere Personen in Videomaterial. ⓘ

Obwohl Deepfakes ein relativ neuartiges Phänomen sind (erste Nutzung des Begriffs 2017), haben sie eine breite Debatte um ihre Nutzung und Gefahren für Politik, Wirtschaft und Gesellschaft entfacht. Auf Seiten der Politik sowie auf Seiten der Industrie gibt es Bestrebungen, die Identifizierung von Deepfakes zu erleichtern, ihre Nutzung einzuschränken und ihre unerlaubte Erstellung unter Strafe zu stellen. ⓘ

Anwendung

Im Juni 2019 wurde das Programm DeepNude für Windows und Linux veröffentlicht, welches neuronale Netzwerke benutzt, damit Kleider von Bildern von Frauen entfernt werden können. Dabei gab es eine kostenlose und eine kostenpflichtige Version für 50 USD. Jedoch wurde die Software kurz danach von den Erstellern wieder entfernt und die Käufer erhielten eine Rückerstattung. ⓘ

Datenschutz

Seit 2018 wird universitär und industriell daran geforscht generierte Gesichter zum Schutz der Identität einzusetzen. Nach der natürlichen Entfremdung des Gesichtes können im öffentlichen Bereich aufgenommene Daten für Analysezwecke oder für maschinelles Lernen wie Originaldaten verwendet werden, jedoch unter größerem Schutz der Privatsphäre und Ausschlusses biometrischer Erkennungen. Einsatzorte sind beispielsweise für die Entwicklung autonomer Fahrzeuge oder für Smart City Kameras. Künstliche Gesichter oder andere synthetische Merkmale, stellen damit eine alternative Anonymisierungsform gegenüber dem Blurring von personenbezogen Daten dar. ⓘ

Pornographie

Im Herbst 2017 stellte ein anonymer Reddit-Nutzer unter dem Pseudonym „Deepfakes“ mehrere Pornovideos ins Internet. So waren die Wonder-Woman-Darstellerin Gal Gadot beim Sex mit ihrem Stiefbruder und andere Schauspielerinnen wie Emma Watson, Katy Perry, Taylor Swift oder Scarlett Johansson zu sehen. Diese Szenen waren nicht echt, sondern unter Verwendung künstlicher Intelligenz erstellt worden und rasch entlarvt. Als Trainingsdaten für sein Neuronales Netz hatte der Reddit-Nutzer Szenen aus Sexfilmen und Spielfilmen mit der Schauspielerin verwendet. Nach einem Bericht im Dezember 2017 im Magazin Vice wurde das Thema von weiteren Medien aufgenommen. In den folgenden Wochen überarbeiteten und verbesserten andere Reddit-Nutzer der Entwickler-Community das Vorgehen des Erstentwicklers, womit es zunehmend schwieriger wurde, gefälschte von echten Inhalten zu unterscheiden. Auf dem dazu auf Reddit gegründeten Subreddit „Deepfakes“ wurden bis zu dessen Sperrung am 7. Februar 2018 von mehr als 50.000 Nutzern Deepfake-Videos ausgetauscht. Ein Racheporno kann durch den Einsatz von Deepfakes entstehen. Auch die Pornoseite Pornhub gab an, Deepfake-Pornos zukünftig zu sperren. ⓘ

Shallowfake

Im Zusammenhang mit Deepfakes werden auch die Begriffe Shallowfake oder Cheapfake verwendet. Hierbei handelt es sich ebenfalls um Fälschungen, die jedoch technisch weniger anspruchsvoll sind und nicht mittels künstlicher Intelligenz generiert werden. Beispielsweise, indem Videos mit falschen Informationen gekennzeichnet werden oder in einem falschen Zusammenhang gezeigt werden. Auch das Zusammenschneiden von Videos, damit ein anderer Eindruck entsteht, wird als Shallowfake bezeichnet. ⓘ

Sonstiges

• Ende Januar 2018 startete eine App namens FakeApp, mit der Nutzer leicht in Videos Gesichter austauschen können, als sei damit eine andere Person im Video zu sehen (Face Swap). Ein Algorithmus berechnet mithilfe eines künstlichen neuronalen Netzes und der Leistung des Grafikprozessors sowie mit drei bis vier Gigabyte Festplattenspeicher das zu erzeugende Fake-Video. Für genaue Angaben braucht das Programm viel Bildmaterial von der einzufügenden Person, um mithilfe des erwähnten Deep-Learning-Algorithmus auf Basis der Videosequenzen und Bilder zu lernen, welche Bildaspekte ausgetauscht werden müssen. Die Software nutzt dabei das KI-Framework TensorFlow von Google, welches unter anderem bereits für das Programm DeepDream verwendet wurde. Vorwiegend sind Prominente von derart gefälschten Sexvideos betroffen, obwohl Privatpersonen Ziel sein können.
• Zivil- oder strafrechtliches Vorgehen ist möglich, obwohl die Inhalte nicht echt sind (wie wegen Verletzung von Persönlichkeitsrechten und Sexualbeleidigung). Voraussetzung hierfür ist aber, dass sich der Täter identifizieren lässt. Dies ist im Internet aufgrund von Anonymität und Pseudonymität sowie gegenseitigem Hin- und Herreichen nicht immer möglich.
• Der KI-Forscher Alex Champandard hält ein tradiertes hohes Vertrauen in den Journalismus und Medien für einen Grund für den Erfolg von Deepfakes. Der Google-Ingenieur Ian Goodfellow bezeichnet es als einen historischen Glücksfall, dass wir uns „bisher auf Videos als Beweis für Tatsachen verlassen konnten“.
• Im Mai 2019 ist es Forschern des Samsung-Laboratoriums in Moskau gelungen, ein KI-System zu entwickeln, das in der Lage ist, aus einem einzigen Bild ein Fake-Video zu erstellen. Sie schufen aus dem Porträt der Mona Lisa drei verschiedene Videos einer sprechenden und sich bewegenden Frau.
• Die Webseite notjordanpeterson.com nutzte die Technologie der „Deepfakes“, um den kanadischen Psychologen Jordan Peterson, welcher im Internet durch kontroverse Aussagen und Interviews einige Berühmtheit erlangte, per Textfeld eingegebene, beliebige Sätze scheinbar sagen zu lassen, wobei der verwendete Algorithmus relativ realistisch klingende Resultate lieferte. Die Funktionalität der Webseite wurde nach Androhung von rechtlichen Schritten von Seiten des Psychologen vorerst deaktiviert. ⓘ