Horizon-Europe-Projekt COMPASS untersucht Deepfake-Anfälligkeit Wer fällt auf KI-Fälschungen herein?

Anbieter zum Thema

Warum manche Menschen darauf eher hereinfallen als andere und ob sich Manipulation erkennen lässt, untersucht ein Team der Universität Duisburg-Essen (UDE) im EU-Projekt COMPASS. Die psychologische Teilforschung in Duisburg erhält rund 443.000 Euro, das Gesamtprojekt wird mit knapp 3,5 Millionen Euro aus Horizon Europe gefördert.

Ob eine Fälschung geglaubt wird, entscheidet sich nicht allein am Material. COMPASS sucht nach den Faktoren, die den Unterschied zwischen Durchschauen und Weiterleiten ausmachen.

(Bild: Gemini / KI-generiert)

Mit KI lassen sich Bilder, Stimmen und Videos zunehmend überzeugend erzeugen. Was heute noch an kleinen Ungereimtheiten auffällt, könnte künftig kaum mehr vom Original zu unterscheiden sein. Damit wachsen auch die Möglichkeiten, solche Inhalte einzusetzen, um zu täuschen, Debatten zu beeinflussen oder Misstrauen zu erzeugen.

Nicht die Fälschung, sondern das System

COMPASS nimmt nach Angaben der beteiligten Forscher nicht einzelne Falschmeldungen in den Blick, sondern den Mechanismus dahinter: wie Informationsmanipulation entsteht und sich verbreitet, warum sie wirkt und welche Gegenmaßnahmen greifen. Zugleich geht es um die Frage, wie sich demokratische Gesellschaften schützen können, ohne Meinungsfreiheit und Privatsphäre einzuschränken. Acht Partnerorganisationen aus acht Ländern bringen dafür psychologische, rechtliche und gesellschaftliche Perspektiven zusammen. Die Konsortialführung liegt bei der Universität Tallinn in Estland.

Wer fällt worauf herein

An der UDE verantwortet Jun.-Prof. Dr. German Neubaum die psychologische Forschungsperspektive mit dem Titel „Co-creating Democratic Resilience: from Evidence to Empowerment“. In Experimenten zeigt das Team den Teilnehmern verschiedene Arten von Deepfakes und prüft, welche Faktoren am besten vorhersagen, ob die Betreffenden die künstlich erzeugten Inhalte für echt halten. Betrachtet werden personenbezogene Merkmale wie Alter und Bildung ebenso wie kognitive Fähigkeiten, Einstellungen und emotionale Faktoren.

„Warum manche Menschen eher auf KI-generierte Falschinformationen hereinfallen als andere, lässt sich wahrscheinlich nicht an einem einzelnen Merkmal festmachen. Wir gehen von verschiedenen Faktoren aus, deren Zusammenspiel wir in unseren Experimenten untersuchen“, sagt Neubaum, Leiter des Fachgebiets „Psychologische Prozesse der Bildung in sozialen Medien“. Von Interesse sei auch, welche Überzeugungen den Umgang mit zweifelhaften Inhalten beeinflussen. Wer eine Botschaft für gesellschaftlich wichtig halte, gebe sie womöglich eher weiter, selbst bei Zweifeln an ihrer Echtheit.

Erkennen, bevor man hereinfällt

Im nächsten Schritt geht es um Prävention. Das Team entwickelt und testet sogenannte Inoculation- und Prebunking-Ansätze. Dabei werden die Teilnehmer vorab mit typischen Deepfake-Strategien und auffälligen Merkmalen vertraut gemacht. Anschließend prüfen die Forscher, ob dieses Vorwissen hilft, auch neue Manipulationen zu erkennen.

„Solche Ansätze werden oft mit einer psychologischen Impfung verglichen. Gänzlich immun gegen Desinformation machen sie aber nicht. Wir wollen herausfinden, welche Hinweise Menschen tatsächlich helfen, Manipulation zu erkennen – und ob dieser Effekt auch bei neuen Inhalten und über längere Zeit anhält“, erklärt Dr. Jana Dreston aus der Forschungsgruppe „Psychological Processes of Education in Social Media“.

Damit besetzt COMPASS eine Flanke, die technische Verfahren offenlassen. Ansätze aus der IT-Forensik und Detektionssysteme wie PADSE, das Audio-Fälschungen über individuelle Stimmprofile erkennt, setzen am Material an. COMPASS zielt auf die Rezeption.

Die Ergebnisse sollen nicht im Labor bleiben. Gemeinsam mit Politik, Medien, Zivilgesellschaft und Bildungspraxis will COMPASS daraus Trainingsmaterialien, Leitfäden und politische Empfehlungen entwickeln, sie mit verschiedenen Zielgruppen erproben und anschließend frei zugänglich veröffentlichen. Das Projekt läuft bis August 2029.

(ID:50951787)