Laien durchschauen Fake News nach Bauchgefühl

Zehn bis 15 nicht speziell ausgebildete Faktenprüfer arbeiten so zuverlässig wie fehleranfällige Algorithmen, die Facebook und Co zum Aufspüren von Fake News nutzen. Das haben Forscher der Sloan School of Management des Massachusetts Institute of Technology um Doktorandin Jennifer Allen herausgefunden.

Die Forscher haben mit 207 Nachrichten gearbeitet, die die Check-Algorithmen von Facebook zur weiteren Prüfung markierten, weil sie in Verdacht standen, Fake News zu sein. Allen ließ eine relativ kleine, politisch ausgewogene Gruppe von Laienlesern die Nachrichten bewerten. Ergebnis: “Die durchschnittliche Bewertung einer Menge von zehn bis 15 Personen korrelierte mit den Urteilen der Faktenprüfer”, so Allen. Das helfe bei dem Skalierbarkeitsproblem, da diese Bewerter normale Menschen ohne Schulung zur Faktenprüfung waren und nur die Schlagzeilen und Leitsätze lasen, ohne die Zeit für Recherchen zu haben.

Der Expertin nach ließe sich diese Methode kostengünstig einsetzen, denn die Kosten für eine Prüfung dieser Art würden etwa 0,90 Dollar pro Geschichte betragen. Die News, mit denen es die Probanden zu tun hatten, waren von einem Facebook-Algorithmus als prüfungsbedürftig identifiziert worden, entweder weil Grund zur Annahme bestand, dass sie problematisch waren oder einfach weil sie weitverbreitet waren oder wichtige Themen behandelten wie Gesundheit. Die Forscher haben 1.128 US-Bürger eingesetzt, die die Mechanical Turk Platform von Amazon nutzten, mit der Amateure gegen Bezahlung unter anderem Fakten überprüfen, wie die Telefonnummern von Restaurants, die sich im Internet präsentieren.

Profis sind sich nicht immer einig

Den einzelnen Gruppen wurden Schlagzeilen und Leitsätze von je 20 Nachrichten präsentiert. Die Probanden sollten die Geschichten als “genau”, “wahr”, “zuverlässig”, “vertrauenswürdig”, “objektiv”, “unvoreingenommen” und “ein Ereignis beschreibend, das tatsächlich stattgefunden hat” einstufen. Gleichzeitig erhielten drei professionelle Faktenprüfer die 207 Geschichten, um sie nach einer Recherche zu bewerten. In etwa 50 Prozent der Fälle kamen alle Faktenprüfer zum gleichen Ergebnis. In 42 Prozent der Fälle stimmten zwei der drei Faktenprüfer überein und in neun Prozent der Fälle kamen die Faktenprüfer zu unterschiedlichen Ergebnissen. Die Gruppenbewerter kamen per Bauchgefühl zu ähnlichen Ergebnissen.

www.pressetext.com