Thought Leadership
Seit dem überraschenden Wahlsieg von Donald Trump wird vermehrt diskutiert, wie es zu den falschen Prognosen renommierter Wahlforschungsinstitute kommen konnte. Denn diese beruhen auf wissenschaftlich anerkannten Methoden der Datenerhebung und -Analyse sowie Statistik.
Eine Ursachenforschung über die Macht der unerkannten Anomalien
Die meisten Umfragen vor der US-Wahl, beispielsweise von Real Clear Politics oder Moody‘s, prognostizierten einen Sieg Clintons und lagen daneben. Allerdings gab es auch Analysen, die Trump vorne sahen. Diesen wurde jedoch wenig Beachtung geschenkt. Der Historiker und „Wahlprophet“ Allan Lichtman oder die Washington Post hatten Trump favorisiert. Es stellt sich also die Frage, welche methodischen Unterschiede gibt es und wo liegen die Fehlerquellen bestimmter Analysemethoden.
Um zu verstehen, warum wissenschaftliche Demoskopie unzutreffende Ergebnisse generieren kann, müssen deren Methoden genauer betrachtet werden. Diese sind keinesfalls homogen, sondern unterscheiden sich je nach Demoskopie-Institut. Sie beruhen aber im Wesentlichen auf drei Basis-Elementen:
- Datenerhebung durch repräsentative Umfragen
- Statistisch-wissenschaftliche Nachbearbeitung der Rohdaten
- Einschätzung und Gewichtung bestimmter Einflussfaktoren
Fehleinschätzungen sind keine Ausnahmeerscheinung
In Deutschland konkurrieren eine Hand voll Institute miteinander, wie Forsa, Allensbach oder infratest, die oft im Auftrag unterschiedlicher Medien arbeiten. Ihre genaue Methodik legen die Umfrageinstitute nicht transparent offen – sie stehen im Wettbewerb miteinander. Deshalb ist eine unabhängige Aufarbeitung falscher Prognosen, wie beispielsweise in Großbritannien, nicht ohne weiteres möglich.
Dass Wahlprognosen unzutreffend sein können, ist nicht neu und kein US-Phänomen. Beim Brexit beispielsweise wurde ein knapper Sieg der EU-Befürworter vorausgesagt. Auch in Deutschland kam es in der Vergangenheit immer wieder zu beachtlichen Fehleinschätzungen. Zum Beispiel bei den Bundestagswahlen 2013 oder 2005. 2013 prognostizierten die Wahlforscher, dass die FDP mehr als fünf Prozent erreichen werde, was bekanntermaßen nicht eintraf. 2005 sahen viele Demoskopen die CDU/CSU deutlich bei über 40 Prozent. Tatsächlich wurden nur 35 Prozent erreicht. Auch bei den jüngsten Landtagswahlen 2016 machten Fehlprognosen von sich reden. So lag ein sehr renommiertes Institut bei den Landtagswahlen in Sachsen-Anhalt um satte 17 Prozent daneben. Bei der Landtagswahl in Baden-Württemberg waren es um die 10 Prozent Abweichung. Die Liste solcher Fehleinschätzungen könnte man beliebig fortsetzen.
Die Fehlerquellen
Die Ursachen solcher falschen Prognosen, die ja auf repräsentativen Datenerhebungen beruhen, sind vielfältig. In jedem der drei Basis-Elemente (s.o) können sich „Fehler“ einschleichen. Sogar bereits bei der Datenerhebung. Ist die Qualität der Rohdaten unzureichend, liefert die Analyse folglich falsche Ergebnisse. Häufiger Fehlerquellen bei der Generierung der Rohdaten sind:
1. Die befragte Personengruppe repräsentiert nicht die eigentliche Wählerschaft.
Zwar werden die Umfrageteilnehmer repräsentativ im Hinblick auf die wahlberechtigte Bevölkerung ausgewählt, aber nicht jeder Wahlberechtigte geht wählen. Zudem können tatsächliche und zu erwartende Wahlbeteiligung erheblich differieren. Einerseits durch kurzfristige Spontanentscheidungen, andererseits durch gezielte Wahlkampagnen. Sie können Wahlkampagnen bestimmte Wählergruppen derart beeinflussen, dass deren Wahlbeteiligung niedriger ausfällt, als üblich und erwartet. In der Konsequenz spiegeln die Umfrageergebnisse dann nicht mehr die tatsächliche Wählerschaft wider und beeinträchtigen die Qualität der Rohdaten.
Ein Beispiel ist das in die Schlagzeilen geratene programmatic campaigning – also personalisierte Mikrokampagnen im Social Web – die darauf abzielen, Wähler hinsichtlich ihrer Wahlbeteiligung zu demotivieren. Im Zeitalter von Big Data, kann die Wählerschaft in extrem kleine Zielgruppen geclustert werden; diese erhalten dann exakt auf sie abgestimmte Botschaften, um sie von den Wahlurnen fern zu halten. Durch die auf Microtargeting basierenden Kampagnen im US-Wahlkampf erhielten Afro-Amerikaner z.B. gefälschte Videos zugespielt, in denen Clinton Farbige als „Raubtiere“ bezeichnete. Inwieweit diese hochpersonalisierten Kampagnen die Wahlbeteiligung bestimmter Wählergruppen tatsächlich signifikant beeinträchtigt, lässt sich wissenschaftlich seriös nicht belegen. Schließlich können die Empfänger erkennen, dass es sich um bezahlten Werbecontent handelt. Unbestritten ist jedoch, dass bewusst diffamierende Wahlkampagnen durchaus wirkungsvoll sein können, insbesondere wenn diese sehr exakt auf die Zielgruppe zugeschnitten sind. Mikrokampagnen bereiten den Demoskopen allerdings nicht nur bei der Beeinflussung der zu erwartenden Wahlbeteiligung Probleme. Weil diese sogenannten „dark posts“ nur für eine relativ kleine Empfängergruppe aber nicht öffentlich sichtbar sind, können sie ohne mediale Korrekturen im Verborgenen ihre Wirkung entfalten und von den Demoskopen unter Umständen als Einflussfaktoren gar nicht wahrgenommen werden. Folglich fließen sie nicht in die Analyse ein.
2. Die befragten Personen machen unwahre Angaben und verfälschen damit die Datenbasis.
Unwahre Aussagen können bewusst oder unbewusst erfolgen. In Zeiten einer hohen Politik- oder Medienverdrossenheit und im Rahmen eines hochemotionalen und aggressiven Wahlkampfes können bewusste Falschangaben häufiger als gewöhnlich auftreten. Auch unbewusste Falschangaben können bei entsprechenden Bedingungen, wie stark verunsichernde Wahlkampagnen, vermehrt auftreten. Denn die Anzahl der Wähler, die sich spontan anders entscheiden als geplant, kann dann signifikant höher sein. Falschangaben die über den zu erwartenden „Fehlerquoten“ liegen, können in der Analyse anschließend nicht ausreichend nivelliert werden.
3. Die Umfragekanäle sind nicht ausgeglichen.
Online-Umfragen können eine andere Datenbasis generieren als Telefonbefragungen. Bestimmte Zielgruppen kann man heute via Festnetztelefon kaum noch erreichen. Umgekehrt sind wiederum andere Wählergruppen bei Online-Umfragen unterrepräsentiert. Konservative und ältere Bewohner vom Land beispielsweise sind weniger häufig zur Teilnahme an einer Online-Umfrage zu bewegen.
Zu diesen drei Hauptfehlerquellen kommt hinzu, dass die Institute zunehmend größere Schwierigkeiten haben, Auskunftswillige zu finden und das Potenzial der „irrationalen Wutwähler“ schwer einzuschätzen ist, da diese in den Umfragen nicht ausreichend abbildbar sind.
Die statistisch-wissenschaftliche Nachbearbeitung der Umfrageergebnisse, die auf Durchschnitts- oder Erfahrungswerten basiert, kann diese die Prognosen beeinträchtigenden Einflussfaktoren nicht vollständig neutralisieren. Es handelt sich um unerkannte Anomalien. Treten in einem Wahlkampf verstärkt solche Anomalien auf, liegen die Prognosen ggf. weit daneben.
Analysemethoden bedürfen einer kritischen Überarbeitung …
Im letzten Arbeitsschritt der demoskopischen Wahlprognosen, der Einschätzung und Gewichtung, finden sich mit Abstand die meisten „Fehlerquellen“. Denn diese beruht oftmals auf persönlicher Einschätzung und Gewichtung. Das menschliche (Wahl-)Verhalten wird von extrem vielen Faktoren beeinflusst. Deren Gewichtung ist äußerst komplex. So kann es beispielsweise sein, dass ein treuer Wähler der Demokraten, seine Stimme bevorzugt einem Mann geben möchte und so ausnahmsweise die Republikaner wählt. Er verhält sich atypisch. Auch Skandale, die mediale Berichterstattung oder die Umfrageergebnisse selbst, können das Wahlverhalten kurzfristig beeinflussen und sind als Parameter nicht vorhersehbar bzw. wissenschaftlich schwer quantifizierbar. Die Headline „Clinton liegt vorne“ kann Nicht-Wähler motivieren, zur Wahl zu gehen und für Trump zu wählen. Gleichzeitig kann sie schwankende Clinton-Wähler vom Gang zur Urne abhalten.
… und Erwartungen an Prognosen müssen realistischer werden
Zusammenfassend kann man sagen, dass Fehlprognosen oft auf nicht quantifizierbare Einflussfaktoren und unerkannte Anomalien zurückzuführen sind. Die Prognosemodelle haben also alle ein gewisses Potenzial an Unschärfe und sind Momentaufnahmen. Zudem basieren sie auf Algorithmen, die streng logisch agieren. Der Mensch jedoch trifft oft unlogische und irrationale Entscheidungen – insbesondere in sehr emotionalen Wahlkämpfen – und wird damit schwer prognostizierbar. Das ist wohl auch der Grund warum Lichtman mit seiner Methodik bei der US-Wahl den statistisch-wissenschaftlichen Demoskopie-Methoden überlegen war. Seine Vorhersage beruhte auf 13 einfachen Fragen. Er fragte die Menschen nicht danach, was sie wählen werden. Seine Fragen bezogen sich allein auf das politische Klima. Aufgrund dessen, dass sich dieses im Wahljahr gedreht hatte, sagte er entsprechend den Sieg der Opposition voraus. Eine einfache Methodik. Entscheidend ist, dass die Basis seiner Prognose nicht die Aussagen der Wähler hinsichtlich ihrer bevorstehenden Wahlentscheidung waren. Diese Datenbasis hat sich im vergangenen US-Wahlkampf schlichtweg als unzutreffend erwiesen. Einer kritischen Überarbeitung bedürfen aber nicht nur die Analysemethoden. Auch die an sie geknüpfte Erwartungen müssen auf ein realistisches Niveau gebracht werden.
Jakob Rehermann ist Geschäftsführer des in Berlin ansässigen Softwareherstellers datapine und als IT-Experte mit dem Thema Datenanalyse befasst.
