„Es gibt ja schon manchmal schwarze Schwäne in meinem Business, aber die Überraschung bei der Milchkuh-Initiative dürfte einen recht realen Hintergrund haben: Am Schluss könnte die Eröffnung des Gotthard-Basistunnels die Debatte noch deutlich in Richtung der behördlichen Verkehrspolitik verlagert haben“ meinte Lukas Golder vom GfS-Forschungsinstitut zur entgegen den Umfragen deutlichen Ablehnung der sog. „Milchkuh-Initiative“. Bei den Abstimmungen am 25. Sept. 2016 traten die schwarzen Schwäne dann gleich im Gruppenverband auf.
Da helfen auch keine Hypothesen mehr, was denn quasi in letzter Minute noch ausschlaggebend für eine Trendveränderung gewesen sei. Die berühmte „Gretchenfrage“ am Telefon, was man abstimmen würde, gibt eben gerade keine gültige Prognose ab. Gefordert sind deshalb themen- und situationsspezifische Forschungsmodelle, -methoden und Szenarien anstelle der standardisierten und trotzdem aufwändigen Telefonbefragungen.
Aktuellstes Beispiel für das Versagen der „Gretchenfrage“ ist die GfS-Telefonumfrage zur erleichterten Einbürgerung verglichen mit der Tagesanzeiger online-Umfrage zu demselben Thema: In der Telefonumfrage hielten es nur 21% der Befragten für „sozial nicht akzeptiert“, anzugeben, dass sie die erleichterte Einbürgerung ablehnen. In der TA-Umfrage artikulieren sich die Ablehner ungeniert: 48% waren gegen die erleichterte Einbürgerung. Die ausländerfeindlichen Bevölkerungsgruppen hätten die Vorlage also durchaus auch zum dritten Mal zum kippen bringen können. Dazu kommt, dass die Vorlage eine „erleichterte Einbürgerung“ gerade mal für die dritte Generation zulässt. Schon eine vergleichbare Vorlage zugunsten der „Secondos“ würde heutzutage scheitern .
Wahl- und Abstimmungsumfragen_Blog_V2Bildquellen:
Die Fehlerhaftigkeit der Wahlumfragen hat mit den amerikanischen Präsidentschaftswahlen einen neuen Höhepunkt erreicht. Die Befragungsbias, also die Unfähigkeit oder Unwilligkeit der Befragten, das geplante Wahlverhalten zu artikulieren resp. die mehr oder weniger bewusste Verschleierung der Entscheidung durch die Befragten, sind derart gross geworden, dass Umfragen als Mittel der politischen Meinungsforschung ein Auslaufmodell geworden sind.
Gerade weil die webbasierte Meinungsbildung entscheidend geworden ist, waren praktisch nur webbasierte Forschungsansätze in der Lage, den Sieg von Donald Trump zu prognostizieren. Schon im Februar 2016 zeigten die Webrelevanzmessungen des Institutes IFAA, dass der Vorsprung von Donald Trump auf Hillary Clinton praktisch feststand. An diesem Sachverhalt hat sich bis zum Wahltag praktisch nichts mehr verändert.
Selbst habe ich auf Facebook etwas plakativ am 6.11.2016 Folgendes geposted: „… und weil die mehrheit noch irgendwie rassisten sind und eine mehrheit zwar nicht verlierer der globalisierung sind aber zumindest befürchten, darunter zu leiden – abgesehen davon dass die mehrheit der männer sexismus zumindest tolerieren – ist trump als wahlsieger möglich.“
NZZ 4.8.2021 Umfragen
Das Ende der „Gretchenfrage“
In der NZZ vom 8. August 2021 äussert sich Prof. Lutz zum Thema Umfragequalität. Dass sich ausgerechnet ein Politikwissenschaftler auf die in der Umsetzung zwar relevante in der Gesamtkonsequenz jedoch sekundäre Stichproben- und Befragungsmethodik fixiert, ist erstaunlich: Elementarster Qualitätsaspekt wissenschaftlichen Handelns ist nämlich nicht allein dessen operative Ausführung, sondern einerseits das Forschungskonzept, basierend auf Theorien, Erfahrungen und Hypothesen, andererseits die Bewertung der Ergebnisse basierend auf Vergleichsdaten und Peer-Rückmeldungen.
Dass bei stichprobenbasierten Umfragen viele früher besser umsetzungsfähige Qualitätsaspekte, namentlich Repräsentativität, wie vorliegend von Prof. Lutz diskutiert, nicht mehr zu leisten sind, ist nicht neu. Kein Wunder sind Umfragen als Instrumente der Entscheidungsfindung bspw. in Unternehmen praktisch bedeutungslos geworden: Aber auch die Aussagekraft – als sog. „Validität“ bezeichnet – ist nicht mehr, was sie vielleicht nie war: Befragte sind zumeist nicht in der Lage, zu artikulieren, weshalb sie etwas tun werden oder getan haben. Und wenn sie dies den artikulieren könnten, sind sie nicht geneigt, dies in einer Befragungssituation zu tun, wie David Ogilvy einst bemerkte. Würden sie dies jedoch tun, dann lassen sie sich nicht repräsentativ finden. Die Neurologie beweist zudem seit Jahren, dass Entscheidungen vor der bewussten Handlungsauslösung getroffen werden und dass sich dieser Prozess einer Artikulation durch die Betroffenen weitestgehend entzieht.
Sei es im Hinblick auf Prognosen oder auch für Abstimmungsnachanalysen ist die Zeit der sog „Gretchenfragen“ also definitiv vorbei und eine Diskussion über Stichprobenverfahren und Befragungsmethoden sind Nebenkriegsschauplätze weil die diesbezüglichen Theorien nicht praxisfähig sind. Zuverlässige Abstimmungsprognosen oder Nachanalysen müssten jedoch in der Wissenschaft generell gültige Qualitätskriterien erfüllen, namentlich bezüglich Konzeption und Interpretation:
• Solide theoretische Grundlagen, empirische Erfahrungen aus Zeitreihen und daraus abgeleitete Forschungshypothesen
• Eine Befragungsmethodik, welche insbesondere beispielsweise auch Aspekte wie Medienpräsenz der Thematik, (vermeintliche) Betroffenheit, verhaltensnachgewiesene Zugehörigkeit zu spezifischen Wert- und Interessengruppen, resp. deren Glaubwürdigkeit und sozial bestimmtes Antwortverhalten berücksichtigt.
• Eine themen- und zielgruppenspezifische Stichprobenmethodik, insbesondere keine zwecklosen Versuche, Zufallsstichproben zu erzielen, wenn der grösste Teil der Grundgesamtheit sich aus was für Gründen auch immer einer Befragung entzieht. In diesem Sinn sind die Daten von TA-Media/ LeeWas – trotz der antworteinschränkenden Frageformulierung – plausibler, als die GfS-Resultate.
• Interpretation der Daten anhand des situationsspezifischen Mobilisationspotentials der verschiedenen Segmente.
• Verifizierung der Interpretation anhand von Zeitreihen und mit Peer-Reflexionen.
Bei Abstimmungsprognosen mag es tröstlich erscheinen, dass die fehlende wissenschaftliche Sorgfalt dazu führt, dass die Befragungsergebnisse in der Regel innerhalb des statistischen Streubereichs zwar falsch sind, das Resultat letztlich dann doch dieselbe Prognose ergibt wie die Abstimmungsresultate. Bei Nachanalysen gibt es keinen Realitätscheck. Egal was Prof. Lutz als „mehr Sorgfalt“ fordert, Gehalt bekommen derartige Analysen erst dann, wenn sie viel umfassenderen, wissenschaftlich fundierten Qualitätskriterien genügen, als im NZZ-Artikel dazu vorgebracht.