Umfragen bei Behördenvorlagen

Ausgangslage

Zwei Umfrageinstitute führen regelmässig vor den eidgenössischen Volksabstimmungen Umfragen durch: gfs Bern für die SRG und LeeWas für Tamedia. gfs Bern macht jeweils eine erste Umfrage etwa 8 Wochen und eine zweite 4 Wochen vor der Abstimmung durch, LeeWas macht im gleichen Zeitraum drei Umfragen.

Die Ergebnisse dieser Umfragen werden von den auftraggebenden Medien aufgenommen. Dabei wird die Aussage auf zwei Kennwerte zugespitzt: Wie viele sind für, wie viele gegen die Vorlage? Es wird dabei immer in der Kommunikation betont, dass es sich um eine Momentaufnahme handelt. Niemand würde jedoch eine Umfrage für eine Momentaufnahme bezahlen. Das öffentliche Interesse daran besteht in der Voraussagekraft der Umfrage für das Resultat der Volksabstimmung. Diese Voraussagekraft möchten wir hier messen. Im welchen Umfang und mit welcher Sicherheit kann von den Umfragen auf das Resultat geschlossen werden? Gibt es Unterschiede zwischen den Verfahren? Nähern sich die Umfragen dem Endresultat an?

Die publizierten Ja- und Nein-Werte der Umfragen kommen in einem mehrstufigen Verfahren zustande, von denen nur ein Teil öffentlich bekannt ist. Am Anfang steht eine Umfrage (Telefon und online gfs, online LeeWas). Dabei werden neben der Abstimmungsfrage demografische und politische Fragen gestellt wie Wohnort, Alter, Geschlecht, Einkommen, Parteizugehörigkeit und Verhalten bei früheren Abstimmungen. Diese Kategorien dienen teils zur Plausibilisierung, teils zur Hochrechnung in ein Modell der Population, unter Einbezug bekannter Daten über diese Kategorien.

Die Befragten können differenziert antworten: Bestimmt dafür, eher dafür, eher dagegen, bestimmt dagegen, weiss nicht (gfs), Ja, eher Ja, eher Nein, Nein, weiss nicht (Tamedia). Die Berichte selber halten diese Differenzierung und analysieren die Daten auch nach den oben genannten Kategorien. Diese Informationen sind interessant für die Abstimmungskomitees zur Ausrichtung ihrer Kampagne. In der Pressemitteilung werden sie jedoch zusammengezogen und des zählen nur die Ja- oder Nein-Stimmen.

Der folgende Artikel analysiert die Voraussagekraft der Umfragen bei den Behördenvorlagen: obligatorische und fakultative Referenden. Behördenvorlagen unterscheiden sich von den Volksinitiativen, dass es für sie bereits im Parlament einen Konsens und eine legitime Mehrheit gab. Das betroffene Gesetz wurde ausgehandelt, und es wurden Kompromisse gemacht. Ein Referendumskomitee tritt deshalb immer gegen eine bestehende Mehrheit an. Es kann dann gewinnen, wenn es das Volk überzeugt, dass das Parlament an den Mehrheitsinteressen vorbeipolitisiert hat, oder wenn es ihm gelingt, die in den internen Widersprüchen des Gesetzes vorhandenen einzelnen Oppositionen zu kumulieren und Kompromisse aufzubrechen. Ein Parlament diskutiert die einzelnen Artikel im Detail. Es kann differenziert mit komplexen Situationen umgehen und Lösungen aushandeln, mit denen alle Seiten leben können. In der Volksabstimmung bleibt nur noch das binäre Ja oder Nein.

Daten

Zur Analyse wurde ein Datensatz zusammengestellt mit allen Umfragen seit 2016. Der Datensatz Referendum Umfragedaten enthält 31 Abstimmungen. Davon erhielten 21 Vorlagen 51% oder mehr Ja-Stimmen und 8 Vorlagen 49% oder weniger Ja-Stimmen. Zwei Vorlagen erhielten gerundet genau 50% Ja-Stimmen. Eine davon (Kampfflugzeuge) wurde angenommen, die andere (Altersvorsorge 2020 MWST) wurde abgelehnt.

Methodik

Wenn man die Umfragewerten mit dem Abstimmungsresultat vergleichen will, stellt sich die Frage, wie man mit den Unentschiedenen umgeht. Es ist nicht unüblich, dass ein zweistelliger Prozentsatz sich noch nicht entschieden hat. An der Urne ist die Anzahl leerer Stimmen vernachlässigbar (das BFS kommuniziert auf dem Website sogar nur die Ja-Stimmen).

Man kann deshalb die Ja-Stimmen vergleichen, die Nein-Stimmen oder den Unterschied zwischen den Ja- und den Nein-Stimmen (Delta). Eine lineare Regression zwischen den Varianten zeigt deutlich, dass das Delta in allen Fällen das bessere Mass ist, weshalb im weiteren das Delta als Messwert benutzt wird.

R square für lineare Regression Ja-Umfrage (X), Ja-Abstimmung (Y)

Resultate

Die Delta Analyse zeigt ein unterschiedliches Verhalten der beiden Umfrageinstitute. Die Umfragen gfs beginnen mit einer relativ guten Annäherung (R square 0.48) und erreichen in der zweiten Umfrage ein fast lineares Resultat (R square 0.81), das auch visuell anschaulich ist. Die erste Umfrage Tamedia ist ein ziemlich offenes Feld (R square 0.20), verbsessert sich bis zur dritten Umfrage (R square 0.56), kommt aber nicht an das Resultat von gfs heran.

Folgende Visualisierung veranschaulicht auch die unterschiedliche Dynamik der beiden Umfragen. Bei gfs verhalten sich alle Behördenvorlagen etwa parallel. Das Delta der ersten Umfrage liegt im Schnitt 12 Punkte über dem Endresultat, das zweite 6 Punkte. Bei Vorlagen mit über +20 in der ersten Umfrage gibt es auch positive Dynamiken, darunter dominiert die negative Dynamik. Es gibt wenig Ausreisser.

Ausreisser sind

• Das Geldspielgesetz (+13, +21, +46)
• Das Jagdgesetz (+18, -12, -4)
• Das CO2-Gesetz (+25,+13,-4)

gfs Dynamik erste, zweite Umfrage und Abstimmungsresultat

{{relation |
read "referendum-delta.csv"
serialize
project key, id, value
update id = substr("_".replace(replace(urltext(id),"-","_"),"/","_"),0,30)
deserialize
select not(key regex "tamedia")
delegate "linechart -rough -legend none -colors black"
}}

Bei Tamedia gibt es weniger geradlinige Entwicklungen zwischen den Umfragen.

{{relation |
read "referendum-delta.csv"
serialize
project key, id, value
update id = substr("_".replace(replace(urltext(id),"-","_"),"/","_"),0,30)
deserialize
select not(key regex "gfs")
delegate "linechart -rough -legend none -colors black"
}}

Schlussfolgerungen

Für die Voraussagekraft eignen sich deshalb eher die Umfragen von gfs.

Ein guter Anhaltspunkt ist, dass im Schnitt das Delta 12 Punkte zur ersten und 6 Punkte zur zweiten Umfrage abnehmen wird. Wenn es nur darum geht, ob die Vorlage angenommen oder abgelehnt wird, hilft folgende Einteilung in Kategorien.

• Alle Vorlagen mit einem Delta von +27 und mehr in der ersten Umfrage wurden angenommen.
• Die Wahrscheinlichkeit einer Annahme ist 80% bei Vorlagen zwischen +20 und +26. (Ausreisser CO2-Gesetz mit +25 in Umfrage und -4 in Abstimmung).
• Die Wahrscheinlichkeit einer Annahme ist 50% bei Vorlagen zwischen +15 und +19.
• Die Wahrscheinlichkeit einer Annahme ist 33% bei Vorlagen zwischen +11 und +14.
• Alle Vorlagen mit einem Delta von +10 oder weniger wurden abgelehnt.

gfs Erste Umfrage (x), Abstimmungsresultat (y)

{{relation |
read "referendum-delta.csv"
project id, gfs1, vote
delegate "scatterchart -rough"
}}

Nach der zweiten Umfrage ist dann das Feld weitgehend geklärt.

• Alle Vorlagen mit einem Delta von +18 und mehr in der zweiten Umfrage wurden angenommen.
• Die Wahrscheinlichkeit einer Annahme ist 50% bei einem Delta von +11 bis +17.
• Alle Vorlagen mit einem Delta von +10 und weniger wurden abgelehnt.

gfs Zweite Umfrage (x), Abstimmungsresultat (y)

{{relation |
read "referendum-delta.csv"
project id, gfs2, vote
delegate "scatterchart -rough"
}}

Update 25. September 2022

Die Resultate der Abstimmung vom 25. September bestätigen die bisherigen Erkenntnisse zu den Umfragen. Das Delta Ja-Nein zweite Umfrage gfs ist weiterhin die beste Vorhersage für das Resultat der Abstimmung von Behördenvorlagen und erklärt dieses zu 79%.

Sie bestätigt die Vorhersagen für die erste gfs-Umfrage: Alle Vorlagen mit einem Delta von +27 und mehr wurden angenommen (AHV-Gesetz +31) und bei +20 bis +26) ist die Wahrscheinlichkeit 80% (AHV MWST +26). Die Wahtscheinlichkeit einer Annahme ist 33% bei +11 bis +14 (Verrechnungssteuer +14).

Die Vorhersage der ersten Umfrage kann umformuliert werden:

• Alle Vorlagen mit einem Delta von +26 und mehr in der ersten Umfrage wurden angenommen.
• Die Wahrscheinlichkeit einer Annahme ist 80% bei Vorlagen zwischen +20 und +25. (Ausreisser CO2-Gesetz mit +25 in Umfrage und -4 in Abstimmung).
• Die Wahrscheinlichkeit einer Annahme ist 50% bei Vorlagen zwischen +15 und +19.
• Die Wahrscheinlichkeit einer Annahme ist 25% bei Vorlagen zwischen +11 und +14.
• Alle Vorlagen mit einem Delta von +10 oder weniger wurden abgelehnt.

Sie bestätigt die Vorhersagen für die zweite gfs-Umfrage Alle Vorlagen mit einem Delta von +18 und mehr in der zweiten Umfrage wurden angenommen (AHV MWST +29, AHV-Gesetz +21). Alle Vorlagen mit einem Delta von +10 oder weniger wurden abgelehnt (Verrechnungssteuer +3).

R square für lineare Regression Ja-Umfrage (X), Ja-Abstimmung (Y) mit Abstimmung 25. September 2022

{{relation |
relation Umfrage,Ja,Nein,Delta
data
"gfs1",0.374,0.465,0.472
"gfs2",0.763,0.734,0.789
"tamedia1",0.169,0.186,0.217
"tamedia2",0.337,0.425,0.424
"tamedia3", 0.535,0.555,0.473
end data
print
}}