„Wie genau beschreiben die auf Bienenstand.at berichteten Winterverluste die Realität?“ Das ist eine der am häufigsten gestellten Fragen, der an den jährlichen Untersuchungen teilnehmenden Imkereien, oder interessierten Leser. Hier finden Sie einige Überlegungen zu dieser Frage und eine kurze Erläuterung zu den Begriffen Repräsentativität und Vertrauensbereich, der oft auch als Konfidenzintervall bezeichnet wird.

12,8% der Bienenvölker in Österreich haben laut unserer Untersuchung den Winter 2013/14 nicht überlebt. Diese Aussage beruht auf 1023 Antworten von Imkereien, die insgesamt 18794 Bienenvölker eingewintert haben; davon haben 2404 den Winter nicht überlebt. Allerdings sind das eben „nur“ 1023 Imkereien von den geschätzten 25000 Imkereien in Österreich, etwa 4%. Können wir also annehmen, dass das Ergebnis unserer Teilnehmer an der Erhebung der Überwinterungsverluste für alle Imkereien und Bienenvölker Österreichs gilt?

Dazu müssen wir einige Überlegungen anstellen. Zunächst zur Repräsentativität. Sind die an der Untersuchung der Winterverluste teilnehmenden Imkereien repräsentativ für alle 25000 Österreichischen Imkereien? Für eine repräsentative Datenmessung benötigt man Zugang zu einer kompletten Liste aller Imkereien. Daraus könnte man repräsentative Imkereien anhand unterschiedlicher Kriterien (Bundesland, Zahl der Bienenvölker, etc.) auswählen. Welche Kriterien das genau sein könnten, ist eine weitere Herausforderung – genauso wie bei Wahlprognosen oder Fernseh-Quotenmessungen. Abgesehen davon, dass es – im Gegensatz zu Fernsehgebührenzahlern – eine solche zentrale Liste für die Imkerei nicht existiert, könnte es ohne gesetzliche Handlungsgrundlage zu Konflikten mit Datenschutz-Interessen kommen. Wie repräsentativ also die an unserer Untersuchung teilnehmenden Imkereien sind, können wir nur im Nachhinein anhand der geographischen Verteilung oder Betriebsgröße abschätzen. Lesen sie hier mehr über die Repräsentativität der Teilnehmer an der Untersuchung im Jahr 2013. Auf Grund unserer Vergleiche an Hand verschiedener Kriterien erscheint die Annahme plausibel, dass unsere Untersuchung repräsentativ ist. Wir können aber nicht ausschließen, dass es auch Faktoren geben kann, die unser Untersuchungsergebnis verzerren. Eine auf Stichproben basierte Hochrechnung ohne jegliche Verzerrung ist realistisch betrachtet also kaum möglich.

Besser als jede Hochrechnung wäre es also, die Grundgesamtheit aller Imkereien, also jede einzelne Imkerei in Österreich zu befragen (mitmachen!), denn jede Hochrechnung macht Fehler. Wir können diesen Fehler aber berechnen und geben daher immer das Konfidenzintervall (Wikipedia) an. Dies umspannt den Vertrauensbereich, der für den angesprochenen Winterverlust von 12,8% zwischen 11,7 und 14,0% liegt. Alle Ergebnisse ohne Angabe des Vertrauensbereichs -auch bei Quotenmessungen- müssen Sie als unseriös betrachten, denn dieses Maß gibt uns Auskunft über die Präzision einer Untersuchung. Die Breite des Vertrauensbereichs hängt stark von der Zahl der Datensätze ab. Je enger der Vertrauensbereich, desto präziser ist die Hochrechnung. Bei (theoretischer) unendlicher Wiederholung unserer Stichprobenuntersuchung schließt das Konfidenzintervall in mindestens 95% der Wiederholungen den wahren Wert unserer Grundgesamtheit ein. Die Konfidenzintervalle berechnen wir nach der von COLOSS entwickelten Methode (Details dazu finden Sie in diesem Artikel, besonders im Abschnitt 10, sowie hier, Box 6). Sie können die Konfidenzintervalle für einzelne Bezirke oder Bundesländer auch selbst berechnen – in der Bienenstand-Datenbank! Für Ihre eigenen Erhebungen können Sie unseren Online-Kalkulator verwenden.

Interessant wird es für uns, wenn es Unterschiede zwischen den Verlustraten zweier Regionen oder von Jahr zu Jahr gibt. Aber wann können wir sicher sein, dass ein Wert höher oder niedriger als der andere ist? Können wir mit an Sicherheit grenzender Wahrscheinlichkeit annehmen dass, zum Beispiel, eine Fernsehsendung mit 9,6% Reichweite wirklich von mehr Menschen gesehen wurde als eine mit 9,2%? Ohne Kenntnis der Schwankungsbreite können wir das nicht! Daher benötigen wir die Konfidenzintervalle. Zurück zu den Bienen: Die Winterverluste 2013/14 haben wir bereits mit 12,8% und einem Konfidenzintervall von 11,7 bis 14,0% berechnet. Im Vergleich dazu lagen die Winterverluste im Jahr davor bei 17,3% (95% Konfidenzintervall: 16,1-18,7%). Da sich diese beiden Intervalle nicht überlappen (16,1 ist größer als 14,0, siehe Abbildung), können wir mit hoher Wahrscheinlichkeit (üblich ist größer 95%) von einem sogenannten statistisch signifikanten Unterschied der Verlustrate zwischen den Untersuchungsjahren ausgehen.

Vertrauensbereich, oberes und unteres Limit des Konfidenzintervalls. Die beiden Vertrauensbereiche überlappen einander nicht – der Unterschied ist statistisch signifikant unterschiedlich!

Ohne Vertrauensbereich und Stichprobenzahlen (linke Abbildung) ist keine seriöse Aussage möglich!

Übrigens ein häufiger Trick, um Unterschiede größer erscheinen zu lassen: die y-Achse nicht bei null beginnen lassen (links)!

Dank an Anton Safer fürs Korrekturlesen!

Nachtrag: Vergleich der Winterverluste 2015/16 mit den Standbesuchen aus dem Projekt Zukunft Biene: Winterverluste auf ein halbes Prozent genau!