Anzeige

Der Fall Banjo: Warum man Studien wie best for planning, MA & Co. nur bedingt glauben sollte

Banjo.jpg

Ausgerechnet ein Schokoriegel zeigt die Probleme von auf Umfragen basierten Markt- und Media-Studien auf. Laut der neuesten Ausgabe des Bauer-Burda-Gruner-Springer-Werkes best for planning essen nämlich Millionen Deutsche Banjo. Problem: Den Riegel gibt es seit 2009 gar nicht mehr. Ein Fall, der Konsequenzen für die Medienforschung haben müsste.

Anzeige
Anzeige

3,8% der deutschsprachigen Bevölkerung ab 14 Jahren isst laut der in dieser Woche veröffentlichten Studie best for planning 2014 den Schokoriegel Banjo. Das sind umgerechnet 2,68 Mio. Leute. Ein echter Umsatzbringer für den Hersteller Mars also. Oder? Nicht wirklich, denn den Riegel gibt es seit fünf Jahren überhaupt nicht mehr. Im Jahr 2009 überschattete ein Lebensmittelskandal die Marke Banjo, es bestand der Verdacht, die Riegel könnten „mikrobiologisch belastet“ sein. Im Anschluss verschwand Banjo für immer aus den Regalen.

Was nach einer Petitesse, einer Anekdote klingt, ist in Wirklichkeit aber viel mehr als das. Zeigt das Beispiel Banjo doch sehr anschaulich das Problem von Studien auf, die einzig und allein auf Umfragen vertrauen. Denn: Hier wird klar, dass eben nicht der tatsächliche Konsum von Artikeln abgefragt wird – das, was die Forscher gern hätten – sondern die Bekanntheit, Beliebtheit von Marken. Die angeblichen Banjo-Esser werden sich gedacht haben: „Banjo? Lecker, habe ich schon immer gern gegessen.“ und werden behauptet haben, Banjo noch zu essen – obwohl der letzte Konsum eben schon mindestens fünf Jahre her sein muss.

Was den Studienherausgebern bei den Konsumzahlen eines Schokoriegels noch weitgehend egal sein wird, erschüttert somit aber auch die Glaubwürdigkeit insgesamt. Was sind 2,68 Mio. angebliche Leser einer Zeitschrift noch wert, wenn auch die das Magazin womöglich zum letzten Mal vor fünf Jahren gelesen haben? Betroffen von dieser Erschütterung ist natürlich nicht nur die Studie best for plannung, sondern auch andere wie die Media Analyse (MA).

MEEDIA begleitet die MA seit jeher kritisch, hat oft über völlig unlogische Zahlen berichtet. Zuletzt etwa über den Fall Computer Bild Spiele, den wir hier noch einmal zitieren:

Anzeige

„Seit Jahren ist die Leserzahl des Magazins stabil. So lasen laut ma 2010 I noch 2,00 Mio. das Games-Magazin. Nun, vier Jahre später, sind es 2,04 Mio. Ein Plus von 40.000 Lesern. Im selben Zeitraum – den vier Jahren zwischen den IVW-Quartalen IV/2009 und IV/2013 ging die verkaufte Auflage des Magazins aber um fast 63% (!) zurück. Mittlerweile kaufen nur noch 101.825 die Computer Bild Spiele. Angesichts der Leserzahl von 2,04 Mio. müssten sich also im Durchschnitt etwa 20 Leute eine Computer Bild Spiele teilen. Wer soll solche Zahlen noch glauben?

Auch die Ausrede, über Bordexemplare, Lesezirkel und sonstige Verkäufe würden viel mehr Leute ein Magazin in die Hände bekommen als der einzelne Kiosk-Käufer, zieht in diesem Fall nicht. Denn: Computer Bild Spiele verfügt derzeit über kein Bordexemplar, nur 37 sonstige Verkäufe und auch nur 618 Lesezirkel. Für 2 Mio. Leser können diese wenigen Hefte nicht verantwortlich sein.“

Games-Magazine, die im Durchschnitt von 20 Leuten gelesen werden. Schokoriegel, die von 2,68 Mio. gegessen werden, obwohl es sie nicht mehr gibt. Wann, wenn nicht jetzt, muss ernsthaft über die Methodik solcher Studien diskutiert werden? Es ist doch im Jahr 2014 völlig unverständlich, warum Studien komplett auf Umfragen aufgebaut sind – und nicht auch auf Messungen. Gerade für Print-Produkte liegen mit den IVW-Zahlen genaue Verkaufszahlen vor. Warum koppelt man diese nicht mit Umfragen, wie viele Mitleser es pro verkauftem Abo-Exemplar, Kiosk-Exemplar, Bordexemplar, Lesezirkel, etc. gibt – und erhält dann deutlich validere Zahlen? Naja, so unverständlich ist es dann doch nicht, wenn man sieht, dass die Medien und Verlage die Studien verantworten: Schließlich würden die angeblichen Leserzahlen mit einer besseren Methodik in vielen Fällen in sich zusammen brechen.

Anzeige

Mehr zum Thema

Anzeige
Anzeige

Alle Kommentare

  1. Vordergründiges Methodenbashing bringt doch immer nur die sattsam bekannten vorurteils- und interessenbeladenen Argumtente zutage und trägt aber auch gar nichts dazu bei, die Medienforschung zu reformieren und ein angemessenes Bild der aktuellen Mediennutzung zu liefern. Nur weil TV und Online technisch gemessen werden, sind ihre Methoden sakrosankt? Und Print-Forschung kann nur deshalb nicht stimmen, weil sie auf Befragungen beruht? Und alles wird gut, wenn sich Print auch messen lässt? Kann ja sein, dass die Befragungsmethode an sich gut funktioniert, die Print-Fragen in der MA aber vielleicht doch etwas reformbedürftig sind? Es kommt doch letztlich darauf an, für verschiedene Untersuchungsgegenstände die angemesse Methode zur möglichst optimalen Beforschung zu finden, und TV und Online werden nun mal anders rezipiert als Print-Medien, weil sie unterschiedlich produziert und unterschiedlich ausgeliefert werden, deswegen sind hier technische Messungen durchaus auch angemessen.

    Und ja, empirische Sozialforschung wird immer Ungenauigkeiten produzieren, weil sie mit Modellen arbeitet, die immer nur näherungsweise und reduziert die sogenannte Realität abbildet. Das gilt auch für technische Messungen, selbst dann wenn sie wie bei TV- und Online-Forschung DAS Mittel der Wahl sein sollten. Patrick Priesmann hat in seinem Kommentar schon auf die methodischen Probleme der AGOF und die „bemerkenswerten“ Ergebnisse der TV-Forschung verwiesen. Entsprechend „vorsichtig“ muss man mit den Ergebnissen von jeder Art Studie umgehen. Selbst die „Erfinderin“ der Umfragen Elisabeth Noelle-Neumann warnte davor, Ergebnisse wortwörtlich zu nehmen, also bis auf die dritte Stelle hinter dem Komma zu interpretieren. Erstaunlicherwiese passiert das alle halbe Jahre in mehr oder weniger allen Diensten, wenn die neuen MA-Ergebnisse da sind, und es passiert jeden Tag bei den Rankings von TV-Sendungen oder alle paar Monate bei der Verkündung der neuen AGOF-Zahlen. Da werden fröhlich Veränderungen interpretiert, die nicht mehr als die statistische Schwankungsbreite sind.

  2. Interessante Schlussfolgerungen werden hier gezogen. Wenn sich also Menschen falsch erinnern, dann ist das nicht deren Schuld, sondern ein Fehler des messenden Instituts? Und weil ein paar Befragte in einer einzelnen Studie Banjo vielleicht mit Bounty verwechselt haben, ist die Gesamtheit der Markt- und Medienforschung fehlerhaft?

    Wie Dirk Engel über mir schon sagte, bilden Befragungen und Messungen nur ab. Welche Schlüsse man aus dem ermittelten Bild ziehen muss, ist Bestandteil von anderen Prozessen. Dazu muss man selbstverständlich wissen, wer wo wie und unter welchen Umständen befragt wurde. Aber nur, weil die Ergebnisse nicht der Erwartung entsprechen, sind sie noch lange nicht falsch.

  3. Aus dem Beispiel Banjo kann man fünf wichtige Punkte ableiten: 1. Eine Studie, die alles erheben will, muss mit Ungenauigkeiten leben. Studien wie b4p können markt-individuelle Marktforschung nicht ersetzen. 2. Das schwächste Glied in der Kette ist der Befragte bzw. sein Gedächtnis. Je mehr gefragt wird, umso mehr wird es überfordert. 3. Jede Art von Markt- und Sozialforschung bildet NICHT die Wahrheit ab – das wäre gar nicht möglich. Jede Methode hat Vor- und Nachteile. Allerdings müssen Marktforscher nicht die Wahrheit finden, sondern relevanten Input für Marketing-Entscheidungen liefern, die immer unter Unsicherheit gefällt werden müssen, da sie die Zukunft betreffen. 4. Vorsicht vor dem Ruf nach technischen Messungen – sie sind keineswegs der Königsweg, sondern sind auch mit Unsicherheiten behaftet, z.B. führen sie zu größeren Stichproben-Problemen. 5. Irgendjemand sollte schleunigst wieder Banjo auf dem Markt bringen.

  4. Erstaunlich, dass in dem Artikel kein einziges Mal über das Drei-Säulen-Modell der AGOF geredet wird in dem drei unterschiedliche Erhebungsmethoden (Cookies, Online-Befragung und telefonische Befragung) fusioniert werden. Cookies werden vielfach geblockt, die Ausschöpfung von Online-Befragungen liegt im Mikro-Bereich und telefonische Befragung weisen im vgl. zu persönlichen Befragungen etliche Nachteile auf. Ist es also besser, anstelle von einer gleich drei nicht valide bzw. repräsentative Befragungsquellen zu fusionieren? Ich bin mir da nicht so sicher… Auch einen Exkurs zur Erhebung von TV-Reichweiten vermisse ich. Trotz technischer Messung können hier einzelne Haushalte die Reichweitenerhebungen massiv verfälschen. So basieren die erhobenen Marktanteile von Spartensendern abends gegen 18 Uhr zum Teil auf einer Fallzahl von unter(!) 10 Personen wobei ein Haushalt bis zu 16 Personen abbilden kann. Rechnet man z.B. den auf Basis der AGF ausgewiesenen Werbedruck für das Jahr 2011 aus, so kommt man auf das Ergebnis, dass jeder fernsehende Empfänger pro Jahr 27.412 Spots sieht, was einer täglichen Dosis von 75 Werbespots am Tag entspricht…

  5. Es kann nicht nur eine Studie geben. Wenn solche Forschungsberichte für sich in Anspruch nehmen, dass sie die Wirklichkeit abbilden, sollten die Ergebnisse eigentlich repliziert werden können.

    Die Dauerbeforschung der Mediennutzung und des Konsums durch ein quasimonopolartiges Instrument neigt möglicherweise dazu, politische- und/oder kommerzielle Interessen bestimmter Akteure zu unterstützen und einmal gemachte Befundlagen zu zementieren.

Dein Kommentar

Deine E-Mailadresse wird nicht veröffentlicht.

*