Repräsentativität: Mehr Evidenz, weniger Behauptungen.

0

ENDLICH, könnte man sagen, gibt es eine Diskussion über neue Stichprobenverfahren, ausgelöst durch die Beschwerde einiger Institute beim Presserat über Civey und die Berichterstattung über deren Umfragen. Auch die Verbände setzen sich jetzt öffentlich damit auseinander. Wurde auch höchste Zeit. Denn neu ist das Thema nicht und unwichtig war es nie.

Nach meinem Eindruck geht es in dieser Sache darum, wessen Daten richtig(er) sind. Das ist für alle elementar, die die Situation in einer Grundgesamtheit in Bezug auf eine Fragestellung quantitativ genau kennen wollen (z.B. um Potenziale für Produkte, die Größe einer Zielgruppe oder die Verbreitung eines gesellschaftlichen Problems zu berechnen). Für sie bedeutet Repräsentativität, dass eine Stichprobe mit ihren Ergebnissen mit einer Sicherheit von XY Prozent die wahren (!) Verhältnisse in der Grundgesamtheit mit Blick auf den erforschten Gegenstand wiedergibt. Es geht bei diesem Verständnis von Repräsentativität also um die Qualität der Messergebnisse. Das Verfahren, dass diese Ergebnisse liefert, ist nur Mittel zum Zweck und deshalb nur so gut und richtig wie die Ergebnisse, die es liefert. Genau dieses Verständnis von Repräsentativität halte ich für die einzig sinnvolle Definition, die man als Auftraggeber (oder Bürger, Leser, Forschungslaie) für diesen Begriff akzeptieren kann.

Anders das Verständnis von Repräsentativität, das ich Stellungnahmen wie dem offenen Brief des ADM oder von Herrn Knapp für den BVM entnehme. Ihre Definitionen fokussieren auf verfahrensbezogene technische Parameter, nicht auf Ergebnisse. Herr Knapp etwa sagt: „Der Begriff (Repräsentativität) steht für die gleichmäßige Erreichbarkeit der gesamten Grundgesamtheit und die Vermeidung von systematischen Verzerrungseffekten (Beispiel: Nur thematisch Interessierte nehmen an der Umfrage teil).“ Ich denke, dieses Begriffsverständnis reicht bei weitem nicht aus. Denn Verzerrung zu vermeiden ist nur Mittel zum Zweck. Aber nicht das Verfahren ist das Ziel, sondern das möglichst richtige Ergebnis. Das gilt umso mehr in Zeiten, in denen neue Methoden neue Möglichkeiten schaffen. Verzerrung greift als Kriterium viel zu kurz, auch weil es an ein bestimmtes Abbildungsparadigma gebunden ist. Als ergebnisorientierter Kunde oder Verwerter von Forschung würde mir eine solche Definition deshalb nicht reichen.

Macht man Repräsentativität von den richtigen Messergebnissen statt dem Verfahren abhängig, muss auch die Frage der Repräsentativität und der Legitimität von Civey, Dalia und anderen anders als mit einer verfahrensbezogenen Definition und Diskussion gelöst werden. Natürlich ist es wichtig, die Verfahren genau unter die Lupe zu nehmen. Aber man kann ihren Anspruch auf Repräsentativität nicht einfach deshalb als falsch bezeichnen, weil er keinem etablierten Stichprobenparadigma und seinen Verfahrensansprüchen folgt. Ganz im Gegenteil: Wenn jemand repräsentative Ergebnisse (also Ergebnisse, die den Verhältnissen in der Grundgesamtheit entsprechen) mit neuen Verfahren schafft, hätte ich kein Problem damit. Sie auszuschließen hieße ja, Innovationen außerhalb dieses vorgegebenen Verfahrensrahmens zu verhindern. Das halte ich für völlig unvertretbar.

Allerdings: Civey & Co. haben mit dem Anspruch auf Repräsentativität nicht per se Recht. Es gilt auch hier, dass man neuen Verfahren und ihren Versprechungen nicht glauben darf, bevor ihre Qualität nicht erwiesen ist. Sie sind also in der Beweispflicht, dass sie kontinuierlich richtige Ergebnisse liefern können. Ich sehe solche Belege bisher nicht. Die veröffentlichten Ergebnisse zu Wahlpräferenzen reichen dafür nicht aus, weil sie nicht unter kontrollierten Bedingungen entstehen.

Die Beweispflicht haben aber auch klassische Verfahren einschließlich der Online-Panels immer wieder. Es reicht nicht, sich auf lange etablierte Paradigmen und Forschungstraditionen zu berufen, zumal viele Nutzer durchaus begründete Zweifel an der Praxis der Verfahren und ihrer Messergebnisse haben. Sie werden durch den wiederholten Verweis auf Branchenstandards nicht ausgeräumt. Kein Wunder also, dass Civey gerne den Finger in diese Wunde legt.

Es ist wichtig, dass die Frage nach der Berechtigung des Qualitätsanspruches auf Repräsentativität richtig und nicht nur als Formelkompromiss gelöst wird. Wir brauchen Evidenzbasierung. Denn es steht viel auf dem Spiel. Ohne Evidenzbasierung wird Repräsentativität beliebig. Jeder könnte sie beweisfrei reklamieren – ein Zustand, den man nicht mal den Qualitätsversprechen von Joghurtmarken durchgehen lässt.

Die Folgen wären schlimm. Der Verlust an Glaubwürdigkeit von Repräsentativität als Qualitätsaspekt würde sich beschleunigen. Die Unsicherheit, wessen Ergebnisse (sofern dies gefordert ist) stimmen, was richtig und falsch ist und worauf man seine Entscheidungen gründen kann, nähme massiv zu. Deutungshoheit und Vertrauen gingen verloren. Die Wertschätzung der quantitativen Forscher in Instituten, Unternehmen und Institutionen würde weiter beschädigt.

Bleibt die Frage nach einer Lösung. Wie könnte das gehen? Zum Beispiel, indem man eine Qualitätsprüfung der Verfahren anhand der tatsächlichen Messergebnisse und ihrer Abbildungsqualität der Wirklichkeit als Norm durchsetzt. Das ist in vielen Branchen so üblich, warum nicht in der Markt- und Sozialforschung? Entwickelt, durchgeführt, überprüft und garantiert werden müsste sie von absolut unabhängigen Experten ohne jede Interessenskollision (der ADM käme dafür also sicher nicht in Frage). Machbar wäre es. Interessante Ideen dazu sind mir auch schon begegnet.

Durchgesetzt werden muss eine solche Qualitätsprüfung in Zusammenarbeit mit vielen anderen außerhalb der Branche, denen das ebenfalls wichtig wäre. Diese Leute gibt es, da bin ich mir sicher. Mit ihnen muss man Allianzen schmieden. Ich finde, dafür sollten sich die Verbände mit aller Kraft einsetzen.

 

Share

Über den Autor

Darauf antworten