Abbildung der Realität

0

Marktforschungsprojekte bringen „Licht ins Dunkle“. Man könnte auch sagen, die Gegebenheiten sollen beleuchtet werden, damit man sie besser sehen und verstehen kann.

Was man einstellt, sind die Größe und die Intensität des scheinenden Lichtkegels. Hat man das getan, muss nur noch die Richtung stimmen und man bekommt die Realität beleuchtet. Das kann man auch mit mehr als einem Lichtstrahl machen. Wichtig ist nur, dass das Licht auf die Realität scheint und nicht auf einen Teil davon, oder gar auf ein Zerrbild derselben. Nur dann darf ich am Ende Aussagen zur Allgemeinheit treffen. Anderenfalls wird von Anfang an ein Teil der Realität ausgeblendet, der sehr wohl existiert, sich aber nicht im ausgeleuchteten Raum befindet.

Eigentlich sind das Binsenwahrheiten und man möchte meinen, dass jeder, der Marktforschung beauftragt und durchführt, diese beherzigt. So ist es aber nicht:

Immer wieder gibt es Ausschreibungen zu verschiedensten Themen. Abgesehen von der Beschreibung des Vorhabens, wird häufig auch schon beschrieben, welche Methode man hierfür einsetzen möchte: Der Ausschreibende legt im Voraus fest, auf welchem Weg er ans Ziel gelangen möchte. Wahrscheinlich ist das keine Besonderheit von Marktforschungsausschreibungen. Auch in anderen Disziplinen müssen sich die Dienstleister damit abfinden, dass der Ausschreiber schon zu wissen glaubt und deshalb vorschreibt, wie man das Ziel zu erreichen hat. Häufig wird dabei festgelegt, dass der Weg zu beschreiten ist, den man auch bisher stets gegangen ist. Wenn es einmal funktioniert hat, wird man auch beim nächsten Mal die gesuchten Erkenntnisse erzielen. Alternative Vorschläge werden nicht zugelassen. Allenfalls kann man ein Nebenangebot schreiben. Die Mühe dafür lohnt sich meistens nicht.

Aber ich kann aus eigener Erfahrung in der täglichen Arbeit sagen, dass es viele sehr gute Alternativen zu den Vorgehensweisen der Vergangenheit gibt, die mich zu besseren, sprich realitätsgerechteren, Ergebnissen geführt haben.

Warum wird so häufig auf dem Beibehalten der bisherigen Vorgehensweise bestanden? Dass das eine vorher reiflich überlegte Entscheidung ist, bezweifle ich. Die Tatsache, dass sich die Umwelt, also die Realität, stetig ändert, wird dabei völlig außer Acht gelassen. Vielmehr werden schon in der Ausschreibung diejenigen Verfahren beschrieben, die eingesetzt werden sollen, um die gewonnenen Daten „geradezubiegen“. Die Achillesferse in der Abbildung der Realität ist immer wieder die Altersstruktur. Von Anfang an weiß man, dass es zu wenig Befragte aus der jüngeren Altersgruppe geben wird. Deshalb setzt man auf Gewichtung der gewonnenen Daten. Dabei werden Gewichte erforderlich, die jenseits von Gut und Böse sind.

Sollten Sie Rohergebnisse Ihrer Befragung in Händen haben, prüfen Sie das einmal nach! Sie werden mir Recht geben: in den erhobenen Daten entspricht die Altersstruktur nicht derjenigen der Grundgesamtheit – in den gewichteten schon! Sehen Sie sich die hierfür erforderlichen Gewichte doch einmal im Einzelnen an!

Warum hinterfragt man dann die bisher eingesetzte Methode nicht? Weil sie sich bewährt hat? „Never change a running system“?

Einer der Gründe, die immer wieder erwähnt werden, ist der „Datenbruch“: Die Angst, die gewonnenen Ergebnisse könnten nicht mehr mit den Daten aus den Jahren zuvor vergleichbar sein.

Darf das sein? Ist das der Anspruch? Was ist, wenn das Licht nur auf einen kleinen, durch die  Methode bedingten, Teil der Grundgesamtheit scheint und man gar keine Chance hat, die Realität so zu beleuchten, wie sie existiert? Warum sollte es negativ sein, wenn man mitbekommt, dass eine Änderung stattfindet oder stattgefunden hat?

Eine Vorgehensweise mag noch so gut wissenschaftlich erforscht und lange erprobt sein: Wenn die Realität sich verändert hat, dann helfen auch die besten Vorgehensweisen nichts, die für eine andere Realität, als die jetzt herrschende, definiert wurden.

Beibehaltung des Vorgehens über alle sich abspielenden Veränderungen der Realität hinweg, erlaubt zwar das Zeichnen von langen Zeitreihen technisch sehr einfach. Die Gefahr ist aber, dass mit jeder Änderung der Realität immer weniger von ihr in den so schön „bruchfreien“ Zeitreihen enthalten ist.

Beispiel: In den frühen 90ern konnte mit CATI-Festnetz-Befragungen die gesamte Bevölkerung in Deutschland in befriedigendem Maße ausgeschöpft werden. Wer deshalb bis in die Gegenwart jedes Jahr immer wieder nur über CATI-Festnetz befragt, verliert Jahr um Jahr den Teil der Bevölkerung, die auf diesem Weg nicht mehr erreichbar oder nicht zum Interview gewinnbar ist. Trotz strenger Beibehaltung der Methodik sinkt die Aussagekraft der Ergebnisse stetig. Die jungen, mobilen Personen gehen verloren und müssen durch gewaltige Gewichtungen verstärkt werden (und die Daten der älteren Befragten werden andererseits massiv herabgewichtet). Wäre es da nicht besser, die jungen, mobilen Personen z.B. über den Online-Kanal zu interviewen und so die Gewichtung auf ein vertretbares Maß zurückzudämmen?

Das Hauptinteresse sollte immer die Abbildung der Realität sein und nicht die Angst vor dem Datenbruch!

 

 

Share

Über den Autor

Marktforscher Geschäftsleitung nhi² AG Initiator von mindticket.de

Comments are closed.