Über den eigenen Schatten springen…

14

Es ist nicht leicht, über den eigenen Schatten zu springen und gegen seine eigenen Überzeugungen zu handeln. Man kann sich zwar immer eine Rechtfertigung zurechtlegen (à la „Man wächst nur außerhalb der eigenen Komfortzone“), aber eigentlich fühlt man sich nicht wohl dabei. Dabei lohnt es sich, – von einer Meta-Ebene betrachtet -, tatsächlich häufig, die eigenen Sichtweisen in Frage zu stellen. Man lernt nicht nur etwas über die Kontingenz der Welt, sondern vor allem auch viel über sich selbst.

Wo also endet die Komfortzone der Marktforschung? Über welche Schatten müssen wir vielleicht schon bald springen? Und was lernen wir daraus über uns selbst? Einige Thesen…

DATENQUALITÄT

Marktforschung war von jeher in der Primärforschung stark und hatte es deshalb vor allem mit Datensätzen zu tun, die sie selbst zu ihren eigenen Bedingungen erhoben hat. Die Datensätze waren vollständig und hatten eine in sich homogene Qualität. Doch Social Media Research und Big Data verheißen, dass das muss nicht so bleiben muss! Vielleicht hat man es in Zukunft ja immer häufiger mit Patchwork-Daten zu tun, in denen fehlende Werte normal sind und unterschiedliche Grade an Datenaktualität und -genauigkeit wie selbstverständlich nebeneinander im selben Datensatz vorliegen?

Über den eigenen Schatten springen bedeutet dann, dass wir uns als Marktforscher nicht nur mit einer Datenqualität zufrieden geben können, die wir selbst erzeugen und kontrollieren. Wir müssen die ausgetrampelten Pfade verlassen und Neuland betreten!

FRISCHE BEFRAGTE

Wir gehen davon aus, dass unsere Befragungsteilnehmer unvoreingenommen sind und noch keine Erfahrung mit Marktforschung haben. Im Idealfall sollten sie überhaupt keine eigenen Erwartungen an die Befragungssituation haben, sondern die Studien einfach über sich geschehen lassen – und falls es ihnen wirklich nicht gefallen sollte, hätten sie sich durch ihre Teilnahme ohnehin für weitere Studien disqualifiziert; schließlich stehen für zukünftige Studien in unbegrenztem Umfang frische, unbelastete Teilnehmer zur Verfügung. Doch Umfragen sind überall: in jedem Onlineshop, Hotelzimmer, in Zeitschriften oder als Evaluation nach den meisten Schulungen bzw. Konferenzen. Es gibt keine frischen Befragte mehr! Und es lässt sich nicht einmal richtig kontrollieren, wann wer wo zu welchen Themen befragt wurde.

Über den Schatten zu springen bedeutet, dass wir anerkennen, dass Studienteilnehmer immer schon vorinformiert sind und Erwartungen haben – und dass das kein Qualitätskriterium für Forschung sein kann: Wir werden zu immer höheren Kosten immer weniger Menschen finden, die völlig unvoreingenommen sind.

REPRÄSENTATIVITÄT

Marktforscher denken immer noch gerne in den Medien ihrer Erhebungsmethoden – postalisch, persönlich, per Telefon oder Internet. Im Vergleich stellt man dann gerne fest, dass kein einziges Medium für sich genommen sicherstellen kann, dass alle Bevölkerungsgruppen erreichbar sind; und wenn, dann mit unterschiedlichen Auswahlwahrscheinlichkeiten. Ich zum Beispiel bin morgens am besten mit mobilen Onlinebefragungen auf mein Smartphone erreichbar, tagsüber telefonisch über mein Firmenhandy, abends per Email an meine Privatadresse und persönlich trifft man mich zuhause vor allem am Wochenende an. Und die bloße Erreichbarkeit sagt ja immer noch nichts darüber aus, ob ich grundsätzlich bzw. in der jeweiligen Situation an der Studie teilnehmen möchte. So ist es also eher unwahrscheinlich, dass ich durch Festnetz-CATI angemessen repräsentiert werde (und analog trifft es für unterschiedliche Medien auf unterschiedliche Bevölkerungsgruppen zu).

Über den Schatten springen bedeutet, dass es keine repräsentativen Ergebnisse mehr geben kann, wenn man es sich bei der Datenerhebung zu einfach macht und nur auf einen einzigen Kanal setzt. Passt das übrigens nicht gut zum ersten Punkt, nachdem Daten zunehmen miteinander verknüpft werden müssen? Hier braucht es in Zukunft clevere Ideen…

Diese Thesen sind natürlich nicht vollständig, ganz im Gegenteil! Jetzt seid aber wieder ihr gefragt -über welchen Schatten sollten wir Marktforscher endlich einmal springen? Antworten bitte in die Kommentare…

(Dieser Beitrag ist zuerst auf Die Forschungsfront erschienen)

Share

Über den Autor

Market Research | Sociology | Methods | Out-of-the-box thinking | Blogging

14 Kommentare

  1. Daniel Daimler am

    Sehr wichtiger Beitrag, Florian!

    Das ist m.E. die eigentliche Rolle der Marktforschung – ihren internen und externen Kunden zu helfen, über die mehr oder weniger langen Schatten ihrer Story von der Welt, Stakeholdern und Best Practices zu springen.

    Daniel

  2. Hallo Florian,

    vielen Dank für deinen Beitrag. Ja, gute Punkte, vor Allem in Kombination miteinander…

    Es ist ja durchaus schon so, dass wir mit „löchrigen“ Datensätzen arbeiten (können). Wir zerlegen bereits heute große Trackings (45 Minuten und länger) in „mobile-taugliche“ modulare 10-Minuten-Fragebögen, die dann über gemeinsame Variablen zusammengeführt werden. Der großartige Vortrag von Dr. Markus Eberl von TNS auf dem BVM Abend in Nürnberg beinhaltete ein schönes Beispiel, um diesen Effekt zu verdeutlichen: Der 45 Minuten Fragebogen war das Bild „The Maids of Honor“ von Diego Velasquez. Der modulare 10 Minuten Fragebogen war ebenfalls das gleiche Bild, nur deutlich unschärfer, mit einer kleinen Fratze, hier und da einer Macke, aber es war noch erkennbar, wessen Kopie dieses Bild ist… Das Problem an dieser Geschichte ist natürlich, dass wir das Original kennen müssen, um die Kopie zu erkennen. Die Botschaft von Dr. Eberl war aber eine andere: Die Handlungsempfehlungen, die sie bei einem Pilotprojekt mit experimentellem Design (45 Min. Online vs. 4*10Minuten Online/Mobile) waren zu 90% identisch.

    Was die „Frische“ der Teilnehmer anbelangt hast Du natürlich völlig Recht, aber – wenn Daniel schon auch hier ist – vermutlich müssen wir sowieso in völlig neue Richtungen denken. Passive Messverfahren, Reaktionszeittests, Beobachtungen, Experimente… natürlich auch Gamification Elemente, um den Spaß an der Forschung wieder zu entfachen.

    Und Repräsentativität war schon immer schwierig. Denn außer CATI mit Zufallsschlüssel und echten Random-Route Verfahren war kein Ansatz jemals wirklich repräsentativ (oder die Repräsentativität basierte auf der Annahme, dass wirklich die Zielperson das Interview ausfüllt, bspw. bei Selbstausfüller-PAPI). Bei panelbasierten Online-Stichproben hast Du immer den Selbstselektions-Effekt, eines bestimmten Menschentyps, der gerne mitmacht… wobei natürlich auch die Verweigerungsrate bei CATI im Grunde nie etwas anderes gewesen ist.

    Über welchen Schatten wir springen müssen? Für mich ist der größte Schatten der Datenschutz. Ich liebe den Datenschutz, aber ich liebe auch meine Arbeit. Und die internationale Konkurrenz lacht darüber, wenn sie hören, was wir in Deutschland mit den Daten alles nicht dürfen. Was machen wir in Zukunft, wenn unsere (deutschen?) Kunden es immer stärker von uns fordern werden, weil es internationale Anbieter auch machen?

  3. Florian Tress am

    Vielen Dank für die Kommentare.

    @Daniel – Das ist ein schöner Gedanke: Dass eine Branche, die anderen dabei helfen soll, über deren Schatten zu springen, manchmal vor den eigenen Schatten zurückschrickt.

    @Alper – Datenschutz und ESOMAR-Codex werfen tatsächlich lange Schatten. Letztlich geht es dabei aus meiner Sicht aber nicht so sehr darum, die eigenen Schranken im Kopf zu überwinden, sondern um ein „Tit for Tat“ mit dem Gesetzgeber. Welche Privilegien im Umgang mit personenbezogenen Daten bekommen wir im Gegenzug für welche freiwillige Selbstbeschränkung als Branche? Die Frage ist dann, ob man auf diese Privilegien verzichten kann (was aber in jedem Fall eine legitime Frage ist)…

  4. Dr. Dieter Korczak am

    Lieber Florian Tress,

    danke für die interessanten Überlegungen, die Sie veröffentlicht haben.

    Ich würde mich freuen, wenn Sie die in zweierlei Hinsicht präzisieren könnten.

    a) Es ist aufschlussreich, dass Sie als kenntnisreicher Durchführer von online-Befragungen die Repräsentativität von Online-Befragungen in Frage stellen. Andererseits werden wir überflutet mit Ergebnissen aus Online-Befragungen, demnach x% Deutsche dieses und jenes denken und tun. Alle diese publizierten Ergebnisse arbeiten mit der Suggestion, dass sie repräsentativ für die deutsche Bevölkerung oder ein Teilgruppe dieser Bevölkerung seien. In der Regel finde ich keinen Hinweis a la Alpert, dass diese Aussage nur eine Internet affine Community wiederspiegeln und dann noch nicht einmal gesichert ist, dass die Daten repräsentativ für die Internet affine Community sind.
    Auftraggeber – vor allem aus dem öffentlichen Bereich- wollen aber repräsentative Daten, um ihre politischen Programme auf ‚echte‘ Mehrheiten aufzusetzen. Ich gehe davon aus, dass auch Auftraggeber aus Unternehmen wissen wollen, ob die ermittelten Daten repräsentativ für ihre Zielgruppen sind .
    Ihr Vorschlag, diesem Problem mit einem Erhebungsmix aus schriftlich, telefonisch, ftf zu begegnen, hat viel Charme, ist aber nach meiner beruflichen Erfahrung alltagsuntauglich: zu aufwendig, zu zeitraubend, zu kostenintensiv.
    Wenn ich Ihre Gedanken extrapoliere, dann bedeutet dass, dass wir unsere Auftraggeber regelmäßig mit nicht reliablen Daten bedienen.
    Die Konsequenz kann doch nur sein, dass wir wie zur Bestimmung der repräsentativen Auswahl einer Stichprobe aus einer Grundgesamtheit auch bei Online- oder Mobile-Erhebungen Parameter benutzen, die uns die tatsächliche Verzerrung unserer Stichprobe angeben. Das sollte eine Pflichtinformation bei jeder veröffentlichten Tabelle von Marktforschungsdaten werden.

    zu b) Der Datenschutz ist das non plus ultra unserer Branche – ungeachtet der Praktiken in und von den USA. Es darf bitte nicht vergessen werden, dass gegenwärtig sowohl ein internationales Ringen wie auf EU-Ebene über die Ausrichtung des Datenschutzes erfolgt. Hier ist noch nichts endgültig entschieden und wir sollten als Mafo-Branche nicht den Begehrlichkeiten bestimmter Auftraggeber willfährig folgen. Wenn wir die Anonymität und Privatheit unserer Befragten nicht respektieren, dann sind wir keine Marktforscher mehr sondern CRMs. Auch angesichts der ungerichteten allgemeinen Ausspioniererei der Privatsphäre durch Geheimdienste ist das Thema Datenschutz der Öffentlichkeit mehr denn je bewusst geworden. Ich persönlich empfinde es deshalb als müßig, immer wieder die angeblichen Einschränkungen durch die Vorgaben des Datenschutzes durch das Dorf zu treiben. Wir sollen als Marktforscher froh sein, dass wir diese Richtlinien für unsere Arbeit haben und ich kann Ihnen vergewissern, dass viele ausländische Kollegen uns um die Klarheit unserer Datenschutzbedingungen beneiden.

    mit herzlichen Grüßen
    Dieter Korczak

  5. Florian Tress am

    Lieber Herr Dr. Korczak,

    vielen Dank für den anregenden Kommentar. Ich schreibe ja immer auch, um Widerspruch zu erzeugen und Diskussionen anzuregen. Nicht zuletzt deshalb gehe ich gerne auf Ihre Fragen ein.

    Ich stelle nicht alleine die Repräsentativität von Onlinebefragungen in Frage, sondern – bewusst als provokante These formuliert – die Idee von Repräsentativität schlechthin. Natürlich sind manche Bevölkerungsgruppen über das Internet überhaupt nicht erreichbar, wobei das ja auch auf andere Befragungskanäle zutrifft. Je nach Quelle nutzen z.B. heute bereits 10-20% der Bevölkerung keine Festnetztelefonie mehr, sondern sind nur mobil erreichbar. Ein wesentlicher Faktor ist aber nicht nur die grundsätzliche Nutzung der Medien (Internet, Festnetztelefon, …), sondern vor allem auch die jeweilige Teilnahmebereitschaft an Umfragen. Hier hat CATI sicherlich nochmal mit ganz anderen Problemen als die Onlineforschung zu kämpfen, was sich ja nicht zuletzt auch in der Kampagne der IMSF widerspiegelt. Meine These lautet daher, dass man diese Probleme in Zukunft nur dadurch umgehen kann, dass man unterschiedliche Erhebungskanäle miteinander kombiniert.
    Vor diesem Hintergrund geht es mir eigentlich darum, dass sich die Erreichbarkeit einzelner Personen über bestimmte Erhebungskanäle im Tages- und Wochenverlauf verändert. Dass ich selbst in einer telefonischen Stichprobe lande, ist weniger wahrscheinlich, als in einer mobilen Befragung – einfach weil ich über das Festnetz schlechter erreichbar bin, als über das Mobiltelefon. Bei meinen Eltern wäre es aber wahrscheinlich umgekehrt. Die Frage lautet also: in welchem Verhältnis muss ich unterschiedliche Erhebungskanäle miteinander verknüpfen, – und wie muss ich die Fälle dabei gewichten -, um ein möglichst genaues Abbild der Bevölkerung zu bekommen; um also dafür zu sorgen, dass meine Eltern und ich mit einer gleichen Wahrscheinlichkeit von der Stichprobe repräsentiert werden.
    Als „Durchführer von Onlinebefragungen“ habe ich darauf übrigens einen einfachen Praxistipp, nämlich die Feldzeit zu erhöhen. Je länger Teilnehmer auf eine Umfrage zugreifen können, desto wahrscheinlicher erreiche ich auch diejenigen Bevölkerungsgruppen, die ihre Emails nur selten abrufen. Wenn ich meine Einladung zu einer Onlinebefragung schon am ersten Tag wahrnehme, bräuchten meine Eltern dafür vielleicht eine Woche. Das ändert natürlich nichts am Argument, dass man für Onlinebefragungen überhaupt erstmal online sein muss…

    Zu Ihrem zweiten Punkt: Auch ich sehe die Datenschutz-Richtlinien als hohes Gut, sehe hier aber gleichzeitig als große Herausforderung die Verfasstheit der Branche und ihre Fähigkeit mit einer Stimme zu sprechen bzw. sich von forschungsfremden Geschäftsmodellen abzugrenzen. Je weniger sie das schafft, desto schwieriger wird es für die Marktforschung – dem Gesetzgeber und den Befragten gegenüber. Die praktische Frage ist, inwiefern man diese Verfasstheit in einem extrem dynamischen und grenzüberschreitenden Marktumfeld aufrechterhalten kann. Ich glaube, dass dafür der offene Austausch eine wichtige Rolle spielt – und genau deshalb schätze ich die Diskussionen auf der mafolution so sehr 😉

    Viele Grüße,
    Florian Tress

  6. Dr. Dieter Korczak am

    Lieber Florian Tress,

    Sie antworten mir, dass Sie die Idee von Repräsentativität generell in Frage stellen und begründen dies damit, dass manche gesellschaftlichen Gruppen über einzelne Kommunikationskanäle schwierig oder überhaupt nicht zu erreichen sind.

    Dies ist ein interessantes Thema für ein Symposium, das auf einem der kommenden BVM- oder Online-Konferenzen diskutiert werden sollte.

    In der Vergangenheit ist diesem von Ihnen angesprochene Problem durch die Randomisierung von Stichproben (z.B. in Form von Adress-Random oder random-route) begegnet worden. Es sind Brutto- und Nettostichproben verglichen worden und Ausschöpfungsprotokolle erstellt und die unterdurchschnittlich erreichten Gruppen dokumentiert worden. Bei Schieflage der Netto-Stichprobe können Gewichtungsverfahren eingesetzt werden.
    Die Randomisierung der Stichprobe ermöglicht den Einsatz von Test-Statistik und die Bestimmung des Stichprobenfehlers. Des Weiteren kann die Reliabilität, d.h. die Reproduzierbarkeit von Ergebnissen mit mathematischen Koeffizienten als Qualitätsparameter bestimmt werden, entweder z.B. über einen split-half-Test oder die Wiederholung einer Studie mit identischem Studiendesign.

    Wenn ich all dies zu den Akten lege, dann ist jedes Umfrageergebnis beliebig. Und diese Beliebigkeit können wir uns als Profession nicht leisten in Anbetracht der Tatsache, dass beispielsweise im Rahmen der Evidenz basierten Medizin randomisierte Doppel-Blind-Untersuchungen als Voraussetzung gelten, um den Nutzen oder die Wirkung eines Medikamentes oder einer therapeutischen Maßnahme zu belegen. Ohne den Einsatz des erprobten sozialwissenschaftlichen Instrumentariums, zu dem Repräsentativität und Reliabilität gehören, dürfte es für die MaFo schwer sein, ein wissenschaftliches Vorgehen zu reklamieren.

    Ich persönlich stelle diesen Qualitätsanspruch auch an Online-Befragungen.

    Es freut mich auch, dass Sie den Datenschutz ebenfalls ausdrücklich als hohes Gut werten. Ihre Bedenken hinsichtlich der Verfasstheit der MaFo teile ich nicht. Die deutsche MaFo hat den BVM-Fachbeirat und hat sich in der Vergangenheit erfolgreich für den Datenschutz eingesetzt.
    Auch in dynamischen Märkten, die einem steten Wandel unterliegen, kann man gestalterisch in die eine oder andere Richtung agieren und vor allem Qualitätsforderungen erheben. Für mich und Esomar ist die konsequente Einhaltung des Datenschutzes ein hochrangiges Qualitätsmerkmal der MaFo, dass uns nachhaltig gegenüber anderen Datenlieferanten abgrenzt.

    Mit besten Grüßen
    Dieter Korczak

    • Florian Tress am

      Lieber Herr Dr. Korzcak,

      es geht mir nicht darum, Repräsentativität völlig über Bord zu werfen. Wenn ich schreibe, dass ich die „Repräsentativität schlechthin“ in Frage stelle, meine ich damit eigentlich „Repräsentativität bei allen Erhebungskanälen, nicht nur Online“. Es tut mir leid, dass ich mich missverständlich ausgedrückt habe. Die Hochrechenbarkeit von Stichproben auf eine Grundgesamtheit ist natürlich das zentrale Merkmal der Wissenschaftlichkeit von Marktforschung und nicht zuletzt daraus leitet sich unsere Sonderstellung beim Gesetzgeber ab.

      Worauf ich aufmerksam machen wollte ist, dass die von Ihnen beschriebenen Methoden zur Sicherstellung von Respräsentativität zunehmend an ihre Grenzen kommen, wenn sich die Mediennutzung weiterhin in diesem Ausmaß verändert und Stichprobenausfälle noch stärker zu Buche schlagen. Davon sind aus meiner Sicht alle Methoden – auch, aber nicht nur die Onlineforschung – betroffen. Mein Vorschlag war es daher, unterschiedliche Methoden zu mischen, um wenigstens bei der Erreichbarkeit eine hohe Ausschöpfung hinzubekommen und Reaktanzen bei einzelnen Erhebungskanälen entgegenzuwirken. Das war als Argument für mehr und nicht gegen Repräsentativität gemeint.

      Über die Praxistauglichkeit meines Vorschlags lässt sich natürlich streiten! 🙂

      Viele Grüße,
      Florian Tress

  7. Daniel Daimler am

    Sehr geehrter Herr Dr. Korczak,

    darf ich mir als interessierter Mitleser dieser Diskussion erlauben, nach Ihrer persönlichen Einschätzung zu den nachfolgenden Überlegungen fragen, die uns regelmäßig in diesem Blog beschäftigen?

    Welche Funktion sollte Ihrer Ansicht nach die Markt-/ Meinungsforschung im 21. Jhd. erfüllen? Dieselbe wie im 20. Jhd. oder eine andere, neue – und falls letzteres, was könnte/ darf anders und neu werden und was nicht?

    Wie hoch ist die Wahrscheinlichkeit, dass das Verständnis von Markt-/ Meinungsforschung der vergangenen 60 Jahre schlicht und einfach unrelevant wird im Kontext aktueller Formen gesellschaftlicher (z.B. Shitstorms) oder unternehmerischer (z.B. Crowdfunding) Tatsachenschaffung?

    Mit Bezug auf den ursprünglichen Titel von Florians Blogpost: über welche Schatten müssen wir alle gemeinsam springen, um unsere Profession für die Zukunft aufzustellen? Was ist Ihr Rat an die nachwachsende Generation der Markt-/ Meinungsforschung?

    Vielen Dank,
    Daniel Daimler

  8. Dr. Dieter Korczak am

    Sehr geehrter Herr Daimler,

    ich bitte um etwas Geduld, denn für die Beantwortung Ihrer fundamentalen Fragen benötige ich ein paar Tage.

    Mit freundlichen Grüßen
    Dieter Korczak

  9. Hallo Zusammen,

    sehr spannende Diskussion soweit. Zumal alle Seiten irgendwie Recht haben.

    Zunächst einmal zur Definition von Repräsentativität: Eine Stichprobe ist dann repräsentativ, wenn alle Merkmalsträger der Grundgesamtheit die gleiche Chance haben, Teil dieser Stichprobe zu werden.

    Deswegen fragen wir, bspw. nach Haushaltsgrößen (hat einen Einfluss auf die Wahrscheinlichkeit befragt zu werden, bei mehr als einer Person im Haushalt) oder der Anzahl der Telefonanschlüsse (hat einen Einfluss auf die Wahrscheinlichkeit befragt zu werden, bei zufällig generierten Telefonnummern) im Haushalt.

    Florian hat natürlich völlig Recht mit der Aussage, dass immer weniger Menschen über bestimmte Kanäle zu bestimmten Zeiten erreichbar sind. Mixed-Method-Ansätze sind sicherlich eine Lösung, wenn man Kriterien definiert anhand derer man die Chancengleichheit nachträglich herstellt. Allerdings befürchte ich, vor Allem bei kleineren Stichprobengrößen, dass das ziemlich komplex wird und wir unter Umständen „künstliche Artefakte“ produzieren, die nichts mehr mit der Wirklichkeit zu tun haben. Durch die Selektivität der Studienteilnahme, ist das grundsätzliche Konzept der Repräsentativität sowieso streitbar.

    Ich bin nicht sicher, ob ich Daniel 100%ig richtig verstehe, aber seine Frage ist durchaus berechtigt: Ich erlebe oft, wenn es um Themen geht, zu denen ich eigentlich nichts weiß, dass ich mir innerhalb von wenigen Minuten eine Meinung bilden kann. Eine einfache Google Suche, Wikipedia, YouTube, etc. machen es möglich. Hätte ich einen Anruf aus dem CATI Studio erhalten, wäre nur etwas „Schwammiges“ herausgekommen. Die Realität ist aber, dass ich mir sehr schnell eine Meinung bilde und das ist dann für einige Zeit auch tatsächlich meine Meinung. Zumindest bis ich vom Gegenteil überzeugt werde oder mich selbst überzeuge, indem ich mich weiter informiere.

    Worauf ich hinaus will: Meine schwammige Meinung, die ich in der CATI Erhebung geäußert habe, tut nichts zur Sache. Wenn es für mich relevant wird, dann sind soziale Medien für mich meinungsbildend und damit höchst relevant für den Erfolg von Marken, Produkten, Innovationen, Preispositionierungen, etc. Nur mit Repräsentativität hat das jetzt nichts mehr zu tun.

    Freue mich auf weitere Meinungen!

    Viele Grüße
    Alper Aslan

  10. Johannes Mirus am

    (Cross-Posting vom Eintrag bei Florians Forschungsfront.)

    Gute Punkte! Gerade diese drei Aspekte werden ja nicht nur von den Marktforschern selbst erwartet, sondern auch von den Kunden. Die wollen keine irgendwie passenden Daten, die wollen auf die zweite Nachkommastelle genau wissen, was wo wie passiert. Die von dir aufgezeigte Entwicklung verläuft diametral zu immer knapper darzustellenden Informationen, zu Dashboards, die als Grundlage für große Entscheidungen dienen und die keine Fußnoten kennen, in denen steht, wie die Ergebnisse zustande gekommen und wie sie zu interpretieren sind.

    Es ist also nicht nur ein Umdenkprozess bei uns selbst nötig, sondern auch die behutsame Kommunikation an den Kunden: Die Schwankungsbreiten der Daten werden größer, weil sich die Gesellschaft und damit ihre Kommunikationswege immer weiter ausdifferenzieren.

  11. Florian Tress am

    Vielen Dank nochmal an alle Kommentatoren! Um ehrlich zu sein hatte ich so viel Resonanz gar nicht erwartet; nehme das aber als Hinweis darauf, dass es bei diesen Punkten Gesprächsbedarf gibt.

    @Alper: Guter Punkt! Wenn ich Dich richtig verstehe, zielt dein Argument darauf ab, dass unterschiedliche Erhebungsformen nicht miteinander kombinierbar sind, weil die Medien einen Einfluss auf die Meinungsfindung haben. Während man bei CATI eher spontane und potenziell unfertige Einschätzungen erhält, hat der Befragte bei Onlinebefragungen die Zeit, seine Meinung stärker zu rationalisieren und zu festigen. Ob das dann fundiertere oder eher verzerrtere („System 2“) Ergebnisse bedeutet, bleibt aus meiner Sicht dabei offen. Wär eine hübsche Eigenstudie, oder?

    @Johannes: Aus deinem Kommentar lese ich einen gewissen Pessimismus, dass unser Streben nach Qualität und Repräsentativität von unseren Kunden ausreichend gewürdigt wird. Dass aus deiner Sicht sogar eine „behutsame“ Kommunikation an den Kunden notwendig ist, zeigt mir darüber hinaus, dass wir unsere Kernkompetenzen wohl auch immer schlechter an den Mann bringen können. Die Frage ist für mich, welche Richtung man einschlägt – geht man auf die Kunden zu und bleibt zunehmend hinter den eigenen Ansprüchen zurück, oder bezieht man als Branche Position und schärft das Profil? Ich würde mir letzteres wünschen, womit ich wieder bei der „Verfasstheit der Branche“ (s.o.) bin.

  12. Hi Florian,

    nicht ganz, aber auch nicht falsch.

    Meine erste Aussage ist, dass Methoden gemischt werden können / dürfen, wenn wir wissen, wie man nachträglich Chancengleichheit herstellen kann. Bei single-source Ansätzen wissen wir es, aber für mixed methods kann das komplex werden. Bei geringen Fallzahlen kann das eine gewisse unglückliche Verzerrung nach sich ziehen.

    Der zweite Punkt war gar nicht so sehr auf den Vergleich von CATI vs. Online ausgerichtet (passt aber auch irgendwie), sondern einfach nur grundsätzlich in Frage gestellt, welche Relevanz geäußerte Aussagen haben, wenn ich im Moment der Aussage einfach uninformiert bin, meine Kaufentscheidung dank moderner Technologie aber sehr gut informiert treffen kann. Das hat jetzt nichts mit Kahnemann zu tun (passt aber auch irgendwie), sondern mit technologischem Fortschritt. Mein Informationsverhalten hat sich verändert: Ich treffe Entscheidungen „on the go.“ Ich weiß, dass ich einen Fernseher will? Aber welches Produkt? Das entscheide ich auf dem Weg zum Media Markt, dank meinem Smart-Device. Jede Befragung, egal mit welcher Methode, hätte nur schwammige Antworten aus mir herausgeholt. Aus Marken-Gesichtspunkten vielleicht noch akzeptabel, aber für die Abbildung eines relevanten Kaufentscheidungsprozesses nur bedingt geeignet. Möglicherweise kaufe ich sogar eine Marke, die ich vorher noch gar nicht kannte. Gute Reviews und Bewertungen, sowie ein günstiger Preis, machen mir die Entscheidung leichter.

    Nachdenkliche Grüße
    Alper

  13. Pingback: mafolution | » Content versus Kontext – offene Fragen für device-unabhängige Konsumentenforschung